Posts

All the articles I've posted.

• 拉格朗日对偶性

  26 Dec, 2017

  机器学习

  从高中的拉格朗日乘数法出发，系统介绍带约束最优化问题中的拉格朗日对偶性：原始问题、广义拉格朗日函数、对偶问题及 KKT 条件。

• 《统计学习方法》读书笔记6：logistic回归与最大熵模型

  25 Dec, 2017

  机器学习

  logistic 分布与二项 logistic 回归的模型形式、极大似然估计求参，以及最大熵原理与最大熵模型，并指出其对偶函数极大化等价于极大似然估计。

• 《统计学习方法》读书笔记5：决策树

  22 Dec, 2017

  机器学习

  决策树的特征选择（信息增益、信息增益比）、ID3 与 C4.5 生成算法、基于损失函数的剪枝流程，以及 CART 算法概述。

• 《统计学习方法》学习笔记4：朴素贝叶斯法

  21 Dec, 2017

  机器学习

  朴素贝叶斯法的条件独立性假设、后验概率最大化（等价于期望风险最小化）、极大似然估计，以及用贝叶斯估计（拉普拉斯平滑）处理零概率问题。