机器学习笔记

来自斯坦福网络课程《机器学习》的笔记，可以在各种公开课平台搜索"斯坦福大学公开课：机器学习课程"获取，并且结合李航《统计学方法》与周志华西瓜书进行汇总的笔记；

推荐使用pycharm或vscode等IDE进行代码编写查看，且python版本≧3.8；

• 2024-08-19 暂定目录

第一部分  《统计学习方法板块》

• 【第1讲】统计学习及监督概论（概述部分可略过）

• 【第2讲】感知机（理论数学推导、python代码实现）

• 【第3讲】K近邻法（理论数学推导、python代码实现）

——目前最长的一篇文章

• 【第4讲】朴素贝叶斯

• 【第5讲】决策树

• 【第6讲】逻辑斯谛回归与最大熵模型

• 【第1讲】 机器学习的动机与应用（主要是课程要求与应用范例，没有涉及机器学习的具体计算内容）

• 【第2讲】监督学习应用-线性回归

• 【第3讲】线性回归的概率解释、局部加权回归、逻辑回归

• 【第4讲】牛顿法、一般线性模型

• 【第5讲】生成学习算法、高斯判别分析、朴素贝叶斯算法

• 【第6讲】事件模型、函数间隔与几何间隔

• 【第7讲】最优间隔分类器、拉格朗日对偶、支持向量机

• 【第8讲】核方法、序列最小优化算法

• 【第9讲】经验风险最小化

• 【第10讲】交叉验证、特征选择

• 【第11讲】贝叶斯统计、机器学习应用建议

• 【第12讲】$k$-means算法、高斯混合模型及最大期望算法

• 【第13讲】最大期望算法及其应用、因子分析模型

• 【第14讲】因子分析的EM算法、主成分分析

• 【第15讲】PCA的奇异值分解、独立成分分析

• 【第16讲】马尔可夫决策过程

• 【第17讲】解连续状态的MDP

• 【第18讲】线性二次调节

• 【第19讲】微分动态规划及线性二次型高斯

• 【第20讲】策略搜索算法

• 【参考笔记1】 线性代数复习及参考

• 【参考笔记2】概率论复习

• 【参考笔记3】 MATLAB入门

• 【参考笔记4】 凸优化概述1

• 【参考笔记5】 凸优化概述2

• 【参考笔记6】隐式马尔可夫模型

• 【参考笔记7】多元高斯分布

• 【参考笔记8】更多关于多元高斯分布的知识

• 【参考笔记9】 高斯过程