本书目录
第1章 绪论 1
1.1 引言 1
1.2 模式识别的基本概念 3
1.2.1 模式和模式识别 3
1.2.2 模式空间、特征空间和类空间 5
1.2.3 预处理 7
1.2.4 特征提取/选择 7
1.2.5 分类 7
1.3 模式识别系统 8
1.4 机器学习的主要方法 9
1.4.1 监督学习 9
1.4.2 无监督学习 10
1.4.3 半监督学习 11
1.4.4 集成学习 11
1.4.5 强化学习 12
1.5 概率分布 12
1.5.1 随机变量及分布 13
1.5.2 随机向量及分布 16
1.5.3 边际分布 18
1.5.4 条件概率分布 18
1.6 习题 19
第2章 贝叶斯统计决策 20
2.1 引言 20
2.2 最小错误率判别规则 22
2.3 最小风险判别规则 24
2.4 最大似然比判别规则 27
2.5 Neyman-Pearson判别规则 30
2.6 最小最大判别规则 33
2.7 分类器设计 37
2.8 正态分布中的贝叶斯分类方法 41
2.9 小结 50
习题 50
第3章 概率密度函数的估计 52
3.1 引言 52
3.2 最大似然估计 52
3.2.1 最大似然估计基础 52
3.2.2 正态分布下的最大似然估计 54
3.3 贝叶斯估计与贝叶斯学习 56
3.3.1 贝叶斯估计 56
3.3.2 正态分布下的贝叶斯估计 57
3.3.3 贝叶斯学习 59
3.4 EM估计方法 61
3.4.1 EM算法 61
3.4.2 混合正态分布的EM估计 63
3.5 非参数估计方法 65
3.5.1 非参数估计的基本方法与限制条件 65
3.5.2 Parzen窗法 67
3.5.3 kN近邻估计方法 72
3.6 小结 74
习题 74
第4章 线性分类与回归模型 75
4.1 引言 75
4.2 线性判别函数和决策面 75
4.2.1 两类情况 76
4.2.2 多类问题中的线性判别函数 76
4.2.3 设计线性分类器的主要步骤 81
4.3 广义线性判别函数 83
4.4 最小均方误差判别 86
4.4.1 最小均方和准则 86
4.4.2 H-K算法 88
4.4.3 H-K算法的多类推广 90
4.5 线性回归模型 91
4.6 正则化线性回归 92
4.7 小结 94
习题 94
第5章 其他分类方法 96
5.1 近邻法 96
5.1.1 最近邻法 96
5.1.2 k近邻法 96
5.2 逻辑斯蒂回归 99
5.3 决策树与随机森林 102
5.3.1 非数值特征 102
5.3.2 决策树 102
5.3.3 属性选择方法 104
5.3.4 过学习与决策树的剪枝 107
5.3.5 随机森林 108
5.4 小结 109
习题 109
第6章 无监督学习和聚类 110
6.1 引言 110
6.2 混合模型的估计 110
6.2.1 无监督最大似然估计 111
6.2.2 正态分布下的无监督参数估计 112
6.3 动态聚类算法 115
6.3.1 均值聚类算法 116
6.3.2 ISODATA聚类算法 121
6.4 层次聚类算法 127
6.4.1 凝聚的层次聚类算法 127
6.4.2 分裂的层次聚类算法 128
6.5 谱聚类 130
6.6 模糊聚类方法 134
6.6.1 模糊集基本知识 134
6.6.2 模糊c均值算法 135
6.7 相似性传播聚类 136
6.8 小结 138
习题 138
第7章 核方法和支持向量机 139
7.1 引言 139
7.2 核学习机 139
7.3 支持向量机 140
7.3.1 线性可分支持向量机 141
7.3.2 软间隔线性支持向量机 144
7.3.3 非线性支持向量机 146
7.4 支持向量回归机 147
7.5 小结 151
习题 151
第8章 神经网络和深度学习 152
8.1 引言 152
8.2 感知器 153
8.2.1 感知器的概念 153
8.2.2 感知器训练算法及其收敛性 154
8.2.3 感知器准则函数及梯度法 158
8.3 多层前向神经网络 162
8.3.1 多层前向神经网络 163
8.3.2 BP神经网络 165
8.3.3 RBF神经网络 170
8.4 自组织特征映射神经网络 176
8.4.1 SOM神经网络结构 176
8.4.2 SOM神经网络算法 177
8.5 深度学习 179
8.5.1 堆栈式自编码网络(SAE) 179
8.5.2 深度置信网络(DBN) 182
8.5.3 卷积神经网络(CNN) 185
8.5.4 循环神经网络(RNN) 191
8.5.5 生成对抗网络(GAN) 194
8.5.6 扩散模型 196
8.5.7 Transformer模型 197
8.6 小结 201
习题 204
第9章 特征选择与提取 205
9.1 引言 205
9.2 特征选择的一般流程 205
9.2.1 生成特征子集 205
9.2.2 评价准则 207
9.2.3 停止条件和结果验证 209
9.3 特征选择方法 209
9.3.1 过滤式特征选择方法 210
9.3.2 封装式特征选择方法 214
9.3.3 嵌入式特征选择方法 215
9.3.4 集成式特征选择方法 215
9.4 线性特征提取方法 216
9.4.1 线性判别分析 216
9.4.2 主成分分析方法 217
9.5 非线性特征提取方法 219
9.5.1 核线性判别分析 219
9.5.2 核主成分分析 221
9.5.3 流形学习 222
9.6 小结 224
习题 225
参考文献 226