神經(jīng)網(wǎng)絡是計算智能和機器學習的重要分支，在諸多領域都取得了很大的成功。在眾多神經(jīng)網(wǎng)絡著作中，影響最為廣泛的是Simon Haykin的《神經(jīng)網(wǎng)絡原理》（第3版更名為《神經(jīng)網(wǎng)絡與機器學習》）。在本書中，作者結合近年來神經(jīng)網(wǎng)絡和機器學習的最新進展，從理論和實際應用出發(fā)，全面、系統(tǒng)地介紹了神經(jīng)網(wǎng)絡的基本模型、方法和技術，并將神經(jīng)網(wǎng)絡和機器學習有機地結合在一起。
本書不但注重對數(shù)學分析方法和理論的探討，而且也非常關注神經(jīng)網(wǎng)絡在模式識別、信號處理以及控制系統(tǒng)等實際工程問題的應用。本書的可讀性非常強，作者舉重若輕地對神經(jīng)網(wǎng)絡的基本模型和主要學習理論進行了深入探討和分析，通過大量的試驗報告、例題和習題來幫助讀者更好地學習神經(jīng)網(wǎng)絡。
本版在前一版的基礎上進行了廣泛修訂，提供了神經(jīng)網(wǎng)絡和機器學習這兩個越來越重要的學科的最新分析。
本書特色：
1. 基于隨機梯度下降的在線學習算法；小規(guī)模和大規(guī)模學習問題。
2. 核方法，包括支持向量機和表達定理。
3. 信息論學習模型，包括連接、獨立分量分析（ICA）、一致獨立分量分析和信息瓶頸。
4. 隨機動態(tài)規(guī)劃，包括逼近和神經(jīng)動態(tài)規(guī)劃。
5. 逐次狀態(tài)估計算法，包括卡爾曼和粒子濾波器。
6. 利用逐次狀態(tài)估計算法訓練遞歸神經(jīng)網(wǎng)絡。
7. 富有洞察力的面向計算機的試驗。 作者簡介
Simon Haykin 于1953年獲得英國伯明翰大學博士學位，目前為加拿大McMaster大學電子與計算機工程系教授、通信研究實驗室主任。他是國際電子電氣工程界的著名學者，曾獲得IEEE McNaughton金獎。他是加拿大皇家學會院士、IEEE會士，在神經(jīng)網(wǎng)絡、通信、自適應濾波器等領域成果頗豐，著有多部標準教材。
本書是關于神經(jīng)網(wǎng)絡的全面的、徹底的、可讀性很強的、最新的論述。全書共15章，主要內(nèi)容包括Rosenblatt感知器、通過回歸建立模型、最小均方算法、多層感知器、核方法和徑向基函數(shù)網(wǎng)絡、支持向量機、正則化理論、主分量分析、自組織映射、信息論學習模型、動態(tài)規(guī)劃、神經(jīng)動力學、動態(tài)系統(tǒng)狀態(tài)估計的貝葉斯濾波等。
本書適合作為高等院校計算機相關專業(yè)研究生及本科生的教材，也可供相關領域的工程技術人員參考。
目錄：
出版者的話
譯者序
前言
縮寫和符號
術語
第0章 導言1
0.1 什么是神經(jīng)網(wǎng)絡1
0.2 人類大腦4
0.3 神經(jīng)元模型7
0.4 被看作有向圖的神經(jīng)網(wǎng)絡10
0.5 反饋11
0.6 網(wǎng)絡結構13
0.7 知識表示14
0.8 學習過程20
0.9 學習任務22
0.10 結束語27
注釋和參考文獻27
第1章 Rosenblatt感知器28
1.1 引言28
1.2 感知器28
1.3 感知器收斂定理29
1.4 高斯環(huán)境下感知器與貝葉斯分類器的關系33
1.5 計算機實驗：模式分類36
1.6 批量感知器算法38
1.7 小結和討論39
注釋和參考文獻39
習題40
第2章 通過回歸建立模型28
2.1 引言41
2.2 線性回歸模型：初步考慮41
2.3 參數(shù)向量的最大后驗估計42
2.4 正則最小二乘估計和MAP估計之間的關系46
2.5 計算機實驗：模式分類47
2.6 最小描述長度原則48
2.7 固定樣本大小考慮50
2.8 工具變量方法53
2.9 小結和討論54
注釋和參考文獻54
習題55
第3章 最小均方算法56
3.1 引言56
3.2 LMS算法的濾波結構56
3.3 無約束最優(yōu)化：回顧58
3.4 維納濾波器61
3.5 最小均方算法63
3.6 用馬爾可夫模型來描畫LMS算法和維納濾波器的偏差64
3.7 朗之萬方程：布朗運動的特點65
3.8 Kushner直接平均法66
3.9 小學習率參數(shù)下統(tǒng)計LMS學習理論67
3.10 計算機實驗Ⅰ：線性預測68
3.11 計算機實驗Ⅱ：模式分類69
3.12 LMS算法的優(yōu)點和局限71
3.13 學習率退火方案72
3.14 小結和討論73
注釋和參考文獻74
習題74
第4章 多層感知器77
4.1 引言77
4.2 一些預備知識78
4.3 批量學習和在線學習79
4.4 反向傳播算法81
4.5 異或問題89
4.6 改善反向傳播算法性能的試探法90
4.7 計算機實驗：模式分類94
4.8 反向傳播和微分95
4.9 Hessian矩陣及其在在線學習中的規(guī)則96
4.10 學習率的最優(yōu)退火和自適應控制98
4.11 泛化102
4.12 函數(shù)逼近104
4.13 交叉驗證107
4.14 復雜度正則化和網(wǎng)絡修剪109
4.15 反向傳播學習的優(yōu)點和局限113
4.16 作為最優(yōu)化問題看待的監(jiān)督學習117
4.17 卷積網(wǎng)絡126
4.18 非線性濾波127
4.19 小規(guī)模和大規(guī)模學習問題131
4.20 小結和討論136
注釋和參考文獻137
習題138
第5章 核方法和徑向基函數(shù)網(wǎng)絡144
5.1 引言144
5.2 模式可分性的Cover定理144
5.3 插值問題148
5.4 徑向基函數(shù)網(wǎng)絡150
5.5 K-均值聚類152
5.6 權向量的遞歸最小二乘估計153
5.7 RBF網(wǎng)絡的混合學習過程156
5.8 計算機實驗：模式分類157
5.9 高斯隱藏單元的解釋158
5.10 核回歸及其與RBF網(wǎng)絡的關系160
5.11 小結和討論162
注釋和參考文獻164
習題165
第6章 支持向量機168
6.1 引言168
6.2 線性可分模式的最優(yōu)超平面168
6.3 不可分模式的最優(yōu)超平面173
6.4 使用核方法的支持向量機176
6.5 支持向量機的設計178
6.6 XOR問題179
6.7 計算機實驗:模式分類181
6.8 回歸：魯棒性考慮184
6.9 線性回歸問題的最優(yōu)化解184
6.10 表示定理和相關問題187
6.11 小結和討論191
注釋和參考文獻192
習題193
第7章 正則化理論197
7.1 引言197
7.2 良態(tài)問題的Hadamard條件198
7.3 Tikhonov正則化理論198
7.4 正則化網(wǎng)絡205
7.5 廣義徑向基函數(shù)網(wǎng)絡206
7.6 再論正則化最小二乘估計209
7.7 對正則化的附加要點211
7.8 正則化參數(shù)估計212
7.9 半監(jiān)督學習215
7.10 流形正則化：初步的考慮216
7.11 可微流形217
7.12 廣義正則化理論220
7.13 光譜圖理論221
7.14 廣義表示定理222
7.15 拉普拉斯正則化最小二乘算法223
7.16 用半監(jiān)督學習對模式分類的實驗225
7.17 小結和討論227
注釋和參考文獻228
習題229
第8章 主分量分析232
8.1 引言232
8.2 自組織原則232
8.3 自組織的特征分析235
8.4 主分量分析：擾動理論235
8.5 基于Hebb的最大特征濾波器241
8.6 基于Hebb的主分量分析247
8.7 計算機實驗：圖像編碼251
8.8 核主分量分析252
8.9 自然圖像編碼中的基本問題256
8.10 核Hebb算法257
8.11 小結和討論260
注釋和參考文獻262
習題264
第9章 自組織映射268
9.1 引言268
9.2 兩個基本的特征映射模型269
9.3 自組織映射270
9.4 特征映射的性質(zhì)275
9.5 計算機實驗Ⅰ：利用SOM解網(wǎng)格動力學問題280
9.6 上下文映射281
9.7 分層向量量化283
9.8 核自組織映射285
9.9 計算機實驗Ⅱ：利用核SOM解點陣動力學問題290
9.10 核SOM和相對熵之間的關系291
9.11 小結和討論293
注釋和參考文獻294
習題295
第10章 信息論學習模型299
10.1 引言299
10.2 熵300
10.3 最大熵原則302
10.4 互信息304
10.5 相對熵306
10.6 系詞308
10.7 互信息作為最優(yōu)化的目標函數(shù)310
10.8 最大互信息原則311
10.9 最大互信息和冗余減少314
10.10 空間相干特征316
10.11 空間非相干特征318
10.12 獨立分量分析320
10.13 自然圖像的稀疏編碼以及與ICA編碼的比較324
10.14 獨立分量分析的自然梯度學習326
10.15 獨立分量分析的最大似然估計332
10.16 盲源分離的最大熵學習334
10.17 獨立分量分析的負熵最大化337
10.18 相關獨立分量分析342
10.19 速率失真理論和信息瓶頸347
10.20 數(shù)據(jù)的最優(yōu)流形表達350
10.21 計算機實驗：模式分類354
10.22 小結和討論354
注釋和參考文獻356
習題361
第11章 植根于統(tǒng)計力學的隨機方法366
11.1 引言366
11.2 統(tǒng)計力學367
11.3 馬爾可夫鏈368
11.4 Metropolis算法374
11.5 模擬退火375
11.6 Gibbs抽樣377
11.7 Boltzmann機378
11.8 logistic信度網(wǎng)絡382
11.9 深度信度網(wǎng)絡383
11.10 確定性退火385
11.11 和EM算法的類比389
11.12 小結和討論390
注釋和參考文獻390
習題392
第12章 動態(tài)規(guī)劃396
12.1 引言396
12.2 馬爾可夫決策過程397
12.3 Bellman最優(yōu)準則399
12.4 策略迭代401
12.5 值迭代402
12.6 逼近動態(tài)規(guī)劃：直接法406
12.7 時序差分學習406
12.8 Q學習410
12.9 逼近動態(tài)規(guī)劃：非直接法412
12.10 最小二乘策略評估414
12.11 逼近策略迭代417
12.12 小結和討論419
注釋和參考文獻421
習題422
第13章 神經(jīng)動力學425
13.1 引言425
13.2 動態(tài)系統(tǒng)426
13.3 平衡狀態(tài)的穩(wěn)定性428
13.4 吸引子432
13.5 神經(jīng)動態(tài)模型433
13.6 作為遞歸網(wǎng)絡范例的吸引子操作435
13.7 Hopfield模型435
13.8 Cohen-Grossberg定理443
13.9 盒中腦狀態(tài)模型445
13.10 奇異吸引子和混沌448
13.11 混沌過程的動態(tài)重構452
13.12 小結和討論455
注釋和參考文獻457
習題458
第14章 動態(tài)系統(tǒng)狀態(tài)估計的貝葉斯濾波461
14.1 引言461
14.2 狀態(tài)空間模型462
14.3 卡爾曼濾波器464
14.4 發(fā)散現(xiàn)象及平方根濾波469
14.5 擴展的卡爾曼濾波器474
14.6 貝葉斯濾波器477
14.7 數(shù)值積分卡爾曼濾波器:基于卡爾曼濾波器480
14.8 粒子濾波器484
14.9 計算機實驗：擴展的卡爾曼濾波器和粒子濾波器對比評價490
14.10 大腦功能建模中的
卡爾曼濾波493
14.11 小結和討論494
注釋和參考文獻496
習題497
第15章 動態(tài)驅(qū)動遞歸網(wǎng)絡501
15.1 引言501
15.2 遞歸網(wǎng)絡體系結構502
15.3 通用逼近定理505
15.4 可控性和可觀測性507
15.5 遞歸網(wǎng)絡的計算能力510
15.6 學習算法511
15.7 通過時間的反向傳播512
15.8 實時遞歸學習515
15.9 遞歸網(wǎng)絡的消失梯度519
15.10 利用非線性逐次狀態(tài)估計的遞歸網(wǎng)絡監(jiān)督學習框架521
15.11 計算機實驗：Mackay-Glass吸引子的動態(tài)重構526
15.12 自適應考慮527
15.13 實例學習：應用于神經(jīng)控制的模型參考529
15.14 小結和討論530
注釋和參考文獻533
習題534
參考文獻538
|
