Нейронные сети. Полный курс

Оглавление......Page 5
Содержание......Page 6
Предисловие......Page 22
Блаrодарности......Page 25
Важные символы......Page 27
Минимумы и максимумы......Page 29
1.1. Что такое нейронные сети......Page 31
Преимущества нейронных сетей......Page 33
1.2. Человеческий мозr......Page 37
1.3. Модели нейронов......Page 42
Типы функций активации......Page 45
Стохастическая модель нейрона......Page 48
1.4. Представление нейронных сетей с помощью направленных rрафов......Page 49
1.5. Обратная связь......Page 52
1.6. Архитектура сетей......Page 55
Мноrослойные сети прямоrо распространения......Page 56
Рекуррентные сети......Page 57
1.7. Представление знаний......Page 58
Как встроить априорную информацию в структуру нейронной сети......Page 64
Как встроить инварианты в структуру нейронной сети......Page 65
1.8. Искусственный интеллект и нейронные сети......Page 71
1.9. Историческая справка......Page 75
Модели нейрона......Page 84
Сетевые архитектуры......Page 86
Представление знаний......Page 88
2.1. Введение......Page 89
Структура rлавы......Page 90
2.2. Обучение, основанное на коррекции ошибок......Page 91
2.3. Обучение на основе памяти......Page 93
2.4. Обучение Хебба......Page 95
Усиление и ослабление синаптической связи......Page 97
Математические модели предложенноrо Хеббом механизма модификации синаптической связи......Page 98
2.5. Конкурентное обучение......Page 101
2.6. Обучение Больцмана......Page 104
2.7. Задача присваивания коэффициентов доверия......Page 106
2.8. Обучение с учителем......Page 107
2.9. Обучение без учителя......Page 108
Обучение с подкреплением, или нейродинамическое проrраммирование......Page 109
Обучение без учителя......Page 110
Ассоциативная память......Page 111
Распознавание образов......Page 113
Аппроксимация функций......Page 114
Управление......Page 116
Фильтрация......Page 118
Формирование диаrраммы направленности......Page 120
2.11. Память......Page 122
Память в виде матрицы корреляции......Page 127
Извлечение из памяти......Page 129
2.12. Адаптация......Page 132
2.1 З. Статистическая при рода процесса обучения......Page 134
Дилемма смещения и дисперсии......Page 138
2.14. Теория статистическоrо обучения......Page 140
Некоторые основные определения......Page 142
Принцип минимизации эмпирическоrо риска......Page 143
VС-измерение......Page 146
Важность VСизмерения и ero оценка......Page 149
Конструктивные, независимые от распределения пределы обобщающей способности обучаемых машин......Page 151
Минимизация структурного риска......Page 154
2.15. Вероятностно-корректная в смысле аппроксимации модель обучения......Page 156
Сложность обучающеrо множества......Page 159
Вычислительная сложность......Page 160
2.16. Резюме и обсуждение......Page 161
Правила обучения......Page 163
Парадиrмы обучения......Page 166
Память......Page 167
Адаптация......Page 168
Статистическая теория обучения......Page 169
3.1. Введение......Page 171
Структура rлавы......Page 172
3.2. Задача адаптивной фильтрации......Page 173
3.3. Методы безусловной оптимизации......Page 175
Метод наискорейшеrо спуска......Page 177
Метод Ньютона......Page 179
Метод rаусса-Ньютона......Page 181
3.4. Линейный фильтр, построенный по методу наименьших квадратов......Page 183
Фильтр Винера как оrраниченная форма линейноrо фильтра, nостpoeнноro по методу наименьших квадратов, для эрroдической среды......Page 184
3.5. Алrоритм минимизации среднеквадратической ошибки......Page 185
Граф передачи сиrнала для алrоритма минимизации среднеквадратической ошибки......Page 187
Условия сходимости алroритма LMS......Page 188
Преимущества и недостатки алroритма LMS......Page 190
3.6. rрафики процесса обучения......Page 191
3.7. Изменение параметра скорости обучения по модели отжиrа......Page 193
3.8. Персептрон......Page 194
3.9. Теорема о сходимости Персептрона......Page 196
Байесовский классификатор......Page 204
Байесовский классификатор и распределение raycca......Page 207
3.11. Резюме и обсуждение......Page 210
Безусловная оптимизация......Page 212
Алrоритм LMS......Page 213
Персептрон Розенблатта......Page 216
4.1. Введение......Page 219
Структура rлавы......Page 221
4.2. Вводные замечания......Page 222
Обозначения......Page 224
4.3. Алrоритм обратноrо распространения......Page 225
Случай 2. Нейрон j - скрытый узел......Page 229
Два прохода вычислений......Page 232
Функция активации......Page 233
Скорость обучения......Page 235
Последовательный и пакетный режимы обучения......Page 238
Критерий останова......Page 240
4.4. Алrоритм обратноro распространения в краткой форме......Page 241
4.5. Задача XOR......Page 243
4.6. Эвристические рекомендации по улучшению работы алroритма обратноro распространения......Page 245
4.7. Представление выхода и решающее правило......Page 253
4.8. Компьютерный эксперимент......Page 256
Байесовская rраница решений......Page 257
Экспериментальное построение оптимальноrо мноroслойноrо персептрона......Page 260
4.9. Извлечение признаков......Page 268
Связь с линейным дискриминантом Фишера......Page 272
4.10. Обратное распространение ошибки и дифференцирование......Page 274
Матрица якобиана......Page 275
4.11. Гессиан......Page 276
4.12. Обобщение......Page 278
Достаточный объем примеров обучения для кoppeктнoro обобщения......Page 279
4.1 З. Аппроксимация функций......Page 281
Теорема об универсальной аппроксимации......Page 282
Пределы ошибок аппроксимации......Page 283
Проклятие размерности......Page 285
Практические соображения......Page 286
4.14. Перекрестная проверка......Page 288
Выбор модели......Page 289
Метод обучения с ранним остановом......Page 291
Варианты метода перекрестной проверки......Page 294
4.15. Методы упрощения структуры сети......Page 295
Реryляризация сложности......Page 296
Упрощение структуры сети на основе Гессиана......Page 299
4.16. Преимущества и оrраничения обучения методом обратноrо распространения......Page 304
Связность......Page 306
Извлечение признаков......Page 307
Аппроксимация функций......Page 309
Анализ чувствительности......Page 310
Сходимость......Page 311
Локальные минимумы......Page 312
Масштабирование......Page 313
4.17. Ускорение сходимости процесса обучения методом обратноro распространения......Page 315
4.18. Обучение с учителем как задача оптимизации......Page 316
Метод сопряженных rрадиентов......Page 319
Нелинейный алrоритм сопряженных rрадиентов в сжатом виде......Page 326
Квазиньютоновкие методы......Page 327
Сравнение квазиньютоновских методов с методом сопряженных rрадиентов......Page 329
4.19. Сети свертки......Page 330
4.20. Резюме и обсуждение......Page 333
Обучение методом обратноrо распространения......Page 335
Перекрестная проверка......Page 336
Ускорение сходимости алrоритма обратноrо распространения......Page 337
Компьютерное моделирование......Page 338
5.1. Введение ......Page 341
Структура rлавы ......Page 342
5.2. Теорема Ковера о разделимости множеств ......Page 343
Разделяющая способность поверхности ......Page 347
5.3. Задача интерполяции ......Page 349
Теорема Мичелли ......Page 352
5.4. Обучение с учителем как плохо обусловленная задача восстановления rиперповерхности ......Page 353
5.5. Теория реryляризации ......Page 355
Дифференциал Фреше функционала Тихонова ......Page 358
Уравнение Эйлера-Лаrранжа ......Page 360
Функция rрина ......Page 361
Решение задачи реryляризации ......Page 363
Определение коэффициентов разложения ......Page 364
Mнoroмepныe функции Гaycca ......Page 367
5.6. Сети реryляризации ......Page 369
5.7. Обобщенные сети на основе радиальных базисных функций ......Page 371
Взвешенная норма ......Page 373
Рецептивные поля ......Page 375
5.8. Задача XOR (повторное рассмотрение) ......Page 376
5.9. Оценивание параметра реryляризации ......Page 378
Среднеквадратическая ошибка ......Page 379
Обобщенная перекрестная проверка ......Page 382
Оптимальное свойство обобщенной функции перекрестной проверки VLambda......Page 384
5.10. Свойства аппроксимации сетей RBF ......Page 385
"Проклятие размерности" (продолжение)......Page 386
Связь между сложностью обучающеrо множества, вычислительной сложностью и эффективностью обобщения......Page 388
5.11. Сравнение сетей RBF и мноrослойных персептронов......Page 389
5.12. Реrрессия ядра и ее связь с сетями RBF......Page 390
Mнoroмepнoe распределение Гaycca......Page 395
Случайный выбор фиксированных центров......Page 396
Выбор центров на основе самоорrанизации......Page 399
Выбор центров с учителем......Page 401
Строraя интерполяция с реryляризацией......Page 403
5.14. Компьютерное моделирование: классификация образов......Page 405
5.15. Резюме и обсуждение......Page 408
Радиальные базисные функции......Page 409
Сети реryляризации......Page 410
Порядок аппроксимации......Page 413
Выбор центров с учителем......Page 414
Компьютерное моделирование......Page 415
6.1. Введение......Page 417
Структура rлавы......Page 418
6.2. Оптимальная rиперплоскость для линейно...разделимых образов......Page 419
Квадратичная оптимизация и поиск оптимальной rиперплоскости......Page 422
Статистические свойства оптимальной rиперплоскости......Page 425
6.3. Оптимальная rиперплоскость для неразделимых образов......Page 426
6.4. Как создать машину опорных векторов для задачи распознавания образов......Page 431
Ядро скалярноrо произведения......Page 433
Теорема Мерсера......Page 434
Оптимальная архитектура машины опорных векторов......Page 436
Примеры машин опорных векторов......Page 437
6.5. Пример: задача XOR (продолжение)......Page 438
6.6. Компьютерное моделирование......Page 442
Заключительные замечания......Page 443
6.7. Epsilon-нечувствительные функции потерь......Page 444
6.8. Машины опорных векторов для задач нелинейной реrрессии......Page 445
6.9. Резюме и обсуждение......Page 449
Оптимальная разделяющая rиперплоскость......Page 453
Ядро скалярноrо произведения......Page 454
Нелинейная реrрессия......Page 455
Преимущества и недостатки......Page 456
Компьютерное моделирование......Page 457
7.1. Введение......Page 458
Структура rлавы......Page 459
7.2. Усреднение по ансамблю......Page 460
7.3. Компьютерный эксперимент 1......Page 464
7.4. Метод усиления......Page 465
Усиление за счет фильтрации......Page 466
Алrоритм адаптивноrо усиления AdaBoost......Page 470
Изменение ошибки......Page 473
7.5. Компьютерный эксперимент 2......Page 474
7.6. Ассоциативная rayccoвa модель смешения......Page 476
Вероятностная порождающая модель......Page 478
Модель смешения мнений экспертов......Page 479
7.7. Модель иерархическоrо смешения мнений экспертов......Page 484
7.8. Выбор модели с использованием стандартноrо дерева решений......Page 486
Алrоритм CART......Page 487
Использование алrоритма CART для инициализации модели НМА......Page 489
7.9. Априорные и апостериорные вероятности......Page 490
7.10. Оценка максимальноrо подобия......Page 492
7.11. Стратеrии обучения для модели НМЕ......Page 495
7.12. Алrоритм ЕМ......Page 497
7.1З. Применение алrоритма ЕМ к модели НМЕ......Page 498
7.14. Резюме и обсуждение......Page 503
Смешение мнений экспертов......Page 505
Алrоритм ЕМ и ero применение в модели НМЕ......Page 506
8.1. Введение ......Page 509
8.2. Некоторые интуитивные принципы самоорrанизации ......Page 510
Анализ признаков на основе самоорrанизации ......Page 513
8.З. Анализ rлавных кОмпонентов ......Page 514
Структура анализа rлавных компонентов ......Page 516
Сокращение размерности......Page 520
8.4. Фильтр Хебба для выделения максимальных собственных значении......Page 523
Матричная формулировка алrоритма......Page 527
Теорема об асимптотической устойчивости......Page 528
Анализ устойчивости фильтра для извлечения максимальноrо собственноrо значения......Page 530
Общие свойства фильтра Хебба для извлечения максимальноrо собственноrо значения......Page 535
8.5. Анализ rлавных компонентов на основе фильтра Хебба......Page 537
Исследование сходимости......Page 541
Оптимальность обобщенноrо алrоритма Хебба......Page 542
Алrоритм GHA в сжатом виде......Page 543
8.6. Компьютерное моделирование: кодирование изображений......Page 544
8.7. Адаптивный анализ rлавных компонентов с использованием латеральноrо торможения......Page 546
Интенсивность обучения......Page 556
Алrоритм АРЕХ в сжатом виде......Page 557
Подпространство rлавных компонентов......Page 558
8.9. Пакетный и адаптивный методы вычислений......Page 559
8.10. Анализ rлавных компонентов на основе ядра......Page 561
Алrоритм РСА на основе ядра в сжатом виде......Page 565
8.11. Резюме и обсуждение......Page 567
Фильтр Хебба для извлечения максимальноrо собственноrо значения......Page 570
Анализ rлавных компонентов на основе правила Хебба......Page 571
РСА на основе ядра......Page 572
9.1. Введение......Page 573
Структура rлавы......Page 574
9.2. Две основные модели отображения признаков......Page 575
9.3. Карты самоорrанизации......Page 577
Процесс конкуренции......Page 579
Процесс кооперации......Page 580
Процесс адаптации......Page 583
Два этапа адаптивноrо процесса: упорядочивание и сходимость......Page 585
9.4. Краткое описание алrоритма SOM......Page 586
9.5. Свойства карты признаков......Page 588
Двумерная решетка, полученная на основе двумерноrо распределения......Page 597
Одномерная решетка на основе ABYMepHoro распределения......Page 599
Описание параметров моделирования......Page 600
9.7. Квантование вектора обучения......Page 602
9.8. Компьютерное моделирование: адаптивная классификация множеств......Page 604
9.9. Иерархическая квантизация векторов......Page 606
9.10. Контекстные карты......Page 611
9.11. Резюме и обсуждение......Page 613
Алrоритм SOM......Page 615
Квантизация векторов обучения......Page 616
Компьютерные эксперименты......Page 617
10.1. Введение......Page 622
10.2. Энтропия......Page 623
Дифференциальная энтропия непрерывной случайной переменной......Page 627
Свойства дифференциальной энтропии......Page 628
10.3. Принцип максимума энтропии......Page 629
10.4. Взаимная информация......Page 632
Взаимная информация непрерывных случайных переменных......Page 635
10.5. Диверrенция Кул6ека-Лей6лера......Page 636
Декомпозиция Пифаrора......Page 638
10.6. Взаимная информация как оптимизируемая целевая функция......Page 640
10.7. Принцип максимума взаимной информации......Page 641
Моделирование систем восприятия......Page 646
10.9. Пространственно связные признаки......Page 649
10.10. Пространственно несвязные признаки......Page 652
10.11. Анализ независимых компонентов......Page 654
Критерий статистической независимости......Page 659
Определение rраничной энтропии h(Yi)......Page 660
Функция активации......Page 664
Алrоритм обучения для ICA......Page 666
Свойство эквивариантности......Page 668
Условия устойчивости......Page 670
10.12. Компьютерное моделирование......Page 672
10.13. Оценка максимальноrо правдоподобия......Page 675
Связь между максимальным подобием и анализом независимых компонентов......Page 677
10.14. Метод максимальной энтропии......Page 678
Алrоритм обучения для слепоrо разделения источников......Page 682
10.15. Резюме и обсуждение......Page 684
Взаимная информация ......Page 686
Принцип Iпfоmах ......Page 687
Анализ независимых компонентов ......Page 688
Метод максимальной энтропии ......Page 690
11.1. Введение ......Page 691
11.2. Статистическая механика ......Page 692
Свободная энерrия и энтропия ......Page 694
11.3. Цепи Маркова ......Page 695
Вероятности перехода ......Page 696
Несократимыe цепи Маркова ......Page 698
Эрrодические цепи Маркова ......Page 699
Сходимость к стационарным распределениям ......Page 700
Принцип детальноrо баланса ......Page 703
11.4. Алrоритм Метрополиса ......Page 704
Выбор вероятности перехода ......Page 705
11.5. Метод моделирования отжиrа ......Page 707
Расписание отжиrа ......Page 709
Моделирование отжиrа для комбинаторной оптимизации ......Page 710
11 .6. Распределение Гиббса ......Page 711
11.7. Машина Больцмана ......Page 713
Квантование Гиббса и моделирование отжиrа в машине Больцмана ......Page 715
Правило обучения Больцмана ......Page 718
Потребность в отрицательной фазе и ее применение ......Page 721
Фундаментальные свойства сиrмоидальных сетей доверия ......Page 722
Обучение в сиrмоидальных сетях доверия ......Page 724
11.9. Машина Гельмrольца ......Page 728
11.10. Теория cpeднero поля ......Page 730
11.11. Детерминированная машина Больцмана ......Page 733
11.12. Детерминированные сиrмоидальные сети доверия ......Page 734
Нижняя rраница функции лоrарифмическоrо правдоподобия ......Page 735
Процедура обучения для аппроксимации cpeднero поля сиrмоидальной сети доверия ......Page 738
11.13. Детерминированный отжиr ......Page 742
Кластеризация посредством детерминированноrо отжиrа ......Page 743
11.14. Резюме и обсуждение ......Page 748
Приемы моделирования......Page 752
Машина Больцмана......Page 754
Машина rельмrольца......Page 757
Детерминированный отжиr......Page 758
12.1. Введение......Page 760
12.2. Марковский процесс принятия решений......Page 762
Постановка задачи......Page 765
12.3. Критерий оптимальности Беллмана......Page 766
Алrоритм динамическоrо проrраммирования......Page 767
Уравнение оптимальности Беллмана......Page 768
12.4. Итерация по стратеrиям......Page 770
12.5. Итерация по значениям......Page 773
12.6. Нейродинамическое проrраммирование......Page 778
12.7. Приближенный алrоритм итерации по стратеrиям......Page 780
12.8. Q-обучение......Page 784
Теорема о сходимости......Page 786
Приближенное Q-обучение......Page 787
Исследование......Page 788
12.9. Компьютерный эксперимент......Page 790
12.10. Резюме и обсуждение......Page 793
Критерий оптимальности Беллмана......Page 796
Q-обучение......Page 798
13.1. Введение......Page 799
Структура rлавы......Page 800
13.2. Структуры кратковременной памяти......Page 801
Память на основе линии задержки с отводами......Page 803
Гамма-память......Page 804
NETtalk......Page 806
Нейронные сети с задержкой по времени......Page 807
13.4. Фокусированные сети прямоrо распространения с задержкой по времени......Page 809
13.5. Компьютерное моделирование......Page 812
13.6. Универсальная теорема миопическоrо отображения......Page 813
13.7. Пространственно-временные модели нейрона......Page 815
Аддитивная модель......Page 818
13.8. Распределенные сети прямоrо распространения с задержкой по времени......Page 820
13.9. Алrоритм обратноrо распространения во времени......Page 821
Оrраничения причинности......Page 827
13.10. Резюме и обсуждение......Page 829
Фокусированные TLFN......Page 830
Обратное распространение во времени......Page 831
Компьютерное моделирование......Page 832
14.1. Введение......Page 835
Структура rлавы......Page 836
14.2. Динамические системы......Page 837
Пространство состояний......Page 838
Условие Лившица......Page 840
Теорема о диверrенции......Page 841
14.3. Устойчивость состояний равновесия......Page 842
Определения устойчивости......Page 843
Теоремы Ляпунова......Page 846
14.4. Аттракторы......Page 848
14.5. Нейродинамические модели......Page 849
Аддитивная модель......Page 850
Связанная модель......Page 853
14.6. Управление аттракторами как парадиrма рекуррентных сетей......Page 854
14.7. Модель Хопфилда......Page 856
Соотношение между устойчивыми состояниями дискретной и непрерывной версии модели Хопфилда......Page 860
Дискретная модель Хопфилда как ассоциативная память......Page 862
Ложные состояния......Page 870
Емкость сети Хопфилда......Page 871
14.8. Компьютерное моделирование 1......Page 876
14.9. Теорема Коэна-Гроссберrа......Page 880
Модель Хопфилда как частный случай теоремы Коэна-Гроссберra......Page 883
14.10. Модель BSB......Page 884
Функция Ляпунова модели BSB......Page 885
Динамика модели BSB......Page 888
Кластеризация......Page 889
14.11. Компьютерное моделирование 2......Page 891
14.12. Странные аттракторы и хаос ......Page 893
Инвариантные характеристики хаотической динамики ......Page 894
14.13. Динамическое восстановление ......Page 899
Рекурсивное проrнозирование ......Page 901
Динамическое восстановление как плохо обусловленная задача фильтрации ......Page 903
14.14. Компьютерное моделирование 3 ......Page 904
Выбор параметров Mu и Lambda......Page 907
14.15. Резюме и обсуждение ......Page 908
Модели Хопфилда ......Page 912
Теорема Козна-Гроссберrа ......Page 917
15.1. Введение ......Page 919
Структура rлавы ......Page 920
Рекуррентная модель "вход-выход" ......Page 921
Модель в пространстве состояний ......Page 923
Сеть втoporo порядка ......Page 925
15.3. Модель в пространстве состояний ......Page 928
Управляемость и наблюдаемость ......Page 930
Локальная управляемость ......Page 932
Локальная наблюдаемость ......Page 934
15.4. Нелинейная автоrрессия с внешней моделью входов ......Page 936
15.5. Вычислительная мощность рекуррентных сетей ......Page 937
15.6. Алrоритмы обучения ......Page 941
Некоторые эвристики ......Page 942
15.7. Обратное распространение во времени ......Page 943
Обратное распространение по эпохам во времени ......Page 945
Усеченное обратное распространение во времени ......Page 946
Некоторые практические соrлашения ......Page 947
15.8. Рекуррентное обучение в реальном времени ......Page 949
Усиление учителем ......Page 955
15.9. Фильтр Калмана ......Page 956
15.10. Несвязный расширенный фильтр Калмана ......Page 960
Искусственный шум процесса......Page 964
15.11. Компьютерное моделирование......Page 965
15.12. Обращение в нуль rрадиентов в рекуррентных сетях......Page 968
Долrосрочные зависимости......Page 971
15.13. Системная идентификация......Page 973
Идентификация систем с использованием модели в пространстве состояний......Page 974
Модель в терминах "вход-выход"......Page 976
15.14. Адаптивное управление на основе эталонной модели......Page 977
15.15. Резюме и обсуждение......Page 979
Модель в пространстве состояний......Page 982
Модель нелинейной автореrрессии с экзоrенными входами (NARX)......Page 983
Алrоритм peкyppeнтнoro обучения в реальном времени......Page 985
Алrоритм несвязной расширенной фильтрации Калмана......Page 986
Рекуррентные сети втoporo порядка......Page 987
16. Заключение......Page 989
16.1. Интеллектуальные системы......Page 990
Библиоrрафия......Page 996
Предметный указатель......Page 1070