Штучн? нейронн? мереж?

Аннотация: У навчальному пос?бнику викладено основн? принципи побудови штучних нейронних мереж (ШНМ) як самост?йного напрямку в теор?ї ?нтелектуальних систем, подано б?олог?чний аналог штучного нейрона ? процеси обробки ?нформац?ї в б?олог?чних системах. Наведено р?зноман?тн? модел? штучних нейрон?в ? розглянуто властивост? мереж, побудованих на їх основ?, починаючи в?д персептрона ? зак?нчуючи нов?тн?ми розробками в ц?й галуз?. Значну увагу прид?лено методам навчання ШНМ, питанням рац?онального вибору ? спрощення їх арх?тектури. Окремий розд?л пос?бника присвячений розгляду прикладного аспекту використання нейромережевих технолог?й (ф?нансове прогнозування, адаптивне управл?ння складними об?єктами за умов невизначеност?, обробка в?део- та мовних сигнал?в, ф?льтрац?я ? стиснення ?нформац?ї тощо). Для студент?в, асп?рант?в ? науково-техн?чних сп?вроб?тник?в, як? займаються створенням сучасних способ?в обробки ?нформац?ї. Перевод: В учебном пособии изложены основные принципы построения искусственных нейронных сетей как самостоятельного направления в теории интеллектуальных систем, подан биологический аналог искусственного нейрона и процессы обработки информации в биологических системах. Приведены разнообразные модели искусственных нейронов и рассмотрены свойства сетей, построенных на их основе, начиная от персептрона и заканчивая новейшими разработками в этой отрасли. Значительное внимание уделено методам обучения искусственных нейронных сетей, вопросам рационального выбора и упрощения их архитектуры. Отдельный раздел пособия посвящен рассмотрению прикладного аспекта использования нейросетевых технологий (финансовое прогнозирование, адаптивное управление сложными объектами при условиях неопределенности, обработка видео- и языковых сигналов, фильтрация и сжатие информации и тому подобное). Содержание: ЗМ?СТ ПЕРЕДМОВА ВСТУП 1. Б?ОЛОГ?ЧН? ОСНОВИ НЕЙРОННИХ МЕРЕЖ 1.1. Мозок людини 1.2. Нейрон 1.3. Передавання ?нформац?ї 2. ОСНОВН? ПОНЯТТЯ ШТУЧНИХ НЕЙРОННИХ МЕРЕЖ 2.1. Структура штучного нейрона 2.2. Модел? штучних нейрон?в 2.2.1. Формальна модель нейрона Маккаллоха — П?ттса 2.2.2. Модель нейрона Адал?ни 2.2.3. Модель нейрона Фукуш?ми 2.2.4. Модель штучного нейрона Гопф?лда 2.2.5. Модель ?россбер?а 2.2.6. Узагальнена модель нейрона 2.2.7. ∑-П-нейрон 2.2.8. Стохастичний нейрон 2.3. Тополог?я ШНМ 2.3.1. ШНМ прямого поширення 2.3.2. ШНМ зворотного поширення 2.3.3. Повнозв?язн? ШНМ 2.4. Навчання ШНМ 2.4.1. Правило навчання Гебба (корелятивне, сп?вв?дносне навчання) 2.4.2. Дельта-правило 2.4.3. Розширене дельта-правило 2.4.4. Конкурентне навчання 2.4.5. Стохастичне навчання 2.4.6. Град?єнтн? методи навчання 2.4.7. Навчання з п?дкр?плюванням 3. РАНН? АРХ?ТЕКТУРИ ШНМ 3.1. Одношаров? ШНМ 3.1.1. Одношаровий персептрон 3.1.2. Навчання персептрона 3.1.3. Теорема зб?жност? для персептрона 3.1.4. Адал?на 3.1.5. Н-Адал?на 3.1.6. Вх?дна з?рка ?россбер?а 3.1.7. Вих?дна з?рка 3.2. Л?н?йна розд?льн?сть 3.3. Багатошаров? ШНМ 3.3.1. Багатошаровий персептрон 3.3.2. Мадал?на 3.3.3. ШНМ, що заснована на МГУА 3.4. Алгоритм зворотного поширення помилки 3.4.1. Обчислення ваг нейрон?в вих?дного шару 3.4.2. Обчислення ваг нейрон?в прихованого шару 4. ШНМ-КОМПАРАТОР 5. АСОЦ?АТИВНА ПАМ?ЯТЬ 5.1. Асоц?ативна мережа прямого поширення 5.2. Алгоритми навчання асоц?ативної пам?ят? 5.2.1. Правило навчання Гебба 5.2.2. Дельта-правило 5.2.3. Алгоритми навчання, що використовують операц?ю псевдообернення матриц? вх?дних сигнал?в 5.2.4. Розп?знавання спотвореного образу 5.3. Гетероасоц?ативна пам?ять 5.4. Автоасоц?ативна пам?ять 5.5. Двоспрямована асоц?ативна пам?ять 6. МЕРЕЖА ГОПФ?ЛДА 6.1. Модель Гопф?лда 6.2. Навчання в мереж? Гопф?лда 6.2.1. Накопичення образ?в у мереж? Гопф?лда 6.2.2. Виклик образу 6.3. Синхронна мережа Гопф?лда 6.4. Неперервна мережа Гопф?лда 6.5. Асоц?ативна мережа BSB 7. СИНЕРГЕТИЧНИЙ КОМП?ЮТЕР 8. МЕРЕЖА ХЕММ?НГА 9. ДИНАМ?ЧН? РЕКУРСИВН? ШНМ 9.1. Структура ДРМ 9.2. Неперервн? ДРМ 9.3. Дискретна ДРМ 9.3.1. Повнозв?язн? ДРМ 9.3.2. Частково-рекурсивн? мереж? 9.3.3. Локально-рекурсивн? мереж? прямого поширення 9.4. Навчання ДРМ 9.4.1. Алгоритм зворотного поширення помилки 9.4.2. Адаптивний алгоритм навчання 10. МЕРЕЖА ВЕКТОРНОГО КВАНТУВАННЯ 10.1. Структура мереж? векторного квантування 10.2. Неконтрольоване навчання мереж? ВК 10.3. Коонтрольоване навчання мереж? ВК 10.3.1. LVQ1 10.3.2. LVQ2.1 10.3.3. LVQ3 10.3.4. OLVQ1 11. МЕРЕЖА КОГОНЕНА 11.1. Структура мереж? Когонена 11.2. Навчання мереж? Когонена 11.3. Виб?р функц?ї ?сус?дства? 11.4. Побудова мапи Когонена 12. МЕРЕЖ? ЗУСТР?ЧНОГО ПОШИРЕННЯ 12.1. Арх?тектура мереж? зустр?чного поширення 12.2. Навчання шару Когонена 12.2.1. Нормування вход?в 12.2.2. Корекц?я вагових коеф?ц?єнт?в 12.2.3. ?н?ц?ал?зац?я елемент?в вагової матриц? 12.3. Навчання шару ?россбер?а 12.4. Повна мережа зустр?чного поширення 13. МАШИНА БОЛЬЦМАНА 13.1. Структура машини Больцмана 13.2. Навчання в машин? Больцмана 13.2.1. Модель в?дпалювання 13.2.2. Алгоритм навчання машини Больцмана 13.2.3. Обговорення алгоритму навчання 13.2.4. Алгоритм класиф?кац?ї (розп?знавання) 13.3. Машина Кош? 14. СТОХАСТИЧН? МЕРЕЖ? 14.1. Байєс?вський класиф?катор 14.2. В?кна Парзена 14.3. Структура стохастичної мереж? 14.4. Узагальнено-регрес?йна ШНМ 14.4.1. Р?вняння регрес?ї 14.4.2. Узагальнено-регрес?йна мережа 15. РАД?АЛЬНО-БАЗИСНА МЕРЕЖА 15.1. Арх?тектура РБМ 15.1.1. Структура мереж? 15.1.2. Нейрон шаблонного шару мереж? 15.2. Навчання рад?ально-базисної мереж? 15.2.1. Виб?р параметр?в центр?в ? в?дхилень σ 15.2.2. Самонавчання параметр?в центр?в 15.2.3. Навчання мереж? ?з учителем 15.2.4. Зм?на к?лькост? нейрон?в шаблонного шару 15.3. Нормал?зована рад?ально-базисна мережа 15.4. Г?пербазисна мережа 15.4.1. Структура мереж? 15.4.2. Навчання мереж? 16. НЕЙРОННА МЕРЕЖА СМАС 16.1. Принцип роботи мереж? 16.2. Структура мереж? СМАС 16.3. Кодування ?нформац?ї 16.4. Виб?р базисних функц?й 16.5. Гешування ?нформац?ї 16.5.1. Алгоритми гешування ?нформац?ї у СМАС 16.5.2. Геш-кол?з?ї 16.6. Навчання мереж? 17. НЕОКОГН?ТРОН 17.1. Структура неокогн?трона 17.2. Процес розп?знавання образу 17.2.1. Розп?знавання неспотвореного образу 17.2.2. Розп?знавання спотвореного образу 17.3. Структура S-нейрона 17.4. Навчанння неокогн?трона 17.4.1. Навчання без учителя 17.4.2. Навчання з учителем 17.5. Неокогн?трон з механ?змом виб?рної уваги 18. КАСКАДНО-КОРЕЛЯЦ?ЙН? МЕРЕЖ? 18.1. Арх?тектура мереж? 18.2. Навчання ККМ 18.3. Основн? переваги ККМ 19. МЕРЕЖА З ЕЛЕМЕНТАМИ ЗАТРИМКИ СИГНАЛУ 19.1. Структура мереж? 19.2. Навчання мереж? 19.2.1. Алгоритм зворотного поширення помилки 19.2.2. Прискорення процесу навчання 19.3. ?єрарх?чн? мереж? з часовою затримкою сигналу 20. МЕРЕЖ? НА ОСНОВ? ТЕОР?Ї АДАПТИВНОГО РЕЗОНАНСУ 20.1. Мережа ART-1 20.1.1. Арх?тектура й призначення основних модул?в 20.1.2. Функц?онування мереж? 20.1.3. Функц?онування ART-1 20.2. Мережа ART-2 20.2.1. Динам?ка мереж? ART-2 20.2.2. Навчання мереж? ART-2 20.3. Мережа ART-2a 20.4. Мережа ART MAP 20.5. ?нш? мереж? ART 20.5.1. Мережа ART-3 20.5.2. FUZZY-ART 21. МЕТОДИ СПРОЩЕННЯ СТРУКТУРИ МЕРЕЖ 21.1. Методи вилучення ваг 21.1.1. Вилучення ваг, що мають найменш? значення 21.1.2. Метод OBD 21.1.3. Метод OBS 21.2. Методи вилучення нейрон?в 21.2.1. Вилучення нейрон?в з урахуванням їх важливост? 21.2.2. Вилучення нейрон?в прихованого шару з використанням варт?сної функц?ї 21.2.3. Вилучення ваг з використанням варт?сної функц?ї 22. ГЕНЕТИЧН? АЛГОРИТМИ 22.1. Кодування генетичної ?нформац?ї 22.2. Генетичн? оператори 22.3. Ц?льова функц?я 22.4. Реал?зац?я ГА 22.5. Генетичн? алгоритми й ШНМ 22.5.1. Визначення синаптичних ваг 22.5.2. Оптим?зац?я тополог?ї ШНМ 23. ПРИКЛАДИ ЗАСТОСУВАННЯ ШНМ 23.1. Синтезатор мови — NETtalk 23.2. Система автоматичного керування автомоб?лем 23.3. Розв?язання задач? про ком?вояжера 23.4. ?дентиф?кац?я нел?н?йних динам?чних об?єкт?в 23.5. Нейрокерування нел?н?йними об?єктами 23.6. Кластеризац?я даних 23.7. Стиснення даних 23.7.1. Стиснення даних за допомогою мереж? Когонена 23.7.2. Стиснення зображень за допомогою ?єрарх?чної ШНМ СМАС 23.8. Ф?нансове прогнозування на основ? ШНМ 23.8.1. Прогнозування ринку акц?й з використанням багатошарового персептрона 23.8.2. Прогнозування ринку акц?й на основ? мереж ART 23.9. Нейромережева ?нформац?йно-дов?дкова система Л?тература Метка темы: Нейронные сети