Генеративное моделирование — одна из самых обсуждаемых тем в области искусственного интеллекта. Машины можно научить рисовать, писать и сочинять музыку. Вы сами можете посадить искусственный интеллект за парту или мольберт, для этого достаточно познакомиться с самыми актуальными примерами генеративных моделей глубокого обучения: вариационные автокодировщики, генеративно-состязательные сети, модели типа кодер-декодер и многое другое.
Дэвид Фостер делает понятными и доступными архитектуру и методы генеративного моделирования, его советы и подсказки сделают ваши модели более творческими и эффективными в обучении. Вы начнете с основ глубокого обучения на базе Keras, а затем перейдете к самым передовым алгоритмам.
• Разберитесь с тем, как вариационные автокодировщики меняют эмоции на фотографиях.
• Создайте сеть GAN с нуля.
• Освойте работу с генеративными моделями генерации текста.
• Узнайте, как генеративные модели помогают агентам выполнять задачи в рамках обучения с подкреплением.
• Изучите BERT, GPT-2, ProGAN, StyleGAN и многое другое.
Author(s): Дэвид Фостер
Series: Бестселлеры O’Reilly
Edition: 1
Publisher: Питер
Year: 2020
Language: Russian
Commentary: Vector PDF
Pages: 336
City: СПб.
Tags: Machine Learning; Neural Networks; Deep Learning; Natural Language Processing; Image Processing; Python; Convolutional Neural Networks; Recurrent Neural Networks; Generative Adversarial Networks; Keras; TensorFlow; Variational Autoencoders; Batch Learning; Music; Naïve Bayes
Предисловие
Цели и подходы
Уровень подготовки
Прочие ресурсы
Типографские соглашения
Использование программного кода примеров
Благодарности
От издательства
Часть I. Введение в генеративное глубокое обучение
Глава 1. Генеративное моделирование
Что такое генеративное моделирование?
Генеративное и дискриминативное моделирование
Достижения в машинном обучении
Появление генеративного моделирования
Основа для генеративного моделирования
Вероятностные генеративные модели
Привет, Ирм!
Ваша первая вероятностная генеративная модель
Наивная байесовская параметрическая модель
Привет, Ирм! Продолжение
Сложности генеративного моделирования
Обучение представлению
Настройка окружения
Итоги
Глава 2. Глубокое обучение
Структурированные и неструктурированные данные
Глубокие нейронные сети
Keras и TensorFlow
Ваша первая глубокая нейронная сеть
Загрузка данных
Конструирование модели
Компиляция модели
Обучение модели
Оценка модели
Улучшение модели
Сверточные слои
Пакетная нормализация
Слои прореживания
Соединяем все вместе
Итоги
Глава 3. Вариационные автокодировщики
Художественная выставка
Автокодировщики
Ваш первый автокодировщик
Кодировщик
Декодировщик
Объединение кодировщика и декодировщика
Анализ автокодировщика
Выставка вариационного искусства
Конструирование вариационного автокодировщика
Кодировщик
Функция потерь
Анализ вариационного автокодировщика
Использование вариационного автокодировщика для генерации изображений лиц
Обучение VAE
Анализ вариационного автокодировщика
Генерирование новых лиц
Арифметика скрытого пространства
Преобразование одного лица в другое
Итоги
Глава 4. Генеративно-
состязательные сети
Ганимал
Введение в генеративно-состязательные сети
Ваша первая генеративно-состязательная сеть
Дискриминатор
Генератор
Обучение генеративно-состязательной сети
Проблемы генеративно-состязательных сетей
Колебания потерь
Коллапс модели
Неинформативные потери
Гиперпараметры
Решение проблем генеративно-состязательных сетей
Генеративно-состязательные сети с функцией потерь Вассерштейна
Функция потерь Вассерштейна
Ограничение Липшица
Усечение весов
Обучение WGAN
Анализ WGAN
WGAN-GP
Функция потерь штрафа за градиент
Анализ WGAN-GP
Итоги
Часть II. Учим машины рисовать, писать, сочинять музыку и играть в игры
Глава 5. Рисование
Яблоки и апельсины
CycleGAN
Ваша первая сеть CycleGAN
Обзор
Генераторы (U-Net)
Дискриминаторы
Компиляция CycleGAN
Обучение CycleGAN
Анализ CycleGAN
CycleGAN, рисующая в стиле Моне
Генераторы (ResNet)
Анализ CycleGAN
Нейронный перенос стиля
Потеря содержимого
Потеря стиля
Потеря общей дисперсии
Запуск нейронного переноса стиля
Анализ модели нейронного переноса стиля
Итоги
Глава 6. Литературное творчество
Литературное общество для проблемных правонарушителей
Сети с долгой краткосрочной памятью
Ваша первая сеть LSTM
Лексемизация
Создание набора данных
Архитектура модели LSTM
Слой Embedding
Слой LSTM
Ячейка LSTM
Генерирование нового текста
Расширения RNN
Многослойные рекуррентные сети
Управляемые рекуррентные блоки
Двунаправленные ячейки
Модели кодировщик-декодировщик
Генератор вопросов и ответов
Набор данных с вопросами и ответами
Архитектура модели
Вычисление результатов
Результаты моделирования
Итоги
Глава 7. Сочинение музыки
Вступление
Нотная запись
Ваша первая сеть RNN для генерирования музыки
Внимание
Конструирование механизма внимания с помощью Keras
Анализ сети RNN с механизмом внимания
Механизм внимания в сетях типа кодировщик-декодировщик
Генерирование полифонической музыки
Музыкальный орган
Ваша первая сеть MuseGAN
Генератор MuseGAN
Аккорды, стиль, мелодия и дорожки
Генератор тактов
Объединяем все вместе
Критик
Анализ сети MuseGAN
Итоги
Глава 8. Играем в игры
Обучение с подкреплением
OpenAI Gym
Архитектура модели мира
Вариационный автокодировщик
Сеть MDN-RNN
Контроллер
Подготовка
Обзор процесса обучения
Сбор данных в ходе случайных прогонов
Обучение VAE
Архитектура VAE
Анализ VAE
Сбор данных для обучения RNN
Обучение сети MDN-RNN
Архитектура сети MDN-RNN
Выборка следующего состояния и вознаграждения из MDN-RNN
Функция потерь в MDN-RNN
Обучение контроллера
Архитектура контроллера
CMA-ES
Параллельное выполнение алгоритма CMA-ES
Вывод контроллера в процессе обучения
Обучение в мнимом окружении
Обучение контроллера в мнимом окружении
Недостатки обучения в мнимом окружении
Итоги
Глава 9. Будущее генеративного моделирования
Пять лет прогресса
Трансформер
Позиционное кодирование
Многоголовое внимание
Декодировщик
Анализ трансформера
BERT
GPT-2
MuseNet
Достижения в генерировании изображений
ProGAN
Self-Attention GAN (SAGAN)
BigGAN
StyleGAN
Области применения генеративного моделирования
Изобразительное творчество искусственного интеллекта
Музыкальное творчество искусственного интеллекта
Глава 10. Заключение
Об авторе
Об обложке
