Ошеломляющий успех коммерческих приложений машинного обучения (machine learning – ML) и быстрый рост этой отрасли создали высокий спрос на готовые методы ML, которые можно легко использовать без специальных знаний. Однако и сегодня успех практического применения в решающей степени зависит от экспертов – людей, которые вручную выбирают подходящие архитектуры и их гиперпараметры. Методы AutoML нацелены на устранение этого узкого места путем построения систем ML, способных к автоматической оптимизации и самонастройке независимо от типа входных данных. В этой книге впервые представлен всеобъемлющий обзор базовых методов автоматизированного машинного обучения (AutoML).
Издание послужит отправной точкой для изучения этой быстро развивающейся области; тем, кто уже использует AutoML в своей работе, книга пригодится в качестве справочника.
Author(s): Франк Хуттер, Ларс Коттхофф, Хоакин Ваншорен
Edition: 1
Publisher: ДМК Пресс
Year: 2023
Language: Russian
Commentary: Publisher's PDF
Pages: 256
City: М.
Tags: Machine Learning; Neural Networks; Deep Learning; Statistics; Hyperparameter Tuning; AutoML; Meta-Learning
От издательства
Предисловие
Введение
Часть I. Методы AutoML
Глава 1. Оптимизация гиперпараметров
1.1. Введение
1.2. Постановка задачи
1.2.1. Альтернативы оптимизации: ансамблирование и маргинализация
1.2.2. Оптимизация по нескольким целям
1.3. Оптимизация гиперпараметров методом черного ящика
1.3.1. Оптимизация методом черного ящика без моделей
1.3.2. Байесовская оптимизация
1.3.2.1. Краткое введение в байесовскую оптимизацию
1.3.2.2. Суррогатные модели
1.3.2.3. Описание пространства конфигурации
1.3.2.4. Ограниченная байесовская оптимизация
1.4. Методы оптимизации с переменной точностью
1.4.1. Прогнозирование на основе кривой обучения для ранней остановки
1.4.2. Методы выбора алгоритма на основе приближений
1.4.3. Адаптивный выбор точности
1.5. Применение оптимизации гиперпараметров в AutoML
1.6. Проблемы и перспективные направления исследований
1.6.1. Бенчмарки и сопоставимость результатов
1.6.2. Оптимизация на основе градиента
1.6.3. Масштабируемость
1.6.4. Переобучение и обобщение
1.6.5. Построение конвейера произвольного размера
1.7. Литература
Глава 2. Метаобучение
2.1. Введение
2.2. Обучение на основе оценок моделей
2.2.1. Независимые от задачи рекомендации
2.2.2. Построение пространства конфигураций
2.2.3. Перенос конфигурации
2.2.3.1. Относительные ориентиры
2.2.3.2. Суррогатные модели
2.2.3.3. Многозадачное обучение с теплым стартом
2.2.3.4. Другие методы
2.2.4. Кривые обучения
2.3. Обучение на основе свойств задачи
2.3.1. Метапризнаки
2.3.2. Обучение метапризнаков
2.3.3. Оптимизация с теплым стартом на основе схожих задач
2.3.4. Метамодели
2.3.4.1. Ранжирование
2.3.4.2. Прогнозирование производительности
2.3.5. Синтез конвейера
2.3.6. Настраивать или не настраивать?
2.4. Обучение на основе предыдущих моделей
2.4.1. Трансферное обучение
2.4.2. Метаобучение в нейронных сетях
2.4.3. Обучение на ограниченных данных
2.4.4. За рамками обучения с учителем
2.5. Заключение
2.6. Литература
Глава 3. Поиск нейронной архитектуры
3.1. Введение
3.2. Пространство поиска
3.3. Стратегия поиска
3.4. Стратегия оценки производительности
3.5. Перспективные направления
3.6. Литература
Часть II. Системы AutoML
Глава 4. Auto-WEKA: автоматический выбор модели и оптимизация гиперпараметров в WEKA
4.1. Введение
4.2. Предварительные условия
4.2.1. Выбор модели
4.2.2. Оптимизация гиперпараметров
4.3. Одновременный выбор алгоритмов и оптимизация гиперпараметров (CASH)
4.3.1. Последовательный алгоритм конфигурации по модели (SMAC)
4.4. Auto-WEKA
4.5. Экспериментальная оценка
4.5.1. Эталонные методы
4.5.2. Результаты производительности, определенные перекрестной проверкой
4.5.3. Результаты тестирования производительности
4.6. Заключение
4.6.1. Популярность Auto-WEKA в сообществе
4.7. Литература
Глава 5. Проект Hyperopt-sklearn
5.1. Введение
5.2. Оптимизация с помощью Hyperopt
5.3. Выбор модели в scikit-learn как задача поиска
5.4. Пример использования
5.5. Эксперименты
5.6. Текущее состояние и перспективные направления исследований
5.7. Заключение
5.8. Литература
Глава 6. Auto-sklearn – эффективное и надежное автоматизированное машинное обучение
6.1. Введение
6.2. AutoML как задача CASH
6.3. Новые методы повышения эффективности и надежности AutoML
6.3.1. Поиск перспективных вариантов при помощи метаобучения
6.3.2. Автоматизированное построение ансамбля моделей, оцененных во время оптимизации
6.4. Практическая система автоматизированного машинного обучения
6.5. Сравнение Auto-sklearn с Auto-WEKA и Hyperopt-sklearn
6.6. Оценка предложенных улучшений AutoML
6.7. Детальный анализ компонентов Auto-sklearn
6.8. Обсуждение результатов и заключение
6.8.1. Обсуждение результатов
6.8.2. Практическое применение
6.8.3. Расширения в PoSH Auto-sklearn
6.8.4. Заключение и будущие исследования
6.9. Литература
Глава 7. На пути к автоматически настраиваемым глубоким нейронным сетям
7.1. Введение
7.2. Auto-Net 1.0
7.3. Auto-Net 2.0
7.4. Эксперименты
7.4.1. Первичная оценка Auto-Net 1.0 и Auto-sklearn
7.4.2. Результаты для наборов данных конкурса AutoML
7.4.3. Сравнение AutoNet 1.0 и 2.0
7.5. Заключение
7.6. Литература
Глава 8. TPOT: инструмент оптимизации конвейеров на основе деревьев для автоматизации МО
8.1. Введение
8.2. Базовые принципы TPOT
8.2.1. Конвейерные операторы машинного обучения
8.2.2. Построение конвейеров на основе деревьев
8.2.3. Оптимизация конвейеров на основе деревьев
8.2.4. Эталонные данные
8.3. Результаты
8.4. Выводы и перспективные направления исследований
8.5. Литература
Глава 9. Проект Automatic Statistician
9.1. Введение
9.2. Базовые принципы Automatic Statistician
9.2.1. Похожие исследования
9.3. Automatic Statistician и данные временных рядов
9.3.1. Грамматика операций над ядрами
9.3.2. Процедура поиска и оценки
9.3.3. Генерация описаний на естественном языке
9.3.4. Сравнение с людьми
9.4. Другие системы автоматической статистики
9.4.1. Основные компоненты
9.4.2. Проблемы и задачи
9.4.2.1. Взаимодействие с пользователем
9.4.2.2. Отсутствующие и беспорядочные данные
9.4.2.3. Распределение ресурсов
9.5. Заключение
9.6. Литература
Часть III. Проблемы AutoML
Глава 10. О чем говорят результаты конкурсов AutoML Challenge?
10.1. Введение
10.2. Формализация задачи и обзор условий
10.2.1. Предметная область задачи
10.2.2. Выбор полной модели
10.2.3. Оптимизация гиперпараметров
10.2.4. Стратегии поиска моделей
10.3. Данные
10.4. Протокол конкурса
10.4.1. Бюджет времени и вычислительные ресурсы
10.4.2. Метрики подсчета баллов
10.4.3. Раунды и этапы в конкурсе 2015/2016
10.4.4. Этапы конкурса 2018 года
10.5. Результаты
10.5.1. Оценки, полученные в конкурсе 2015/2016
10.5.2. Результаты, полученные в конкурсе 2018 года
10.5.3. Сложность наборов данных/задач
10.5.4. Оптимизация гиперпараметров
10.5.5. Метаобучение
10.5.6. Методы, использованные в конкурсах
10.6. Обсуждение
10.7. Заключение
10.8. Литература
Предметный указатель
Пустая страница
