"Незаурядное издание! Рано или поздно любому специалисту по анализу данных приходится работать с временными рядами или с подобными им технологическими данными. В этой книге вы найдете детальное описание методологий машинного обучения и обработки временных данных, сопровождаемое великолепными примерами их практической реализации."
Андреас В. Кемпа-Лир, старший преподаватель, факультет инженерных наук, Оклендский университет
Анализ временных рядов становится все более и более актуальным разделом науки о данных в связи с широким распространением Интернета вещей, переходом здравоохранения на исключительно цифровой учет данных и ростом умных городов. Непрерывный мониторинг и сбор самых разных данных становятся повседневной действительностью и предопределяют постоянно растущую потребность в эффективных инструментах анализа временных рядов, основанных как на статистических методах, так и на методах машинного обучения.
В этом практическом руководстве описаны современные технологии анализа данных временных рядов и приведены примеры их практического использования в самых разных предметных областях. Оно призвано помочь в решении наиболее распространенных задач исследования и обработки временных рядов с помощью традиционных статистических методов и наиболее популярных моделей машинного обучения. В своей книге Эйлин Нильсен рассматривает самые распространенные и доступные инструменты анализа временных рядов, включенные в программные пакеты языков R и Python, которые могут применяться специалистами по работе с данными и разработчиками программного обеспечения для написания собственных эффективных решений.
Основные темы книги:
• Поиск и извлечение временных рядов
• Глубокое исследование временных рядов
• Хранение временных данных
• Моделирование данных временных рядов
• Генерирование и отбор признаков для временных рядов
• Классификация и прогнозирование временных рядов с помощью методов машинного и глубокого обучения
• Оценка ошибок прогнозирования
• Оценка точности и производительности моделей
Об авторе
Эйлин Нильсен — разработчик программного обеспечения и специалист по анализу данных из Нью-Йорка.
Она занимается обработкой данных временных рядов в самых разных предметных областях и научных дисциплинах — здравоохранении, политических кампаниях, научно-исследовательской деятельности и биржевой торговле. За свою карьеру она разработала несколько алгоритмов прогнозирования, основанных на нейронных сетях.
Author(s): Эйлин Нильсен
Edition: 1
Publisher: Диалектика
Year: 2021
Language: Russian
Pages: 544
City: СПб.
Tags: Machine Learning; Data Analysis; Neural Networks; Deep Learning; Anomaly Detection; Python; Convolutional Neural Networks; Recurrent Neural Networks; Classification; Clustering; Kalman Filtering; Data Visualization; R; Statistics; Finance; NumPy; pandas; Forecasting; Simulation; Data Wrangling; Model Selection; Healthcare; Prophet; Time Series Analysis; Performance; Markov Models; Vector Autoregression; ARIMA; Feedforward Neural Networks
Содержание
Об авторе
Колофон
Введение
Для кого предназначена эта книга
Ожидаемый уровень подготовки
Почему именно эта книга
Структура книги
Принятые условные обозначения
Примеры исходных кодов
Благодарности
Ждем ваших отзывов!
Глава 1. Временные ряды: обзор и краткая история
История возникновения знаний о временных рядах
Временные ряды в медицине
Прогноз погоды
Экономические прогнозы
Астрономия
Начало анализа временных рядов
Истоки статистического анализа временных рядов
Анализ временных рядов с помощью машинного обучения
Дополнительные источники
Глава 2. Распознавание и обработка временных рядов
Источники временных рядов
Подготовленные наборы данных
Полученные временные ряды
Получение набора временных рядов из таблиц
Учебная задача: получение временных рядов
Построение полученного временного ряда
Трудности описания временных меток
Получение временных меток
Целесообразность расстановки временных меток
Осмысленная шкала времени
Очистка данных
Обработка недостающих данных
Понижение и повышение частоты дискретизации
Сглаживание данных
Сезонные данные
Часовые пояса
Предотвращение упреждения
Дополнительные источники
Глава 3. Методы исследования временных рядов
Общие методы исследования временных рядов
Построение графиков
Гистограммы
Диаграммы рассеяния
Специальные методы исследования временных рядов
Определение стационарности
Применение оконных функций
Самокорреляция и ее поиск
Ложные корреляции
Основные способы визуализации
Одномерная визуализация
Двумерная визуализация
Трехмерная визуализация
Дополнительные источники
Глава 4. Моделирование временных рядов
Особенности моделирования временных рядов
Моделирование и прогнозирование
Моделирование с помощью программного кода
Самостоятельная работа
Создание самоуправляемой среды моделирования
Моделирование физических процессов
Замечания по моделированию
Статистическое моделирование
Модели глубокого обучения
Дополнительные источники
Глава 5. Хранение временных рядов
Определение требований
Оперативные и хранимые данные
Хранение временных рядов в базах данных
Реляционные и нереляционные базы данных
Популярные базы данных временных рядов и файловые решения
Файловые решения
Библиотека NumPy
Библиотека Pandas
Разнозначные инструменты языка R
Пакет Хаггау
Дополнительные источники
Глава б. Статистические модели для временных рядов
Почему не линейная регрессия
Статистические методы обработки временных рядов
Авторегрессионные модели
Модели скользящего среднего
Интегрированная модель авторегрессии скользящего среднего
Векторная авторегрессия
Виды статистических моделей
Преимущества и недостатки статистических методов анализа временных рядов
Дополнительные источники
Глава 7. Модели пространства состояний для временных рядов
Модели пространства состояний: преимущества и недостатки
Фильтр Калмана
Обзор
Код реализации фильтра Калмана
Скрытые марковские модели
Обзор
Обучение модели
Код обучения модели НММ
Байесовский структурный временной ряд
Код реализации байесовских структурных временных рядов
Дополнительные источники
Глава 8. Генерация и выбор признаков для временных рядов
Вводный пример
Общие принципы выбора признаков
Природа временного ряда
Знания предметной области
Независимые факторы
Источники признаков
Библиотеки генерации признаков временных рядов с открытым исходным кодом
Примеры признаков, характерных для предметных областей
Отбор автоматически сгенерированных признаков
Заключение
Дополнительные источники
Глава 9. Машинное обучение в анализе временных рядов
Классификация временных рядов
Выбор и генерация признаков
Деревья принятия решений
Кластеризация
Генерация признаков из данных
Временные метрики расстояния
Код кластеризации
Дополнительные источники
Глава 10. Глубокое обучение для временных рядов
Концепции глубокого обучения
Программирование нейронной сети
Данные, символы, операции, слои и графы
Создание конвейера обучения
Исследование набора данных
Этапы конвейера обучения
Сети прямого распространения
Простой пример
Внимание как фактор улучшения сетей прямого распространения
Сверточные нейронные сети
Простая сверточная модель
Альтернативные сверточные модели
Рекуррентные нейронные сети
Продолжение примера по прогнозированию объемов потребления электроэнергии
Изобретение автокодировщиков
Комбинированные архитектуры
Резюме
Дополнительные источники
Глава 11. Оценка ошибок
Проверка прогнозов: основные положения
Особенности тестирования на исторических данных
Достаточно хороший прогноз
Оценка неопределенности с помощью моделирования
Прогнозирование на несколько шагов вперед
Прогнозирование до края горизонта
Рекурсивное прогнозирование к отдаленным временным горизонтам
Многозадачное обучение для временных рядов
Особенности тестирования моделей
Дополнительные источники
Глава 12. Производительность моделей временных рядов
Общие инструменты
Модели для перекрестных данных не обрабатывают общие данные разных выборок
Задержка между измерением данных и прогнозом в моделях без предварительной обработки
Форматы хранения данных: преимущества и недостатки
Хранение данных в двоичном формате
Предварительная обработка данных для облегчения прохода по ним
Изменение метода анализа для повышения производительности
Использовать все данные необязательно
Сложные модели не всегда лучшие
Кратко об альтернативных инструментах
Дополнительные источники
Глава 13. Медицинские приложения
Прогнозирование заболеваемости гриппом
Изучение заболеваемости гриппом на примере мегаполиса
Современные методы прогнозирования заболеваемости гриппом
Прогнозирование уровня глюкозы в крови
Очистка и исследование данных
Генерация признаков
Обучение модели
Дополнительные источники
Глава 14. Финансовые приложения
Получение и изучение финансовых данных
Предварительная обработка финансовых данных для глубокого обучения
Добавление новых величин к исходным данным
Масштабирование целевых величин без упреждения
Форматирование данных для нейронной сети
Построение и обучение RNN
Дополнительные источники
Глава 15. Временные ряды в государственном управлении
Получение правительственных данных
Изучение данных большого временного ряда
Обновление и агрегирование проходом по данным
Сортировка данных
Потоковый статистический анализ временных рядов
Нерассмотренные вопросы
Дальнейшее улучшение
Дополнительные источники
Глава 16. Пакеты для анализа временных рядов
Прогнозирование в масштабе
Промышленное решение по прогнозированию Google
Пакет Propher с открытым исходным кодом компании Facebook
Обнаружение аномалий
Пакет обнаружения аномалий с открытым исходным кодом компании Twitter
Другие пакеты анализа временных рядов
Дополнительные источники
Глава 17. Прогнозы о прогнозировании
Прогнозирование как услуга
Глубокое обучение расширяет возможности
Повышение важности машинного обучения
Повышение роли комбинированных моделей — статистического и машинного обучения
Больше прогнозов в повседневной жизни
Предметный указатель
