Прогнозирование: принципы и практика

Предисловие от издательства
Об авторах
Предисловие
Глава 1
Приступая к работе
1.1 Что можно прогнозировать?
1.2 Прогнозирование, цели и планирование
Прогнозирование
Цели
Планирование
Краткосрочные прогнозы
Среднесрочные прогнозы
Долгосрочные прогнозы
1.3 Определение того, что следует прогнозировать
1.4 Данные и методы прогнозирования
Прогнозирование временных рядов
Индикаторные переменные и прогнозирование временных рядов
1.5 Несколько тематических исследований
Случай 1
Случай 2
Случай 3
Случай 4
1.6 Базовые шаги в задаче прогнозирования
Шаг 1: определение задачи
Шаг 2: сбор информации
Шаг 3: предварительный (разведывательный) анализ
Шаг 4: выбор и подгонка моделей
Шаг 5: использование и оценивание модели прогнозирования
1.7 Перспектива статистического прогнозирования
1.8 Упражнения
1.9 Дальнейшее чтение
Библиография
Глава 2
Графика временных рядов
2.1 Объекты twibble
Переменная-индекс
Переменные-ключи
Работа с объектами twibble
Прочитать csv-файл и конвертировать его в twibble
Сезонный период
2.2 Графики времени
2.3 Закономерности временных рядов
Тренд
Сезонный
Циклический
2.4 Сезонные графики
Несколько сезонных периодов
2.5 Графики сезонных подрядов
Пример: туристический отдых в Австралии
2.6 Диаграммы рассеяния
Корреляция
Матрицы диаграмм рассеяния
Библиография
2.7 Графики лагов
2.8 Автокорреляция
Тренды и сезонность на ACF-графиках
2.9 Белый шум
2.10 Упражнения
2.11 Дальнейшее чтение
Библиография
Глава 3
Разложение временных рядов
3.1 Преобразования и корректировки
Календарные корректировки
Корректировки по численности населения
Корректировки на инфляцию
Математические преобразования
Библиография
3.2 Компоненты временных рядов
Пример: занятость в секторе розничной торговли США
Сезонно скорректированные данные
3.3 Скользящие средние
Сглаживание скользящей средней
Скользящие средние скользящих средних
Оценивание тренда-цикла с сезонными данными
Пример: занятость в секторе розничной торговли США
Взвешенные скользящие средние
3.4 Классическое разложение
Аддитивное разложение
Мультипликативное разложение
Комментарии к классическому разложению
3.5 Методы, используемые официальными статистическими агентствами
Метод X-11
Метод SEATS
Библиография
3.6 STL-разложение
Библиография
3.7 Упражнения
3.8 Дальнейшее чтение
Библиография
Глава 4
Признаки временных рядов
4.1 Несколько простых статистик
4.2 Признаки ACF
4.3 Признаки STL
4.4 Другие признаки
4.5 Разведывательный анализ данных о туризме в Австралии
Библиография
4.6 Упражнения
4.7 Дальнейшее чтение
Библиография
Глава 5
Инструментарий прогнозиста
5.1 Чистый рабочий поток прогнозирования
Подготовка данных (очистка)
Построение графика данных (визуализация)
Определение модели (формулирование)
Тренировка модели (расчет)
Проверка результативности модели (оценивание)
Генерирование прогнозов (прогнозирование)
5.2 Несколько простых методов прогнозирования
Метод среднего
Наивный метод
Сезонный наивный метод
Дрейфовый метод
Пример: ежеквартальное производство пива в Австралии
Пример: ежедневная цена акций Google на момент закрытия торгов
5.3 Подогнанные значения и остатки
Подогнанные значения
Остатки
5.4 Диагностика остатков
Пример: прогнозирование цен акций Google на момент закрытия торгов
Тесты портманто на автокорреляцию
5.5 Распределительные прогнозы и предсказательные интервалы
Прогнозные распределения
Предсказательные интервалы
Одношаговые предсказательные интервалы
Многошаговые предсказательные интервалы
Эталонные методы
Предсказательные интервалы из бутстрапированных остатков
5.6 Прогнозирование с использованием преобразований
Предсказательные интервалы с преобразованиями
Поправки на смещение
5.7 Прогнозирование с разложением
Пример: занятость в секторе розничной торговли США
5.8 Оценивание точности точечного прогноза
Тренировочный и тестовый наборы
Функции для взятия подмножеств из временных рядов
Ошибки прогнозов
Ошибки, зависимые от шкалы
Процентные ошибки
Шкалированные ошибки
Примеры
Библиография
5.9 Оценивание точности распределительного прогноза
Квантильные баллы
Балл Винклера
Непрерывный рангово-вероятностный балл
Бесшкальные сравнения с использованием баллов навыков
Библиография
5.10 Перекрестная валидация временных рядов
Пример: точность прогнозного горизонта с помощью перекрестной валидации
5.11 Упражнения
5.12 Дальнейшее чтение
Библиография
Глава 6
Прогнозы на основе суждений
Библиография
6.1 Остерегайтесь ограничений
Библиография
6.2 Ключевые принципы
Четко и кратко формулировать задачу прогнозирования
Внедрять систематический подход
Документировать и обосновывать
Систематически оценивать прогнозы
Сегрегировать прогнозистов и пользователей
Пример: схема фармацевтических льгот (PBS)
6.3 Дельфийский метод
Эксперты и анонимность
Постановка задачи прогнозирования в дельфийском методе
Обратная связь
Итерация
Окончательные прогнозы
Ограничения и вариации
Куратор
Библиография
6.4 Прогнозирование по аналогии
Пример: разработка учебной программы средней школы
Структурированная аналогия
Библиография
6.5 Сценарное прогнозирование
6.6 Прогнозирование новых продуктов
Композитный прогноз торгового отдела
Мнение руководства
Намерения клиентов
Библиография
6.7 Сужденческие корректировки
Использовать корректировки экономно
Применять структурированный подход
Пример: комитет по прогнозированию туризма (TFC)
Библиография
6.8 Дальнейшее чтение
Библиография
Глава 7
Модели регрессии временных рядов
7.1 Линейная модель
Простая линейная регрессия
Пример: потребительские расходы в США
Множественная линейная регрессия
Пример: потребительские расходы в США
Допущения
7.2 Оценивание методом наименьших квадратов
Пример: потребительские расходы в США
Подогнанные значения
Качество подгонки
Пример: потребительские расходы в США
Стандартная ошибка регрессии
7.3 Оценивание регрессионной модели
График ACF остатков
Гистограмма остатков
Графики остатков в сопоставлении с предсказателями
Графики остатков в сопоставлении с подогнанными значениями
Выбросы и влиятельные наблюдения
Мнимая регрессия
7.4 Несколько полезных предсказателей
Тренд
Фиктивные переменные
Сезонные фиктивные переменные
Пример: ежеквартальное производство пива в Австралии
Переменные вмешательства
Торговые дни
Распределенные лаги
Пасха
Ряд Фурье
7.5 Отбор предсказателей
Скорректированный R2
Перекрестная валидация
Информационный критерий Акаике
Исправленный информационный критерий Акаике
Байесов информационный критерий Шварца
Какую меру мы должны использовать?
Пример: потребление в США
Регрессия наилучшего подмножества
Пошаговая регрессия
Остерегайтесь статистического вывода после отбора предсказателей
Библиография
7.6 Прогнозирование с помощью регрессии
Антефактумные прогнозы в сопоставлении с постфактумными прогнозами
Пример: ежеквартальное производство пива в Австралии
Прогнозирование на основе сценариев
Строительство предсказательной регрессионной модели
Предсказательные интервалы
7.7 Нелинейная регрессия
Прогнозирование с нелинейным трендом
Пример: времена побед в Бостонском марафоне
7.8 Корреляция, каузация и прогнозирование
Корреляция – это не каузация
Прогнозирование с использованием коррелированных предсказателей
Мультиколлинеарность и прогнозирование
7.9 Матричная формулировка
Оценивание методом наименьших квадратов
Подогнанные значения и перекрестная валидация
Прогнозы и предсказательные интервалы
7.10 Упражнения
7.11 Дальнейшее чтение
Библиография
Глава 8
Экспоненциальное сглаживание
Библиография
8.1 Простое экспоненциальное сглаживание
Средневзвешенная форма
Компонентная форма
Плоские прогнозы
Оптимизация
Пример: экспорт из Алжира
8.2 Методы с трендом
Метод линейного тренда Хольта
Пример: население Австралии
Методы демпфируемого тренда
Пример: численность населения Австралии (продолжение)
Пример: используемость интернета
Библиография
8.3 Методы с сезонностью
Аддитивный метод Хольта–Винтерса
Мультипликативный метод Хольта–Винтерса
Пример: внутренние поездки с ночевкой в Австралии
Демпфирующий метод Хольта–Винтерса
Пример: метод Хольта–Винтерса с ежедневными данными
Библиография
8.4 Таксономия методов экспоненциального сглаживания
Библиография
8.5. Модели пространства состояний инноваций для экспоненциального сглаживания
ETS(A,N,N): простое экспоненциальное сглаживание с аддитивными ошибками
ETS(M,N,N): простое экспоненциальное сглаживание с мультипликативными ошибками
ETS(A,A, N): линейный метод Хольта с аддитивными ошибками
ETS(M,A, N): линейный метод Хольта с мультипликативными ошибками
Другие модели ETS
8.6 Оценивание и отбор модели
Оценивание моделей ETS
Отбор модели
Пример: гостевые ночи праздичных туристов в Австралии
Библиография
8.7 Прогнозирование с использованием моделей ETS
Предсказательные интервалы
Библиография
8.8 Упражнения
8.9 Дальнейшее чтение
Библиография
Глава 9
Модели ARIMA
9.1 Стационарность и дифференцирование
Дифференцирование
Модель случайного блуждания
Дифференцирование второго порядка
Сезонное дифференцирование
Тесты на единичные корни
Библиография
9.2 Нотация обратного сдвига
9.3 Авторегрессионные модели
9.4 Модели скользящих средних
9.5 Несезонные модели ARIMA
Пример: экспорт из Египта
Понимание моделей ARIMA
Графики ACF и PACF
9.6 Оценивание и выбор порядка
Оценивание максимального правдоподобия
Информационные критерии
9.7 Моделирование ARIMA в fable
Как работает функция ARIMA()?
Процедура моделирования
Пример: экспорт из Центральноафриканской Республики
Понимание констант в R
Построение графика характеристических корней
Библиография
9.8 Прогнозирование
Точечные прогнозы
Предсказательные интервалы
Библиография
9.9 Сезонные модели ARIMA
ACF/PACF
Пример: ежемесячная занятость в сфере досуга и гостиничного бизнеса в США
Пример: продажа кортикостероидных препаратов в Австралии
Оценивание на тестовом наборе
9.10 ARIMA в сопоставлении с ETS
Сравнение ARIMA() и ETS() на несезонных данных
Сравнение ARIMA() и ETS() на сезонных данных
9.11 Упражнения
9.12 Дальнейшее чтение
Библиография
Глава 10
Модели на основе динамической регрессии
10.1 Оценивание
Библиография
10.2 Регрессия с ошибками ARIMA с использованием fable
Пример: личное потребление и доход в США
10.3 Прогнозирование
Пример: личное потребление и доход в США
Пример: прогнозирование спроса на электроэнергию
10.4 Стохастические и детерминированные тренды
Пример: пассажиры воздушного транспорта Австралии
10.5 Динамическая гармоническая регрессия
Пример: расходы австралийцев на питание вне дома
Библиография
10.6 Лагированные предсказатели
Пример: телевизионная реклама и страховые котировки
10.7 Упражнения
10.8 Дальнейшее чтение
Библиография
Глава 11
Прогнозирование иерархических и сгруппированных временных рядов
11.1 Иерархические и сгруппированные временные ряды
Иерархические временные ряды
Пример: иерархия туризма в Австралии
Сгруппированные временные ряды
Пример: тюремное население Австралии
Смешанная иерархическая и групповая структура
11.2 Одноуровневые подходы
Подход «снизу вверх»
Пример: генерирование восходящих прогнозов
Рабочий поток прогнозирования агрегационных структур
Подходы «сверху вниз»
Средние исторические пропорции
Пропорции исторических средних
Прогнозные пропорции
Подход «от середины наружу»
Библиография
11.3 Увязывание прогнозов
Матричная нотация
Отображающие матрицы
Увязывание
Метод оптимальной увязки MinT
Библиография
11.4 Прогнозирование внутреннего туризма в Австралии
11.5 Увязанные распределительные прогнозы
Библиография
11.6 Прогнозирование тюремного населения Австралии
Библиография
11.7 Упражнения
11.8 Дальнейшее чтение
Библиография
Глава 12
Продвинутые методы прогнозирования
12.1 Сложная сезонность
STL с несколькими сезонными периодами
Динамическая гармоническая регрессия с несколькими сезонными периодами
Пример: спрос на электроэнергию
Библиография
12.2 Модель Prophet
Пример: ежеквартальное производство цемента
Пример: получасовой спрос на электроэнергию
Библиография
12.3 Векторные авторегрессии
Пример: модель VAR для прогнозирования потребления в США
Библиография
12.4 Нейросетевые модели
Архитектура нейронной сети
Нейросетевая авторегрессия
Пример: пятна на Солнце
Предсказательные интервалы
12.5 Бутстрапирование и бутстрап-агрегирование
Бутстрапирование временного ряда
Бутстрап-агрегированные прогнозы
Библиография
12.6 Упражнения
12.7 Дальнейшее чтение
Библиография
Глава 13
Некоторые практические вопросы прогнозирования
13.1 Еженедельные, ежедневные и субдневные данные
Еженедельные данные
Ежедневные и субдневные данные
13.2 Временные ряды счетных данных
Пример: продажа фармацевтических препаратов
Библиография
13.3 Обеспечение того, чтобы прогнозы оставались в пределах допустимых значений
Положительные прогнозы
Прогнозы, ограниченные интервалом
13.4 Комбинации прогнозов
Прогнозные распределения комбинаций
Библиография
13.5 Предсказательные интервалы для агрегатов
13.6 Ретрополяция
13.7 Очень длинные и очень короткие временные ряды
Прогнозирование очень коротких временных рядов
Прогнозирование очень длинных временных рядов
13.8 Прогнозирование на тренировочном и тестовом наборах
Многошаговые прогнозы на тренировочных данных
Одношаговые прогнозы на тестовых данных
13.9 Работа с выбросами и пропущенными значениями
Выбросы
Пропущенные значения
13.10 Дальнейшее чтение
Библиография
Приложение А
Использование языка R
Инсталлирование R и RStudio
Примеры на R в этой книге
Начало работы с R
Приложение B
Для преподавателей
Решения упражнений
Слайды
Приложение C
Рецензии и отзывы
Отзывы коллег-преподавателей
Отзывы практикующих специалистов и студентов
Библиография