Python и анализ данных: Первичная обработка данных с применением pandas, NumPy и Jupiter

Об авторе
Об иллюстрации на обложке
Предисловие от издательства
Предисловие
Графические выделения
О примерах кода
Как с нами связаться
Благодарности
Глава 1
Предварительные сведения
1.1. О чем эта книга?
Какого рода данные?
1.2. Почему именно Python?
Python как клей
Решение проблемы «двух языков»
Недостатки Python
1.3. Необходимые библиотеки для Python
NumPy
pandas
matplotlib
IPython и Jupyter
SciPy
scikit-learn
statsmodels
1.4. Установка и настройка
Miniconda в Windows
GNU/Linux
Miniconda в macOS
Установка необходимых пакетов
Интегрированные среды разработки (IDE)
1.5. Сообщество и конференции
1.6. Структура книги
Примеры кода
Данные для примеров
Соглашения об импорте
Глава 2
Основы языка Python, IPython и Jupyter-блокноты
2.1. Интерпретатор Python
2.2. Основы IPython
Запуск оболочки IPython
Запуск Jupyter-блокнота
Завершение по нажатии клавиши Tab
Интроспекция
2.3. Основы языка Python
Семантика языка
Скалярные типы
Поток управления
2.4. Заключение
Глава 3
Встроенные структуры данных, функции и файлы
3.1. Структуры данных и последовательности
Кортеж
Список
Словарь
Множество
Встроенные функции последовательностей
Списковое, словарное и множественное включения
3.2. Функции
Пространства имен, области видимости и локальные функции
Возврат нескольких значений
Функции являются объектами
Анонимные (лямбда) функции
Генераторы
Обработка исключений
3.3. Файлы и операционная система
Байты и Unicode в применении к файлам
3.4. Заключение
Глава 4
Основы NumPy: массивы и векторные вычисления
4.1. NumPy ndarray: объект многомерного массива
Создание ndarray
Тип данных для ndarray
Арифметические операции с массивами NumPy
Индексирование и вырезание
Булево индексирование
Прихотливое индексирование
Транспонирование массивов и перестановка осей
4.2. Генерирование псевдослучайных чисел
4.3. Универсальные функции: быстрые поэлементные операции над массивами
4.4. Программирование на основе массивов
Запись логических условий в виде операций с массивами
Математические и статистические операции
Методы булевых массивов
Сортировка
Устранение дубликатов и другие теоретико-множественные операции
4.5. Файловый ввод-вывод массивов
4.6. Линейная алгебра
4.7. Пример: случайное блуждание
Моделирование сразу нескольких случайных блужданий
4.8. Заключение
Глава 5
Первое знакомство с pandas
5.1. Введение в структуры данных pandas
Объект Series
Объект DataFrame
Индексные объекты
5.2. Базовая функциональность
Переиндексация
Удаление элементов из оси
Доступ по индексу, выборка и фильтрация
Арифметические операции и выравнивание данных
Применение функций и отображение
Сортировка и ранжирование
Индексы по осям с повторяющимися значениями
5.3. Редукция и вычисление описательных статистик
Корреляция и ковариация
Уникальные значения, счетчики значений и членство
5.4. Заключение
Глава 6
Чтение и запись данных, форматы файлов
6.1. Чтение и запись данных в текстовом формате
Чтение текстовых файлов порциями
Вывод данных в текстовом формате
Обработка данных в других форматах с разделителями
Данные в формате JSON
XML и HTML: разбор веб-страниц
6.2. Двоичные форматы данных
Формат HDF5
6.3. Взаимодействие с HTML и Web API
6.4. Взаимодействие с базами данных
6.5. Заключение
Глава 7
Очистка и подготовка данных
7.1. Обработка отсутствующих данных
Фильтрация отсутствующих данных
Восполнение отсутствующих данных
7.2. Преобразование данных
Устранение дубликатов
Преобразование данных с помощью функции или отображения
Замена значений
Переименование индексов осей
Дискретизация и группировка по интервалам
Обнаружение и фильтрация выбросов
Перестановки и случайная выборка
Вычисление индикаторных переменных
7.3. Расширение типов данных
7.4. Манипуляции со строками
Встроенные методы строковых объектов
Регулярные выражения
Строковые функции в pandas
7.5. Категориальные данные
Для чего это нужно
Расширенный тип Categorical в pandas
Вычисления с объектами Categorical
Категориальные методы
7.6. Заключение
Глава 8
Переформатирование данных: соединение, комбинирование и изменение формы
8.1. Иерархическое индексирование
Переупорядочение и уровни сортировки
Сводная статистика по уровню
Индексирование столбцами DataFrame
8.2. Комбинирование и слияние наборов данных
Слияние объектов DataFrame как в базах данных
Соединение по индексу
Конкатенация вдоль оси
Комбинирование перекрывающихся данных
8.3. Изменение формы и поворот
Изменение формы с помощью иерархического индексирования
Поворот из «длинного» в «широкий» формат
Поворот из «широкого» в «длинный» формат
8.4. Заключение
Глава 9
Построение графиков и визуализация
9.1. Краткое введение в API библиотеки matplotlib
Рисунки и подграфики
Цвета, маркеры и стили линий
Риски, метки и надписи
Аннотации и рисование в подграфике
Сохранение графиков в файле
Конфигурирование matplotlib
9.2. Построение графиков с помощью pandas и seaborn
Линейные графики
Столбчатые диаграммы
Гистограммы и графики плотности
Диаграммы рассеяния
Фасетные сетки и категориальные данные
9.3. Другие средства визуализации для Python
9.4. Заключение
Глава 10
Агрегирование данных и групповые операции
10.1. Как представлять себе групповые операции
Обход групп
Выборка столбца или подмножества столбцов
Группировка с помощью словарей и объектов Series
Группировка с помощью функций
Группировка по уровням индекса
10.2. Агрегирование данных
Применение функций, зависящих от столбца, и нескольких функций
Возврат агрегированных данных без индексов строк
10.3. Метод apply: общий принцип разделения–применения–объединения
Подавление групповых ключей
Квантильный и интервальный анализы
Пример: подстановка зависящих от группы значений вместо отсутствующих
Пример: случайная выборка и перестановка
Пример: групповое взвешенное среднее и корреляция
Пример: групповая линейная регрессия
10.4. Групповые преобразования и «развернутая» группировка
10.5. Сводные таблицы и перекрестная табуляция
Перекрестная табуляция: crosstab
10.5. Заключение
Глава 11
Временные ряды
11.1. Типы данных и инструменты, относящиеся к дате и времени
Преобразование между строкой и datetime
11.2. Основы работы с временными рядами
Индексирование, выборка, подмножества
Временные ряды с неуникальными индексами
11.3. Диапазоны дат, частоты и сдвиг
Генерирование диапазонов дат
Частоты и смещения дат
Сдвиг данных (с опережением и с запаздыванием)
11.4. Часовые пояса
Локализация и преобразование
Операции над объектами Timestamp с учетом часового пояса
Операции над датами из разных часовых поясов
11.5. Периоды и арифметика периодов
Преобразование частоты периода
Квартальная частота периода
Преобразование временных меток в периоды и обратно
Создание PeriodIndex из массивов
11.6. Передискретизация и преобразование частоты
Понижающая передискретизация
Повышающая передискретизация и интерполяция
Передискретизация периодов
Групповая передискретизация по времени
11.7. Скользящие оконные функции
Экспоненциально взвешенные функции
Бинарные скользящие оконные функции
Скользящие оконные функции, определенные пользователем
11.8. Заключение
Глава 12
Введение в библиотеки моделирования на Python
12.1. Интерфейс между pandas и кодом модели
12.2. Описание моделей с помощью Patsy
Преобразование данных в формулах Patsy
Категориальные данные и Patsy
12.3. Введение в statsmodels
Оценивание линейных моделей
Оценивание процессов с временными рядами
12.4. Введение в scikit-learn
12.5. Заключение
Глава 13
Примеры анализа данных
13.1. Набор данных Bitly с сайта 1.usa.gov
Подсчет часовых поясов на чистом Python
Подсчет часовых поясов с помощью pandas
13.2. Набор данных MovieLens 1M
Измерение несогласия в оценках
13.3. Имена, которые давали детям в США за период с 1880 по 2010 год
Анализ тенденций в выборе имен
13.4. База данных о продуктах питания министерства сельского хозяйства США
13.5. База данных Федеральной избирательной комиссии
Статистика пожертвований по роду занятий и месту работы
Распределение суммы пожертвований по интервалам
Статистика пожертвований по штатам
13.6. Заключение
Приложение A
Дополнительные сведения о библиотеке NumPy
A.1. Внутреннее устройство объекта ndarray
Иерархия типов данных в NumPy
A.2. Дополнительные манипуляции с массивами
Изменение формы массива
Упорядочение элементов массива в C и в Fortran
Конкатенация и разбиение массива
Эквиваленты прихотливого индексирования: функции take и put
A.3. Укладывание
Укладывание по другим осям
Установка элементов массива с помощью укладывания
A.4. Дополнительные способы использования универсальных функций
Методы экземпляра u-функций
Написание новых u-функций на Python
A.5. Структурные массивы и массивы записей
Вложенные типы данных и многомерные поля
Зачем нужны структурные массивы?
A.6. Еще о сортировке
Косвенная сортировка: методы argsort и lexsort
Альтернативные алгоритмы сортировки
Частичная сортировка массивов
Метод numpy.searchsorted: поиск элементов в отсортированном массиве
A.7. Написание быстрых функций для NumPy с помощью Numba
Создание пользовательских объектов numpy.ufunc с помощью Numba
A.8. Дополнительные сведения о вводе-выводе массивов
Файлы, отображенные на память
HDF5 и другие варианты хранения массива
A.9. Замечания о производительности
Важность непрерывной памяти
Приложение B
Еще о системе IPython
B.1. Комбинации клавиш
B.2. О магических командах
Команда %run
Исполнение кода из буфера обмена
B.3. История команд
Поиск в истории команд и повторное выполнение
Входные и выходные переменные
B.4. Взаимодействие с операционной системой
Команды оболочки и псевдонимы
Система закладок на каталоги
B.5. Средства разработки программ
Интерактивный отладчик
Хронометраж программы: %time и %timeit
Простейшее профилирование: %prun и %run -p
Построчное профилирование функции
B.6. Советы по продуктивной разработке кода с использованием IPython
Перезагрузка зависимостей модуля
Советы по проектированию программ
B.7. Дополнительные возможности IPython
Профили и конфигурирование
B.8. Заключение
Предметный указатель