Python и DevOps: Ключ к автоматизации Linux

Предисловие
Что DevOps означает для авторов
Как использовать эту книгу
Соглашения, используемые в данной книге
Использование примеров кода
Благодарности
От издательства
Глава 1. Основы Python
для DevOps
Установка и запуск Python
Командная оболочка Python
Блокноты Jupiter
Процедурное программирование
Переменные
Основные математические операции
Комментарии
Встроенные функции
Print
Range
Контроль выполнения
if/elif/else
Циклы for
Циклы while
Обработка исключений
Встроенные объекты
Что такое объект?
Методы и атрибуты объектов
Последовательности
Функции
Анатомия функции
Функции как объекты
Анонимные функции
Регулярные выражения
Поиск
Наборы символов
Классы символов
Группы
Поименованные группы
Найти все
Поисковый итератор
Подстановка
Компиляция
Отложенное вычисление
Генераторы
Генераторные включения
Дополнительные возможности IPython
Выполнение инструкций командной оболочки Unix с помощью IPython
Упражнения
Глава 2. Автоматизация работы с файлами и файловой системой
Чтение и запись файлов
Поиск в тексте с помощью регулярных выражений
Обработка больших файлов
Шифрование текста
Хеширование с помощью пакета hashlib
Шифрование с помощью библиотеки cryptography
Модуль os
Управление файлами и каталогами с помощью os.path
Обхода дерева каталогов с помощью os.walk
Пути как объекты: библиотека pathlib
Глава 3. Работа с командной строкой
Работа с командной оболочкой
Взаимодействие с интерпретатором с помощью модуля sys
Взаимодействие с операционной системой с помощью модуля os
Порождение процессов с помощью модуля subprocess
Создание утилит командной строки
Использование sys.argv
argparse
click
fire
Реализация плагинов
Ситуационный анализ: разгоняем Python с помощью утилит командной строки
Динамический компилятор Numba
Использование GPU с помощью CUDA Python
Многоядерное многопоточное выполнение кода Python с помощью Numba
Кластеризация методом k-средних
Упражнения
Глава 4. Полезные утилиты Linux
Дисковые утилиты
Измерение быстродействия
Разделы диска
Получение информации о конкретном устройстве
Сетевые утилиты
SSH-туннелирование
Оценка быстродействия HTTP с помощью Apache Benchmark (ab)
Нагрузочное тестирование с помощью molotov
Утилиты для получения информации о загрузке CPU
Просмотр процессов с помощью htop
Работаем с Bash и ZSH
Настройка командной оболочки Python под свои нужды
Рекурсивные подстановки
Поиск и замена с запросами подтверждения
Удаление временных файлов Python
Вывод списка процессов и его фильтрация
Метка даты/времени Unix
Комбинирование Python с Bash и ZSH
Генератор случайных чисел
Существует ли нужный мне модуль?
Переходим из текущего каталога по пути к модулю
Преобразование CSV-файла в JSON
Однострочные сценарии Python
Отладчики
Быстро ли работает конкретный фрагмент кода?
strace
Вопросы и упражнения
Задача на ситуационный анализ
Глава 5. Управление пакетами
Почему пакетная организация программ так важна
Случаи, когда пакетная организация программ не нужна
Рекомендации по пакетной организации программ
Информативный контроль версий
Журнал изменений
Выбор стратегии
Решения для создания пакетов
Нативные пакеты Python
Создание пакетов для Debian
Создание пакетов RPM
Диспетчеризация с помощью systemd
Долгоживущие процессы
Настройка
Юниты systemd
Установка юнита
Управление журналами
Вопросы и упражнения
Задача на ситуационный анализ
Глава 6. Непрерывная интеграция и непрерывное развертывание
Ситуационный анализ примера из практики: перевод плохо работавшего сайта с WordPress на Hugo
Настройка Hugo
Преобразование WordPress в посты Hugo
Создание поискового индекса Algolia и его обновление
Координация с помощью Makefile
Развертывание с помощью AWS CodePipeline
Ситуационный анализ примера из практики: развертывание приложения Python App Engine с помощью Google Cloud Build
Ситуационный анализ примера из практики: NFSOPS
Глава 7. Мониторинг и журналирование
Ключевые понятия создания надежных систем
Неизменные принципы DevOps
Централизованное журналирование
Ситуационный анализ: база данных при промышленной эксплуатации разрушает жесткие диски
Производить или покупать?
Отказоустойчивость
Мониторинг
Graphite
StatsD
Prometheus
Телеметрия
Соглашения о наименованиях
Журналирование
Почему это так трудно
basicconfig
Углубляемся в конфигурацию
Распространенные паттерны
Стек ELK
Logstash
Elasticsearch и Kibana
Вопросы и упражнения
Задача на ситуационный анализ
Глава 8. Pytest для DevOps
Сверхспособности тестирования фреймворка pytest
Начало работы с pytest
Тестирование с помощью pytest
Отличия от unittest
Возможности pytest
conftest.py
Этот замечательный оператор assert
Параметризация
Фикстуры
Приступим
Встроенные фикстуры
Инфраструктурное тестирование
Что такое проверка системы
Введение в Testinfra
Подключение к удаленным узлам
Фикстуры и особые фикстуры
Примеры
Тестирование блокнотов Jupyter с помощью pytest
Вопросы и упражнения
Задача на ситуационный анализ
Глава 9. Облачные вычисления
Основы облачных вычислений
Типы облачных вычислений
Типы облачных сервисов
Инфраструктура как сервис
«Железо» как сервис
Платформа как сервис
Бессерверная обработка данных
Программное обеспечение как сервис
Инфраструктура как код
Непрерывная поставка
Виртуализация и контейнеры
Аппаратная виртуализация
Программно определяемые сети
Программно определяемое хранилище
Контейнеры
Трудные задачи и потенциальные возможности распределенной обработки данных
Конкурентное выполнение на Python, быстродействие и управление процессами в эпоху облачных вычислений
Управление процессами
Процессы и дочерние процессы
Решение задач с помощью библиотеки multiprocessing
Ветвление процессов с помощью Pool()
Функция как сервис и бессерверная обработка данных
Повышение производительности Python с помощью библиотеки Numba
Динамический компилятор Numba
Высокопроизводительные серверы
Заключение
Вопросы
Вопросы на ситуационный анализ
Глава 10. Инфраструктура как код
Классификация инструментов автоматизации выделения инфраструктуры
Выделение инфраструктуры вручную
Автоматическое выделение инфраструктуры с помощью Terraform
Выделение корзины S3
Предоставление SSL-сертификата с помощью ACM AWS
Выделение раздачи Amazon CloudFront
Создание записи DNS Route 53
Копирование статических файлов в корзину S3
Удаление всех ресурсов AWS, выделенных с помощью Terraform
Автоматическое выделение инфраструктуры с помощью Pulumi
Создание нового проекта Pulumi на Python для AWS
Создание значений параметров конфигурации для стека staging
Создаем SSL-сертификат ACM
Выделение зоны Route 53 и записей DNS
Выделение раздачи CloudFront
Создание записи DNS Route 53 для URL сайта
Создание и развертывание нового стека
Упражнения
Глава 11. Контейнерные технологии: Docker
и Docker Compose
Что такое контейнер Docker
Создание, сборка, запуск и удаление образов и контейнеров Docker
Публикация образов Docker в реестре Docker
Запуск контейнера Docker из одного образа на другом хост-компьютере
Запуск нескольких контейнеров Docker с помощью Docker Compose
Портирование сервисов docker-compose на новый хост-компьютер и операционную систему
Упражнения
Глава 12. Координация работы контейнеров: Kubernetes
Краткий обзор основных понятий Kubernetes
Создание манифестов Kubernetes на основе файла docker_compose.yaml с помощью Kompose
Развертывание манифестов Kubernetes на локальном кластере Kubernetes, основанном на minikube
Запуск кластера GKE Kubernetes в GCP с помощью Pulumi
Развертывание примера приложения Flask в GKE
Установка чартов Helm для Prometheus и Grafana
Удаление кластера GKE
Упражнения
Глава 13. Технологии бессерверной обработки данных
Развертывание одной и той же функции Python в облака большой тройки поставщиков облачных сервисов
Установка фреймворка Serverless
Развертывание функции Python в AWS Lambda
Развертывание функции Python в Google Cloud Functions
Развертывание функции на Python в Azure
Развертывание функции на Python на самохостируемых FaaS-платформах
Развертывание функции на Python в OpenFaaS
Выделение таблиц DynamoDB, функций Lambda и методов API Gateway с помощью AWS CDK
Упражнения
Глава 14. MLO и разработка ПО для машинного
обучения
Что такое машинное обучение
Машинное обучение с учителем
Моделирование
Экосистема машинного обучения языка Python
Глубокое обучение с помощью PyTorch
Платформы облачного машинного обучения
Модель зрелости машинного обучения
Основная терминология машинного обучения
Уровень 1. Очерчивание рамок задачи и области определения, а также формулировка задачи
Уровень 2. Непрерывная поставка данных
Уровень 3. Непрерывная поставка очищенных данных
Уровень 4. Непрерывная поставка разведочного анализа данных
Уровень 5. Непрерывная поставка обычного ML и AutoML
Уровень 6. Цикл обратной связи эксплуатации ML
Приложение sklearn Flask с использованием Docker и Kubernetes
Разведочный анализ данных
Моделирование
Тонкая настройка масштабированного GBM
Подгонка модели
Оценка работы модели
adhoc_predict
Технологический процесс JSON
Масштабирование входных данных
adhoc_predict на основе выгрузки
Масштабирование входных данных
Вопросы и упражнения
Задача на ситуационный анализ
Вопросы на проверку усвоения материала
Глава 15. Инженерия данных
Малые данные
Обработка файлов малых данных
Запись в файл
Чтение файла
Конвейер с генератором для чтения и обработки строк
YAML
Большие данные
Утилиты, компоненты и платформы для работы с большими данными
Источники данных
Файловые системы
Хранение данных
Ввод данных в режиме реального времени
Ситуационный анализ: создание доморощенного конвейера данных
Бессерверная инженерия данных
AWS Lambda и события CloudWatch
Журналирование Amazon CloudWatch для AWS Lambda
Наполнение данными Amazon Simple Queue Service с помощью AWS Lambda
Подключение срабатывающего по событию триггера CloudWatch
Создание событийно-управляемых функций Lambda
Чтение событий Amazon SQS из AWS Lambda
Заключение
Упражнения
Задача на ситуационный анализ
Глава 16. Истории из практики DevOps и интервью
Киностудия не может снять фильм
Разработчик игр не может обеспечить поставку игрового ПО
Сценарии Python, запуск которых требует 60 секунд
Решаем горящие проблемы с помощью кэша и интеллектуальной телеметрии
Доавтоматизироваться до увольнения
Антипаттерны DevOps
Антипаттерн: отсутствие автоматизированного сервера сборки
Работать вслепую
Сложности координации как постоянная проблема
Отсутствие командной работы
Интервью
Гленн Соломон
Эндрю Нгуен
Габриэлла Роман
Ригоберто Рош
Джонатан Лакур
Вилле Туулос
Джозеф Рис
Тейо Хольцер
Мэтт Харрисон
Майкл Фоорд
Рекомендации
Вопросы
Интересные задачи
Дипломный проект
Об авторах
Об иллюстрации на обложке