Содержание
1. Инженер Данных: задачи, инструменты, платформы
Модуль дает представление о задачах и инструментах работы с данными. По итогам модуля слушатели смогут объяснить и сравнить данные, применить знания и развернуть кластер в облаке.
2. Процессинг. Доступ к данным. ML
Итогом модуля станут вычисления, преобразования, агрегации данных (ETL), конечные витрины (для ML / BI) и первая простая модель.
3. Загрузка и форматы данных (Data Ingestion)
К концу модуля слушатели загрузят данные в файловую систему, изучат форматы, сравнят сжатия и настроят репликацию.
4. Очереди сообщений. Хранилища данных. SQL-доступ.
Результаты модуля: добавление stream-источника, создание схемы в хранилище, дизайна и оптимизация под конкретные задачи.
5. Обеспечивающие системы. Оркестрация, тестирование, мониторинг
Итогами этого блока станет настройка мониторинга, построение DevOps pipeline и настройка метрики качества данных.
6. Проектная работа
Выпускным проектом станет реализация задачи на выбор в реальном времени. Обязательным будет применение парадигмы Map-Reduce кластере в виде pipeline и визуализация результатов.
