Курс позволяет освоить профессию инженера данных - востребованную и интересную по специфике. Выпускников ждет работа над проектами и решение задач, которые обывателю кажутся чем-то невозможным. 

Модуль дает представление о задачах и инструментах работы с данными. По итогам модуля слушатели смогут объяснить и сравнить данные, применить знания и развернуть кластер в облаке.

Инженер Данных: задачи, инструменты, платформы

Итогом модуля станут вычисления, преобразования, агрегации данных (ETL), конечные витрины (для ML / BI) и первая простая модель.

Процессинг. Доступ к данным. ML

К концу модуля слушатели загрузят данные в файловую систему, изучат форматы, сравнят сжатия и настроят репликацию.

Загрузка и форматы данных (Data Ingestion)

Результаты модуля: добавление stream-источника, создание схемы в хранилище, дизайна и оптимизация под конкретные задачи.

Очереди сообщений. Хранилища данных. SQL-доступ.

Итогами этого блока станет настройка мониторинга, построение DevOps pipeline и настройка метрики качества данных.

Обеспечивающие системы. Оркестрация, тестирование, мониторинг

Выпускным проектом станет реализация задачи на выбор в реальном времени. Обязательным будет применение парадигмы Map-Reduce кластере в виде pipeline и визуализация результатов.

Проектная работа

На курсе слушатели узнают актуальную информацию о приготовлении данных. Otus дает возможность за 5 месяцев погрузиться в работу с загрузкой, обработкой, организацией хранения и доступа к данным с использованием современных инструментов.

Teradata Global Delivery Center, Principal Engineer

Разработчик инфраструктуры exposcan.ru, crispmessenger.com