Курс по Data Engineer

place
OTUS
calendar
28 мая
cost
70 000
duration
5 месяцев

На курсе слушатели узнают актуальную информацию о приготовлении данных. Otus дает возможность за 5 месяцев погрузиться в работу с загрузкой, обработкой, организацией хранения и доступа к данным с использованием современных инструментов.

Карьера

Курс позволяет освоить профессию инженера данных - востребованную и интересную по специфике. Выпускников ждет работа над проектами и решение задач, которые обывателю кажутся чем-то невозможным. Инжиниринг данных - это огромное количество закономерностей и связей, инструментов и подходов, параметров и настроек, и курс Data Engineer позволяет овладеть ими на уровне профессионала.

Эксперты

Преподаватели курса — ведущие специалисты крупных российских и международных компаний.

expert

Егор Матешук

MaximaTelecom, Senior Data Engineer
expert

Артемий Козырь

Wheely, Senior Data Engineer
expert

Антон Задорожный

Teradata Global Delivery Center, Principal Engineer
expert

Владимир Дроздецкий

Разработчик инфраструктуры exposcan.ru, crispmessenger.com
expert

Дмитрий Музалевский

Koerber Digital, Lead Data Scientist
Егор Матешук
MaximaTelecom, Senior Data Engineer
Артемий Козырь
Wheely, Senior Data Engineer
Антон Задорожный
Teradata Global Delivery Center, Principal Engineer
Владимир Дроздецкий
Разработчик инфраструктуры exposcan.ru, crispmessenger.com
Дмитрий Музалевский
Koerber Digital, Lead Data Scientist
skill

Для кого

Курс подойдет разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и решать задачи в сфере работы с данными.

skill2

Навыки

Опыт разработки на Java/Python

Основы работы с БД: SQL, индексы, агрегирующие функции

Базовые знания ОС: работа с командной строкой, доступ по SSH

Содержание

1. Инженер Данных: задачи, инструменты, платформы

content

Модуль дает представление о задачах и инструментах работы с данными. По итогам модуля слушатели смогут объяснить и сравнить данные, применить знания и развернуть кластер в облаке.

2. Процессинг. Доступ к данным. ML

content

Итогом модуля станут вычисления, преобразования, агрегации данных (ETL), конечные витрины (для ML / BI) и первая простая модель.

3. Загрузка и форматы данных (Data Ingestion)

content

К концу модуля слушатели загрузят данные в файловую систему, изучат форматы, сравнят сжатия и настроят репликацию.

4. Очереди сообщений. Хранилища данных. SQL-доступ.

content

Результаты модуля: добавление stream-источника, создание схемы в хранилище, дизайна и оптимизация под конкретные задачи.

5. Обеспечивающие системы. Оркестрация, тестирование, мониторинг

content

Итогами этого блока станет настройка мониторинга, построение DevOps pipeline и настройка метрики качества данных.

6. Проектная работа

content

Выпускным проектом станет реализация задачи на выбор в реальном времени. Обязательным будет применение парадигмы Map-Reduce кластере в виде pipeline и визуализация результатов.

platform
Площадка проведения
adress