Data Engineer
Курс позволяет освоить профессию инженера данных - востребованную и интересную по специфике. Выпускников ждет работа над проектами и решение задач, которые обывателю кажутся чем-то невозможным.
- Площадка:Otus
- Продолжительность:4 месяца
- Дата:по мере набора группы
- Стоимость:на сайте Otus
О курсе
На курсе слушатели узнают актуальную информацию о приготовлении данных. Otus дает возможность за 5 месяцев погрузиться в работу с загрузкой, обработкой, организацией хранения и доступа к данным с использованием современных инструментов.
Мы изучаем:
- dl
Кому подойдет курс
Курс подойдет разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и решать задачи в сфере работы с данными.
Необходимые навыки
Опыт разработки на Java/Python
Основы работы с БД: SQL, индексы, агрегирующие функции
Базовые знания ОС: работа с командной строкой, доступ по SSH
Эксперты
Друзья HiBrain — ведущие IT-компании. Вместе с ними мы разрабатываем программы курсов, чтобы наши слушатели получили самые актуальные знания и навыки. Эксперты из компаний-партнёров помогают нам в подготовке практических кейсов и даже принимают экзамены у выпускников.
- Егор МатешукMaximaTelecom, Senior Data Engineer
- Артемий КозырьWheely, Senior Data Engineer
- Антон ЗадорожныйTeradata Global Delivery Center, Principal Engineer
- Владимир ДроздецкийРазработчик инфраструктуры exposcan.ru, crispmessenger.com
- Дмитрий МузалевскийKoerber Digital, Lead Data Scientist
Карьера
Выпускники курсов HiBrain получают уникальную возможность применить новые знания: компании-партнёры проекта ждут наших слушателей на стажировки и предлагают трудоустройство.
Программа курса
1 / Инженер Данных: задачи, инструменты, платформы
Модуль дает представление о задачах и инструментах работы с данными. По итогам модуля слушатели смогут объяснить и сравнить данные, применить знания и развернуть кластер в облаке.
2 / Процессинг. Доступ к данным. ML
Итогом модуля станут вычисления, преобразования, агрегации данных (ETL), конечные витрины (для ML / BI) и первая простая модель.
3 / Загрузка и форматы данных (Data Ingestion)
К концу модуля слушатели загрузят данные в файловую систему, изучат форматы, сравнят сжатия и настроят репликацию.
4 / Очереди сообщений. Хранилища данных. SQL-доступ.
Результаты модуля: добавление stream-источника, создание схемы в хранилище, дизайна и оптимизация под конкретные задачи.
5 / Обеспечивающие системы. Оркестрация, тестирование, мониторинг
Итогами этого блока станет настройка мониторинга, построение DevOps pipeline и настройка метрики качества данных.
6 / Проектная работа
Выпускным проектом станет реализация задачи на выбор в реальном времени. Обязательным будет применение парадигмы Map-Reduce кластере в виде pipeline и визуализация результатов.
