logo-hibrain

Data Engineer

Курс позволяет освоить профессию инженера данных - востребованную и интересную по специфике. Выпускников ждет работа над проектами и решение задач, которые обывателю кажутся чем-то невозможным.

  • Площадка:Otus
  • Продолжительность:4 месяца
  • Дата:по мере набора группы
  • Стоимость:на сайте Otus
Оставить заявку
Data Engineer

О курсе

На курсе слушатели узнают актуальную информацию о приготовлении данных. Otus дает возможность за 5 месяцев погрузиться в работу с загрузкой, обработкой, организацией хранения и доступа к данным с использованием современных инструментов.

Мы изучаем:

course-info
  • dl
    dl

Кому подойдет курс

  • Курс подойдет разработчикам, администраторам СУБД и всем, кто стремится повысить профессиональный уровень, освоить новые инструменты и решать задачи в сфере работы с данными.

Необходимые навыки

  • Опыт разработки на Java/Python

  • Основы работы с БД: SQL, индексы, агрегирующие функции

  • Базовые знания ОС: работа с командной строкой, доступ по SSH

Эксперты

Друзья HiBrain — ведущие IT-компании. Вместе с ними мы разрабатываем программы курсов, чтобы наши слушатели получили самые актуальные знания и навыки. Эксперты из компаний-партнёров помогают нам в подготовке практических кейсов и даже принимают экзамены у выпускников.

  • Егор Матешук
    Егор Матешук
    MaximaTelecom, Senior Data Engineer
  • Артемий Козырь
    Артемий Козырь
    Wheely, Senior Data Engineer
  • Антон Задорожный
    Антон Задорожный
    Teradata Global Delivery Center, Principal Engineer
  • Владимир Дроздецкий
    Владимир Дроздецкий
    Разработчик инфраструктуры exposcan.ru, crispmessenger.com
  • Дмитрий Музалевский
    Дмитрий Музалевский
    Koerber Digital, Lead Data Scientist

Карьера

Выпускники курсов HiBrain получают уникальную возможность применить новые знания: компании-партнёры проекта ждут наших слушателей на стажировки и предлагают трудоустройство.

    Программа курса

    Модуль дает представление о задачах и инструментах работы с данными. По итогам модуля слушатели смогут объяснить и сравнить данные, применить знания и развернуть кластер в облаке.

    Итогом модуля станут вычисления, преобразования, агрегации данных (ETL), конечные витрины (для ML / BI) и первая простая модель.

    К концу модуля слушатели загрузят данные в файловую систему, изучат форматы, сравнят сжатия и настроят репликацию.

    Результаты модуля: добавление stream-источника, создание схемы в хранилище, дизайна и оптимизация под конкретные задачи.

    Итогами этого блока станет настройка мониторинга, построение DevOps pipeline и настройка метрики качества данных.

    Выпускным проектом станет реализация задачи на выбор в реальном времени. Обязательным будет применение парадигмы Map-Reduce кластере в виде pipeline и визуализация результатов.

    course-program