Senior Data Engineer / Ведущий инженер данных

до 290000
Газпром медиа Развлекательное телевидение
2020-08-24
Откликнуться

Мы в поисках специалиста с опытом работы с большими данными, который поможет нам: построить высокопроизводительные конвейеры обработки данных; достигнуть высокого качества данных, загружаемых на платформу, совместно с DQA; улучшить мониторинг полноты данных совместно с Data Analysts / Scientists; ускорить анализ и исправление инцидентов, связанных с данными.

Вот примеры задач, которые нужно решить: имплементация и оптимизация ETL / ELT процессов, распараллеливание обработки данных; загрузка, фильтрация и предобработка данных из источников; поддержка ETL / ELT процессов совместно с ML Engineers; разработка и поддержка чеков полноты данных совместно с DQA; поддержание высокого уровня культуры написания и тестирования кода; контроль за CI / CD приложений платформы, помощь в реагировании на инциденты; настройка мониторинга метрик качества данных.

Нам важно, чтобы у вас был опыт: в разработке ПО от 3 лет на одном из языков Java / Python (если только Java, то готовность использовать python в ежедневной работе); на позиции Data Engineer / ML Engineer/ или подобных; под Linux (git, vim, GNU CLI tools); с RDBMS и SQL запросами, понимание ACID; с web frameworks (Spring / Play / Django / Flask); с колоночными/mpp СУБД (Clickhouse / Vertica / Cassandra / Redshift / GreenPlum); с фреймворком Spark (RDD, Streaming, SQL) и понимание работы Hadoop (MR, HDFS, HBase); по анализу инцидентов с качеством данных в источниках; в проектировании приложений работы с данными; с документацией, а также владение техническим английским (B1 и выше).

Будет преимуществом: наличие оконченных курсов AI, ML на Coursera (MIPT / HSE / Andrew Ng и подобные); повышение качества процессов ETL / ELT pipelines на NiFi / Airflow/etc.; опыт разработки с исп. numba и понимать разницу между CPython, Cython, PyPy. опыт интерпретации качества полученных моделей; опыт работы с приложениями Jupyter Notebook / Zeppelin Notebook; знание C / C++ / Scala / Kotlin; opensource contribution / pet projects со ссылками на BitBucket / GitHub / GitLab / архивом; опыт проведения code review, cледование code style.

Нам важно чтобы вся команда была на одной волне, поэтому, прежде всего, мы ценим в людях: позитивный настрой и здоровый перфекционизм; умение слушать коллег, адекватно воспринимать критику; грамотное изложение своих мыслей и умение отстаивать свою т.зр.; желание оказывать влияние на продукт и архитектуру: обсуждать реализацию разрабатываемых фич, вносить свои идеи.

Условия: Удаленная работа до окончания пандемии, далее работа в офисе на Маяковской.

Оформление по ТК РФ (график работы 5/2, гибкое начало рабочего дня); ДМС со стоматологией после окончания испытательного срока; Профессиональное развитие (перспективные проекты, возможность принимать участие в конференция, проходить обучение); Корпоративная жизнь, насыщенная разнообразными коллективными событиями; Современные технологии.


Не подходит? Поищите в каталоге!


Москва: случайные вакансии


Реклама