Hadoop data engineer

до 250000
МАГНИТ, Розничная сеть
2020-05-30
Откликнуться

Мы предлагаем: Трудоустройство по ТК РФ, конкурентоспособную, полностью "белую" заработную плату, а также гарантируем её своевременную выплату.

Гибкое начало дня, 5-ти дневная рабочая неделя.

Мы вкладываем ресурсы в развитие, поэтому у нас организовано корпоративное обучение, и есть реальная возможность профессионального и карьерного роста в Компании.

Ключевые обязанности : Организация процессов хранения и аналитики данных ритейла на базе системы из кластеров ADH, Greenplum, ClickHouse.

Организация ELT/ETL в ADH из Teradata ,Oracle, MsSQL, BDA, db2, Greenplum, ClickHouse.

Организация процессов оптимального хранения/валидации/мониторинга качества данных в ADH.

Выполнение функций эксперта в контексте процесса организации гибридного хранилища ADH, Greenplum, ClickHouse.

Ожидания от кандидатов: Отличное владение компонентами платформы Hadoop необходимыми для организации ELT/ETL (от 2-х лет).

Владение одним из ЯП поддерживаемым Spark-ом , желательно Python (от 2-х лет).

Отличное знание SQL, желательно Teradata (от 2-х лет).

Значительным преимуществом будет понимание принципов работы Hadoop, умение производить тонкие настройки для максимизации КПД кластера.

Желательно иметь в стеке максимально кол-во совпадений: Informatica, Bash, Hdfs, YARN, Spark, TDCH, Sqoop, Oozie, Hive, Parquet, ADH, Spark-submit, Linux, Pyspark, Delta Lakе, Airflow, Python, Postgresql.

Любить решать нестандартные, сложные, интересные задачи.

Уметь доводить их решение до логического конца.


Не подходит? Поищите в каталоге!


Санкт-Петербург: случайные вакансии


Реклама