Разработчик ETL (Python, SQL, Hadoop)

Разработчик ETL — проектирование и поддержка процессов обработки больших данных в АО "НЕОФЛЕКС КОНСАЛТИНГ".

Требования: отличное знание SQL, уверенное владение Python, опыт работы с ETL-инструментами, СУБД (Oracle, MS SQL, Sybase и др.), Linux, Hadoop, а также инструментами обработки больших данных (Spark, MapReduce и др.).

Обязанности:

• Разрабатывать ETL-процессы Sqoop
• Создавать потоки обработки данных на PySpark
• Настраивать пайплайны в планировщике Oozie
• Разрабатывать системы контроля качества данных на Apache Griffin
• Писать Bash-скрипты
• Обрабатывать структурированные данные (XML/JSON) на Python/PySpark
• Исправлять ошибки и дорабатывать функционал
• Работать с системами контроля версий GIT/SVN