Data Engineer at gfaive.com

Data Engineer
gfaive.com
150.000 to 180.000 RUB NET per month
Remote

Обязанности:
• Организация автоматизированного сбора данных из различных источников в единое централизованное хранилище
• Настройка, интеграция и создание витрин данных для работы аналитиков и Data Scientist
• Создание конвейеров регулярной и непрерывной подготовки данных (CI/CD pipelines)
• Администрирование хранилища (SnowFlake, ClickHouse)

Требования:
• Знание Python
• Понимание принципов построения DWH, принципов хранения данных в распределенных колоночных СУБД, особенностей хранения данных в ClickHouse и/или Snowflake, принципов построения материализованных представлений
• Знание хотя бы одного из диалектов SQL (Snowflake, ClickHouse) на уровне использования аналитических/оконных функций
• Понимание принципов работы ETL-систем и опыт работы (как плюс) хотя бы с одной из них (Apache Airflow, AWS Glue, Informatica ETL, Pentaho ETL, Talend и пр.)
• Опыт работы хотя бы с одной облачной платформой (AWS, Google Cloud, Azure)

Будет плюсом:
• Знание Scala (предпочтительно) или Java
• Опыт работы с реляционными и нереляционными базами данных (MySQL, MSSQL, PostgreSQL, MongoDB, Amazon Redshift)
• Опыт работы с Apache Spark (в идеале Amazon EMR)

Контакты:
@dataholic