Data Engineer

Оплата: По договоренности

Удаленно

Full-time

Постоянная работа

Python Spark SQL ETL

Крупная IT-компания, специализирующаяся на создании, построении и развитии IT-инфраструктур для бизнеса в поиске специалиста на позицию - Data Engineer с опытом работы в телеком.

Задачи:

- Разработка ETL-процессов на базе прототипов и технических требований;

- Изменение существующих ETL-процессов, согласно меняющимся бизнес-требованиям;

- Продуктивизация кода, DQ-проверок, постановка на регламент, контроль работы ETL-процессов;

- Оптимизация и рефакторинг кода на уровне запросов и конфигураций (SQL/Python/Spark/HDFS);

- Взаимодействие с Системными аналитиками, Инженерами данных, Второй линией поддержки, DevOps, другими смежными подразделениями;

- Оперативное решение инцидентов на уровне третьей линии поддержки;

- Работа с Централизованным OLAP-хранилищем (Hadoop) и слоем репликации витрин данных (Greenplum). Также возможна работа с PostgreSQL, Teradata, Clickhouse и другими БД.

- Знание русского языка обязательно.

Технический стек: SQL, Python, Hadoop, HDFS, HIVE, Spark, Airflow, Linux CLI, Greenplum или другая MPP-Database, YAML-нотация.