В IT-компанию (дочку крупной российской Группы) подбираем - Data Engineer
Обязанности:
- Организация загрузки данных из внешних источников (Яндекс Метрика, AppMetrica и пр.)
- Организация хранения собственных данных
- Выбор способа и оптимальной структуры хранения данных
- Разработка и оптимизация ETL-процессов
- Оптимизация извлечения данных
- Подготовка данных, их очистка и обогащение
- Оценка качества собранных данных
- Развертывание и поддержка инфраструктуры
- Администрирование и мониторинг нагруженности
Требования: - Опыт работы в профессии от 2 лет
- Уверенное знание Python и SQL на уровне оптимизации запросов
- Опыт работы с ClickHouse, Postgres
- Знание основ ООП, теории алгоритмов, структур данных
- Опыт разработки ETL-процессов с использованием Apache Airflow
- Опыт работы с брокером сообщений Kafka
- Опыт работы с git
Будет плюсом, если вы:
- работали с данными web/app продуктовой аналитики
- использовали API Google Analytics, Яндекс Метрика/AppMetrica
- имеете опыт работы с Google Cloud Platform, или Yandex Cloud
- участвовали в проектировании DWH: слои, модели хранения данных, процессы ETL
- умеете работать в командной строке систем Unix-like: Linux, macOS
- имеете опыт по внедрению и эксплуатации фреймворков контроля качества данных
Условия: