Наш проект - разработка для Банка Топ 3. Это самое масштабное хранилище банка. Лаборатория данных - решение позволяющее создавать прототипы аналитических витрин, разрабатывать новые фичи для моделей и обучать модели для тестирования, проводить пилоты по различным направлениям бизнеса.
Сейчас мы ищем Data engineer для решения ключевой задачи по поставке данных, стабильного обновления данных из различных источников.
Стек технологий: Hadoop, Hive ,SQL, Spark, ETL
Твои задачи:
- Развитие хранилища данных на основе Hadoop
- Разработка и изменение витрин данных на Hadoop исходя из требований
- Создание алгоритмов загрузки данных в витрины с учётом историчности, уникальности, логики обновления таблиц
- Написание функций для первичной обработки, преобразования и агрегации данных на Spark (Scala, Java, Python)
Мы ждем от тебя:
- Знания SQL на высоком уровне
- Опыт промышленной разработки на реляционных СУБД (предпочтительно MPP)
- Опыт построения ETL потоков и разработки хранилищ данных
- Работа с большими данными
- Понимание работы Hive, Spark на Hadoop
- Знания языков программирования Java/Scala, Python
Что мы обеспечим:
- Команда профессионалов, где каждый увлечен своим делом и готов поделиться экспертизой, а также возможность нести новые знания и технологии
- Безграничная прокачка скиллов
- Поездки на конференции и тренинги за счет компании, внутренние семинары, внутренние митапы, мы очень любим учиться новому
- Новая техника для комфортной работы
- Корпоративная культура с своими ценностями и традициями
- Сообщества по интересам: Лига Спорта, Лига Экспертов, Лига Интеллекта, а также возможность организовать свое сообщество и получить поддержку от компании
- Сессия профессионального развития дважды в год, результатом которой является план индивидуального развития каждого сотрудника и получение обратной связи
- Новая техника для комфортной работы
