Senior Data Engineer

Команда департамента разработки создает аналитические системы на базе единой платформы, которые позволяют безопасно работать с данными независимо от их формата, метода хранения и эксплуатации. Платформа основана на концепции Infrastructure as Code (IAC) и состоит из нескольких независимых программных продуктов и сервисов на базе JVM/Scala и Kubernetes. Она обеспечивает высокий уровень потоковой обработки и хранения данных, управления доступом и метаданными, а также контролем их использования в периметре частных облачных сред.

Задачи:

• Реализация компонентов платформы, связанных с обработкой больших данных
• Реализация распределенных алгоритмов на больших данных и внедрение моделей машинного обучения
• Формирование и обработка больших наборов данных
• Участие в разработке архитектуры платформы

Технологический стек:

• Языки программирования: Scala (2.13+).
• Хранение и обработка данных: Postgresql, ClickHouse, Scylla, ElasticSearch, S3, Kafka, Spark.
• Мониторинг: Grafana, Prometheus.
• Прочие технологии и фреймворки: Docker, Kubernetes(Openshift), Typelevel (Cats Effect, Circe, Doobie, Weaver), ScalaTest.

Наши ожидания:

• Профильное образование: информационные технологии, статистика, математика
• Опыт разработки на Scala или Java от от 3-х лет
• Опыт работы по специальности от 5-ти лет
• Знание особенностей реализации различных алгоритмов и структур данных
• Опыт работы в команде

Будет плюсом:

• Опыт работы с Apache Spark, Kafka, Nifi, Airflow
• Опыт работы с распределенными БД: Cassandra, HBase, ElasticSearch и т.д.
• Глубокое понимание особенностей архитектуры JVM
• Интерес к технологиям Data Science, участие в конкурсах по машинному обучению

Что мы предлагаем:

Здоровье и спорт:

• ДМС + стоматология
• Корпоративные скидки в фитнес-клуб World Class
• Корпоративный тариф на абонементы FITMOST
• Спортивные мероприятия (турниры по футболу, волейболу, киберспорт, забеги)

Обучение и развитие:

• Курсы английского языка, в том числе с носителем языка
• Внешние курсы, сертифицированное обучение, которые вы выбираете сами
• Возможность участия в конференциях в России и за рубежом
• Экскурсии в Музей криптографии для сотрудников и их семей

Работа в удобном формате:

• Дистанционная работа, в офисе или комбинированный формат

Программа релокации:

• Оплата переезда в Москву или Санкт-Петербург для будущих сотрудников и их семей
• Релокационный бонус для аренды жилья