Проектировать и разрабатывать ETL пайплайны данных на Airflow для
Понимание подходов к обработке данных (streaming, batch). Опыт работы с Hadoop,
...s3 механизмы, а также через Greenplum Connector for Apache
ClickHouse, GreenPlum, PostgreSQL, Vertica. SQL. Airflow, Nifi, dbt. Git (Gitlab). Много экспериментируем с разными технологиями и связками технологий.
Формулировка и проверка гипотез на основе массивов данных. Участие в полном цикле разработки ML-решения: от постановки задачи инженерам для...
Знание стека Hadoop (Apache Hadoop, Cloudera Manager, MapReduce, HDFS,
Поиск и исследование новых источников данных, способных помочь в выстраивании пользовательской аналитики. Интеграция источников данных в контур KION, в том...
Знание Python (pandas, numpy). Опыт работы с большими данными (Hadoop, Hive,
Участвовать в настройке мониторинга метрик качества моделей. EDA (exploratory data analysis) — объединять массивы данных из различных источников, исследовать их структуру...
Умение находить нужную информацию, в том числе коммуницируя с коллегами. Навыки работы со
Выполнять задачи, связанные с DS экспериментами и разработкой. Изучать статьи/литературу. Проактивно участвовать в развитии бизнеса компании, искать точки роста...
Знать основы статистики и статистических методов. Знать особенности объектно-ориентированного программирования. Знать, как выбирать и разрабатывать фичи для моделей машинного...
Создание моделей для задач NLP и CV. Доработка и улучшение существующих моделей. Анализ данных из социальных сетей: классификация, кластеризация, определение...
Желателен опыт работы с большими данными (
Управлять жизненным циклом интеграций (создание, изменение, удаление, контроль). Совершенствовать текущие и разрабатывать новые инструменты доставки данных. Помогать нашим пользователям реализовывать...
Python. Vertica PostgreSQL, ClickHouse, Hive, MS SQL. PySpark, HDFS. Airflow (Celery Executor, k8s). Gitlab CI/CD, Kubernetes, Helm.
Мы в поисках инженера данных в бизнес-направление рисков, чтобы правильно и быстро реагировать на изменяющиеся потребности бизнеса, оптимизировать процессы...
Получили высшее техническое образование. Знаете SQL. Понимаете принципы работы СУБД и умеете оптимизировать запросы. Понимаете принципы работы хранилища данных.
Проведение анализа баз данных кредитного бюро и данных, предоставляемых клиентами, создание статистических моделей, мониторинг работы внедрённых статистических моделей, решение других...
Высшее техническое или экономическое образование. Практический опыт написания SQL запросов. Опыт построения прогнозных моделей и знание классических алгоритмов: линейная и...
