Data Engineer (Ведущий инженер систем больших данных)
Стек
Python, SQL, Spark/Hadoop, Airflow.
В нашей команде тебе предстоит:
- Написание пайплайнов по работе с данными с использованием Airflow, Spark (пример: регулярный расчет фичей для модели, построение витрин с данными. их обновление, расчет метрик качества данных для мониторинга);
- Оптимизация расчета фичей для модели для выдерживания SLA при масштабировании продукта под большее количество магазинов;
- Настройка мониторинга и алертинга качества данных и фичей с использованием Zabbix, Grafana;
- Написание unit тестов (pytest), тестов для различных участков ML пайплайна, участие в код ревью.
Мы ждем тебя, если ты:
- Применяешь основные подходы к распределенной обработке больших данных (MapReduce, MPP, etc);
- Можешь применять основные подходы и практики проектирования OLAP баз данных;
- Знаешь основные подходы и практики по проектированию реляционных баз данных;
- Используешь языки программирования Python (Java, Scala);
- Знаешь SQL;
- Используешь рабочие инструменты: Hadoop, Hive, Spark, Airflow, PostgreSQL, Git, Docker
- Умеешь работать с Greenplum, Clickhouse;
- Знаешь Kafka;
- Умеешь работать с K8S.
Будет дополнительным плюсом:
- Опыт работы с ML.
Поможем в обучении и развитии
Научим круто рассказывать
о том, что ты делаешь
- Внутренняя школа спикеров и авторов
- Возможность участвовать в крупнейших
конференциях страны и прокачать
личный бренд
Вместе прокачаем харды и софты
- Корпоративный университет, онлайн-библиотека,
программы развития управленческих навыков - Дистанционные курсы на образовательных
платформах - Тренинги, митапы и вебинары
Предоставим не просто социальный пакет, а пакет с пакетами
Наградим плюшками передовой
компании
- Удалённый или в гибридный формат работы
- Премии по результатам работы
Позаботимся о здоровье
- Широкий пакет ДМС со стоматологией
- Онлайн-психотерапия от «Ясно»
Поделимся скидками сотрудника
«Пятёрочка», «Перекрёсток», «Много лосося», «Перекресток Впрок», а также программа привилегий Prime-zone
Покажем, насколько яркой может быть корпоративная жизнь
Организуем встречи
с топ-менеджментом: слышим
и открыто делимся планами
и результатами
Поощряем активность
сотрудников
За участие в жизни компании награждаем ачивками и баллами, на которые можно купить классный мерч
Развиваем корпоративные
сообщества
Технические, лайфстайл, спортивные или все сразу? Выбирать тебе!
Творим добро
Организовываем благотворительные ярмарки, выезжаем в приюты и устраиваем субботники
Помогаем реализовываться
Корпоративное предпринимательство X5 Idea Challenge
Устраиваем масштабные праздники
Корпоративы, день рождения компании, новый год, день IT-специалиста, день спасибо.
Поделиться вакансией