Ведущий инженер систем больших данных

В нашей команде тебя ждет:

Мы работаем над проектом по внедрению и развитию процессов интегрированного бизнес-планирования (Integrated Business Planning, IBP) в Пятерочке и Перекрестке. Этот проект не имеет аналогов на рынке РФ по масштабу и является новым для ритейла. Мы занимаемся изменениями не только в рамках цепей поставок / операций, но и в коммерции, финансах, маркетинге и других функциях, что дает отличную возможность увидеть сквозные процессы в крупнейшем бизнесе.
У нас активная и неравнодушная команда, мы работаем на пересечении BigData и классической разработки: Пишем на Python, используем связку React + FastAPI/Django для разработки веб-приложений, данные храним в Postgres и S3, а в качестве OLAP-хранилища используем ClickHouse. У нас также есть большой Hadoop кластер, который мы используем для работы с петабайтами данных (в том числе на базе собственных решений). Мы стараемся применять лучшие DevOps практики: все наши приложения и среды разработки развернуты с помощью Kubernetes, в ближайшее время планируем окончательно переехать в облачную инфраструктуру.
Обязанности кандидата:
Взаимодействие со смежными подразделениями, вендорами систем, бизнес-заказчиками, бизнес-аналитиками с целью понимания бизнес-смысла решаемой задачи в зоне ответственности своей группы;
Анализ предметной области, активное участие в поиске возможностей улучшения бизнес-процессов в рамках своей группы, направления интегрированного бизнес-планирования и смежных направлений, в постановке и решении алгоритмических и оптимизационных задач, а также внедрение разработанных решений;
Участие в проектировании архитектуры решения, техническая реализация компонентов системы в зоне ответственности своей группы;
Разработка программного кода систем больших данных;
Обеспечение качества разработанных решений посредством тестирования написанного кода, а также разработки автоматических тестов (unit, e2e);
Разработка документации, описывающей архитектуру и логику работы разрабатываемых систем больших данных;
Обеспечение поддержки разработанных решений, консультация пользователей, исправление дефектов;
Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
Подготовка и сборка установочных пакетов, окружений, помощь в настройке CI/CD pipelines для установки разработанных решений на промышленную среду;
Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.

Мы ждем тебя, если ты имеешь:

Знание основных шаблонов разработки программного обеспечения
Знание необходимого инструментария разработки Python/Java/Scala, Hadoop, Hive, PostgreSQL, Greenplum, Clickhouse, Kafka, Spark, Airflow, Docker & k8s.
Знание SQL.
Навыки идеологических и технологических аспектов BigData.
Аналитический склад ума, умение и желание решать сложные задачи;
Знание системы контроля версий Svn/Git.

Условия работы

Формат: удаленная работа
Город: Москва

Поможем в обучении и развитии

Научим круто рассказывать

о том, что ты делаешь

Внутренняя школа спикеров и авторов
Возможность участвовать в крупнейших
конференциях страны и прокачать
личный бренд

Вместе прокачаем харды и софты

Корпоративный университет, онлайн-библиотека,
программы развития управленческих навыков
Дистанционные курсы на образовательных
платформах
Тренинги, митапы и вебинары