Senior Data Engineer

06 Августа

Партнерские Вакансии

Компания "Софтлайт"

Сейчас мы в поиске Senior Data Engineer на проект в международную E-commerce компанию, которая специализируется на производстве и продаже персонализированных изделий по всему миру.

Основные задачи:

• Разработка и поддержка пакетных (batch) и потоковых (streaming) конвейеров данных в Databricks (PySpark / Spark SQL);
• Оркестрация рабочих процессов с помощью Airflow — создание DAG, управление зависимостями и устранение сбоев;
• Загрузка и обработка потоковых данных из Kafka в lakehouse (озеро-хранилище данных);
• Работа в Unity Catalog для управления данными (data governance), отслеживания происхождения данных (lineage) и прав доступа к схемам;
• Интеграция данных из внешних источников и SaaS-систем (например, маркетинг, CRM, веб-аналитика) через API и коннекторы;
• Внедрение проверок качества данных, мониторинга и оповещений для обеспечения надежности конвейеров;
• Оптимизация задач по производительности и стоимости, а также участие в практиках CI/CD и инфраструктуры как кода (IaC);
• Взаимодействие с командами BI и аналитики для предоставления чистых, хорошо структурированных моделей данных.

Кого мы ищем:

• Опыт работы от 5 лет в области дата-инженерии или на аналогичной должности;
• Отличные знания SQL и уверенное владение Python и Scala;
• Практический опыт работы со Spark / Databricks (или эквивалентными системами распределенной обработки данных);
• Опыт создания и планирования конвейеров с помощью оркестратора (Airflow или аналогичного);
• Понимание архитектуры хранилищ данных (Data Warehouse / Lakehouse) и паттернов ETL/ELT;
• Знакомство с одной из крупных облачных платформ (будет преимуществом);
• Хороший письменный и разговорный английский язык и умение работать самостоятельно в удаленной команде(уровень B2).

Будет плюсом:

• Опыт работы с потоковой передачей данных (Kafka, Spark Structured Streaming);
• Знакомство с Unity Catalog или другими инструментами управления данными (data governance);
• Знание CI/CD, рабочих процессов Git (Git workflows) и инфраструктуры как кода (IaC);
• Опыт оптимизации затрат / FinOps на облачных платформах данных;
• Опыт работы в сфере электронной коммерции (E-commerce) или D2C (Direct-to-Consumer).

Мы предлагаем:

• Возможность влиять на продукт и команду;
• Крутой коллектив профессионалов;
• Гибкие варианты оформления по всему миру;
• Бонусы на спорт или обучение;
• Оплачиваемый отпуск + оплачиваемые больничные.