Apache Airflow

Понимает базовые концепции Airflow: DAG, операторы и зависимости задач. Использует готовые шаблоны DAG для построения простых пайплайнов трансформации. Применяет паттерны интеграции dbt + Airflow, определённые командой.

Понимает базовую структуру DAG Airflow и концепции планирования. Отслеживает пайплайны обновления отчётов и выявляет сбои. Следует инструкциям команды для запуска обновлений данных дашбордов через UI Airflow.

Понимает базовые концепции Airflow и планирование DAG. Отслеживает запуски пайплайнов, наполняющих аналитические датасеты. Следует документации команды для запуска ad-hoc DAG для обновления и извлечения данных.

Самостоятельно строит DAG Airflow для ELT-пайплайнов с dbt-операторами и проверками качества данных. Настраивает политики повторов, SLA и алертинг для задач трансформации. Оптимизирует параллелизм задач и пулы ресурсов.

Самостоятельно настраивает DAG Airflow для генерации отчётов и обновления данных дашбордов. Реализует сенсоры качества данных для валидации источников перед обновлением BI-слоя. Устраняет сбои пайплайнов, влияющие на отчётность.

Самостоятельно строит DAG Airflow для автоматической выгрузки данных и подготовки когорт. Реализует задачи валидации данных с интеграцией Great Expectations. Настраивает расписание для периодического обновления аналитических данных.

Проектирует data-архитектуру с Apache Airflow. Оптимизирует для big data. Внедряет data governance и quality frameworks.

Проектирует архитектуру пайплайнов на Airflow для корпоративной BI-платформы. Реализует сложные графы зависимостей между источниками данных с мониторингом SLA. Менторит команду по паттернам проектирования DAG для отчётных процессов.

Проектирует архитектуру пайплайнов Airflow для сложных аналитических workflow с кросс-датасетными зависимостями. Внедряет отслеживание lineage данных и аудит-логирование. Оптимизирует производительность DAG для обработки больших аналитических данных.

Определяет стратегию оркестрации аналитического pipeline: Airflow для координации dbt runs, sensor-ы для зависимостей от upstream данных. Внедряет стандарты DAG-дизайна: idempotency, retry policies, SLA monitoring для аналитических моделей.

Определяет стратегию BI-пайплайнов и стандарты платформы Airflow. Устанавливает гайдлайны разработки DAG, практики код-ревью и процессы деплоя для команды отчётности. Координирует SLA свежести данных со стейкхолдерами.

Определяет стратегию аналитических пайплайнов и стандарты управления Airflow. Устанавливает конвенции именования DAG, требования к тестированию и практики мониторинга. Продвигает self-service создание пайплайнов среди аналитических команд.

Проектирует оркестрацию аналитической платформы предприятия: Airflow/Dagster для multi-project dbt, event-driven triggers, cross-team dependency management. Определяет стратегию миграции на managed orchestration (dbt Cloud, Dagster Cloud).

Определяет стратегию оркестрации данных на уровне организации, охватывающую Airflow, dbt и BI-инструменты. Оценивает платформы оркестрации и пути миграции. Формирует организационные стандарты доставки данных и управление кросс-командными пайплайнами.

Определяет стратегию оркестрации аналитических данных на уровне организации. Формирует стандарты надёжности пайплайнов и гарантий доставки данных. Оценивает оркестрационные инструменты нового поколения и принимает решения по эволюции платформы.