Dagster / Prefect

Понимает основы Dagster/Prefect для оркестрации dbt-моделей и трансформаций данных. Запускает существующие пайплайны, читает логи и устраняет простые сбои задач в аналитических воркфлоу.

Использует Dagster или Prefect для построения и планирования базовых ETL-пайплайнов. Понимает концепции assets, tasks и flow. Мониторит выполнение пайплайнов и обрабатывает повторные запуски при временных сбоях.

Самостоятельно реализует data pipelines с Dagster / Prefect. Оптимизирует производительность. Обеспечивает data quality.

Самостоятельно реализует data pipelines с Dagster / Prefect. Оптимизирует производительность. Обеспечивает data quality.

Проектирует data-архитектуру с Dagster / Prefect. Оптимизирует для big data. Внедряет data governance и quality frameworks.

Проектирует data-архитектуру с Dagster / Prefect. Оптимизирует для big data. Внедряет data governance и quality frameworks.

Внедряет modern orchestration для аналитики: Dagster assets как native интеграция с dbt models, software-defined assets для Python-трансформаций. Определяет стандарты для observable, testable pipeline-ов с built-in data quality checks.

Определяет orchestration-стандарты: Dagster vs Prefect vs Airflow выбор по проекту, migration стратегия. Оценивает software-defined assets (Dagster) vs task-based (Airflow) подходы.

Проектирует архитектуру next-gen оркестрации: asset-based подход Dagster для unified аналитической платформы, интеграция с dbt mesh, declarative scheduling. Определяет стратегию миграции с Airflow на asset-centric orchestration.

Проектирует next-gen orchestration: Dagster для software-defined data assets, Prefect для event-driven, hybrid с Airflow legacy. Определяет migration path и coexistence стратегию.