Архитектура Data Lake

Понимает зонную архитектуру data lake (raw, curated, consumption). Выполняет запросы из курируемых слоёв с помощью SQL и dbt-моделей. Следует командным конвенциям по партиционированию, форматам файлов и стандартам именования.

Понимает принципы медальонной архитектуры (bronze/silver/gold). Загружает данные в raw-зоны с помощью пакетных загрузчиков и реестров схем. Следует установленным паттернам для размещения Parquet/ORC файлов и метаданных каталога.

Самостоятельно строит аналитические data-продукты поверх слоёв data lake с использованием dbt и Spark SQL. Оптимизирует производительность запросов через интеллектуальное партиционирование и Z-ordering. Обеспечивает качество данных проверками Great Expectations на границах зон.

Самостоятельно проектирует ETL-пайплайны между зонами data lake с поддержкой эволюции схем. Оптимизирует стоимость хранения через lifecycle-политики, компактификацию и многоуровневое хранение. Реализует контроль качества данных между слоями медальонной архитектуры с автоматизированной валидацией.

Проектирует data-архитектуру с Архитектура Data Lake. Оптимизирует для big data. Внедряет data governance и quality frameworks.

Проектирует data-архитектуру с Архитектура Data Lake. Оптимизирует для big data. Внедряет data governance и quality frameworks.

Определяет архитектуру data lake для аналитической платформы: medallion-подход (bronze/silver/gold), выбор форматов хранения (Parquet, Delta, Iceberg). Внедряет стандарты партиционирования и retention для оптимизации стоимости.

Определяет data lake стандарты: zone architecture (bronze/silver/gold), file formats, partition strategies. Внедряет access control и data classification. Координирует между data producers и consumers.

Проектирует lakehouse-архитектуру предприятия: Delta Lake/Iceberg как open table format, integration с dbt для трансформаций, unified governance. Определяет стратегию совмещения data lake и warehouse для разных аналитических workloads.

Проектирует data lakehouse архитектуру: unified storage layer, query engine federation (Trino/Spark), governance framework. Определяет когда lakehouse vs traditional DWH vs data mesh.