Домен
Data Engineering
Профиль навыка
Impact analysis, column-level lineage, dbt lineage, OpenLineage, отслеживание происхождения данных
Ролей
4
где встречается этот навык
Грейдов
5
сформированная дорожка роста
Обязательных требований
20
ещё 0 — необязательные
Data Engineering
Управление данными
17.03.2026
Выберите текущий грейд и сравните ожидания. Карточки ниже покажут, что нужно закрыть для следующего уровня.
Таблица показывает, как меняется глубина владения навыком от Junior до Principal.
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Понимает концепции lineage данных и как трансформации связывают источники с выходами. Следует командным конвенциям документирования lineage в dbt-моделях. Использует графы lineage в dbt docs для трассировки потока данных через слои трансформации. |
| BI Analyst | Обязателен | Понимает основы lineage данных и как данные источников попадают в BI-дашборды. Использует инструменты lineage для трассировки происхождения данных при отладке расхождений в отчётах. Документирует зависимости дашборд-источник по гайдлайнам команды. |
| Data Analyst | Обязателен | Понимает основы lineage данных и их важность для доверия к данным. Использует визуализацию lineage для понимания, как аналитические таблицы строятся из сырых источников. Документирует зависимости запросов для воспроизводимого анализа. |
| Data Engineer | Обязателен | Читает data lineage графы: понимает откуда данные приходят и куда уходят. Использует lineage для impact analysis при изменении источников. Документирует зависимости своих моделей. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Самостоятельно внедряет отслеживание lineage данных по слою трансформации dbt. Настраивает lineage на уровне колонок через метаданные dbt и внешние инструменты (OpenLineage, DataHub). Автоматизирует анализ влияния изменений схем. |
| BI Analyst | Обязателен | Самостоятельно трассирует lineage данных от BI-дашбордов до систем-источников. Использует инструменты lineage для анализа влияния перед изменениями источников данных. Реализует документацию на основе lineage для прозрачности расчёта метрик. |
| Data Analyst | Обязателен | Самостоятельно использует инструменты lineage для трассировки аналитических потоков данных и отладки проблем качества. Реализует документацию lineage для сложных аналитических пайплайнов. Выполняет анализ влияния по графам lineage перед изменением общих датасетов. |
| Data Engineer | Обязателен | Настраивает автоматический сбор lineage: интеграция Airflow/dbt/Spark с lineage-системой. Использует lineage для debugging data quality issues. Визуализирует зависимости в DataHub/OpenMetadata. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Проектирует data-архитектуру с Data Lineage. Оптимизирует для big data. Внедряет data governance и quality frameworks. |
| BI Analyst | Обязателен | Проектирует архитектуру lineage данных для корпоративной BI-экосистемы. Внедряет сквозной lineage от систем-источников через ETL до дашбордов. Устанавливает автоматизированные workflow анализа влияния для эволюции схем и планирования миграций. |
| Data Analyst | Обязателен | Проектирует стратегию lineage данных для аналитического домена с отслеживанием на уровне колонок и автоматической документацией. Внедряет мониторинг качества данных на основе lineage и workflow root cause анализа. Менторит аналитиков по lineage-first практикам разработки. |
| Data Engineer | Обязателен | Проектирует lineage-инфраструктуру: column-level lineage, cross-system tracking (operational → analytical), custom extractors для internal tools. Интегрирует lineage с data catalog и quality monitoring. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Внедряет data lineage для аналитической платформы: dbt lineage graph, column-level lineage, интеграция с BI для end-to-end отслеживания. Использует lineage для impact analysis при изменении моделей и миграциях. |
| BI Analyst | Обязателен | Определяет стратегию управления lineage данных для BI-организации. Устанавливает стандарты полноты lineage, модели владения и требования интеграции по стеку данных. Продвигает возможности compliance и аудита на основе lineage. |
| Data Analyst | Обязателен | Определяет стандарты lineage данных среди аналитических команд. Устанавливает требования документации lineage, метрики покрытия и процессы ревью. Продвигает организационное adoption инструментов lineage для управления данными и compliance. |
| Data Engineer | Обязателен | Определяет lineage-стандарты: покрытие, granularity (table vs column level), freshness. Использует lineage для impact analysis при schema changes. Внедряет lineage-based alerting. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Проектирует enterprise data lineage: автоматическое отслеживание от source systems через ETL/ELT до BI-дашбордов, cross-tool lineage (Airflow → dbt → Tableau). Определяет стратегию lineage для compliance (GDPR, SOX) и data governance. |
| BI Analyst | Обязателен | Определяет стратегию lineage данных на уровне организации, охватывающую все домены данных и слои инструментов. Оценивает платформы lineage (OpenLineage, Marquez, DataHub) и формирует архитектуру метаданных. Обеспечивает regulatory compliance через audit trails на основе lineage. |
| Data Analyst | Обязателен | Формирует видение lineage данных и стратегию кросс-платформенной интеграции на уровне организации. Продвигает организационную observability данных через всеобъемлющее покрытие lineage. Определяет долгосрочную дорожную карту архитектуры lineage в соответствии с data mesh и governance. |
| Data Engineer | Обязателен | Проектирует lineage-платформу организации: end-to-end lineage от operational systems до BI dashboards, automated compliance reporting, lineage-driven data governance. |