Домен
Data Engineering
Профиль навыка
DataHub, OpenMetadata, Apache Atlas, управление метаданными, поиск и обнаружение данных
Ролей
4
где встречается этот навык
Грейдов
5
сформированная дорожка роста
Обязательных требований
20
ещё 0 — необязательные
Data Engineering
Управление данными
17.03.2026
Выберите текущий грейд и сравните ожидания. Карточки ниже покажут, что нужно закрыть для следующего уровня.
Таблица показывает, как меняется глубина владения навыком от Junior до Principal.
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Понимает концепции каталога данных и основы управления метаданными. Регистрирует dbt-модели и источники в каталоге по командным конвенциям. Использует поиск по каталогу для обнаружения существующих датасетов перед созданием новых трансформаций. |
| BI Analyst | Обязателен | Понимает назначение каталога данных и базовую навигацию по метаданным. Использует каталог для поиска доступных источников данных для дашбордов и отчётов. Документирует определения BI-метрик и зависимости данных дашбордов в каталоге. |
| Data Analyst | Обязателен | Понимает основы каталога данных и возможности поиска метаданных. Использует каталог для нахождения релевантных датасетов для аналитических запросов. Документирует описания датасетов и метаданные на уровне колонок по стандартам команды. |
| Data Engineer | Обязателен | Использует data catalog для поиска датасетов: просматривает описания таблиц, владельцев, lineage. Документирует свои таблицы: описания полей, business glossary terms. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Самостоятельно поддерживает записи каталога данных для слоя трансформации. Настраивает автоматическое извлечение метаданных из dbt docs и графов lineage. Реализует таксономии тегов и классификацию данных для управляемого self-service доступа. |
| BI Analyst | Обязателен | Самостоятельно управляет метаданными BI-слоя в каталоге данных. Настраивает определения метрик, иерархии KPI и маппинги дашборд-источник. Реализует индикаторы свежести данных и значки качества для отчётных датасетов. |
| Data Analyst | Обязателен | Самостоятельно курирует метаданные аналитических датасетов в каталоге. Реализует описания на уровне колонок и отслеживание статистики использования. Создаёт словари данных и записи глоссария для улучшения обнаруживаемости в аналитической команде. |
| Data Engineer | Обязателен | Настраивает data catalog: интеграция с metadata sources (Hive, Glue, dbt), автоматический harvesting. Создаёт business glossary. Тегирует данные для классификации (PII, financial). |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Проектирует data-архитектуру с Data Catalog. Оптимизирует для big data. Внедряет data governance и quality frameworks. |
| BI Analyst | Обязателен | Проектирует архитектуру каталога данных для корпоративной BI-экосистемы. Внедряет автоматический сбор метаданных из BI-инструментов (Tableau, Power BI, Looker). Устанавливает управление метриками с программами сертификации датасетов и моделями владения. |
| Data Analyst | Обязателен | Проектирует стратегию каталога данных для аналитического домена. Внедряет автоматическое профилирование данных и обнаружение аномалий для записей каталога. Строит workflow обнаружения, ускоряющие онбординг аналитиков и кросс-командное сотрудничество. |
| Data Engineer | Обязателен | Проектирует metadata management: DataHub/OpenMetadata/Amundsen setup, custom connectors для internal systems, automated lineage extraction из Spark/Airflow. Интегрирует catalog с data quality. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Внедряет data catalog для аналитической платформы: интеграция dbt docs с enterprise каталогом (Atlan, DataHub, Alation), автоматическое обогащение метаданными. Определяет стандарты классификации и тегирования аналитических моделей. |
| BI Analyst | Обязателен | Определяет стратегию управления каталогом данных для BI-организации. Устанавливает стандарты качества метаданных, роли стюардов и метрики adoption каталога. Продвигает культурный сдвиг к data-as-a-product через catalog-first workflow. |
| Data Analyst | Обязателен | Определяет стратегию adoption каталога данных среди аналитических команд. Устанавливает стандарты метаданных, процессы ревью и гайдлайны контрибуции в каталог. Измеряет влияние каталога на продуктивность аналитиков и эффективность обнаружения данных. |
| Data Engineer | Обязателен | Определяет стандарты data cataloging: обязательные метаданные, ownership policy, data stewardship процесс. Внедряет data discovery workflow для self-service analytics. |
| Роль | Обязательность | Описание |
|---|---|---|
| Analytics Engineer | Обязателен | Проектирует единую платформу data discovery предприятия: автоматический lineage от источников до BI, semantic search по бизнес-терминам, data marketplace для self-service. Определяет governance-процессы для каталогизации и data stewardship. |
| BI Analyst | Обязателен | Определяет стратегию каталога данных на уровне организации, охватывающую все домены. Оценивает платформы каталогов (DataHub, Atlan, Alation) и формирует архитектуру метаданных. Устанавливает организационную структуру управления данными с каталогом как центральным элементом. |
| Data Analyst | Обязателен | Формирует видение каталога данных и стратегию управления метаданными на уровне организации. Продвигает data literacy через обнаружение на основе каталога. Оценивает новые технологии каталогов и определяет долгосрочную дорожную карту архитектуры метаданных. |
| Data Engineer | Обязателен | Проектирует metadata-платформу организации: federated catalog для data mesh, automated metadata extraction, ML-powered data discovery. Определяет metadata governance и interoperability standards. |