Профиль навыка

Data Quality

Great Expectations, dbt tests, data contracts, anomaly detection

Data Engineering Качество данных

Ролей

6

где встречается этот навык

Грейдов

5

сформированная дорожка роста

Обязательных требований

28

ещё 2 — необязательные

Домен

Data Engineering

Группа

Качество данных

Последнее обновление

17.03.2026

Как использовать

Выберите текущий грейд и сравните ожидания. Карточки ниже покажут, что нужно закрыть для следующего уровня.

Чего ждут на каждом уровне

Таблица показывает, как меняется глубина владения навыком от Junior до Principal.

Роль Обязательность Описание
Analytics Engineer Обязателен Запускает базовые dbt tests: not_null, unique, accepted_values, relationships. Понимает результаты тестов и исправляет простые data quality issues. Следит за dbt test warnings в CI.
BI Analyst Обязателен Применяет базовые проверки качества данных в дашбордах Tableau и Power BI. Валидирует источники данных через SQL перед построением отчётов. Следует стандартам команды по очистке данных в Excel и Google Sheets. Выявляет очевидные аномалии в результатах запросов ClickHouse/PostgreSQL.
Data Analyst Обязателен Применяет проверки качества данных с помощью pandas и SQL перед анализом. Валидирует датасеты на полноту в Jupyter notebooks. Использует инструменты профилирования для обнаружения пропусков и выбросов. Следует стандартам команды по очистке данных в отчётах Superset.
Data Engineer Обязателен Пишет базовые data quality checks: NOT NULL, unique constraints, value ranges. Использует dbt tests или Great Expectations для валидации. Понимает метрики: completeness, accuracy, timeliness.
Data Scientist Валидирует обучающие датасеты на полноту и качество разметки с помощью pandas и numpy. Применяет профилирование для обнаружения пропусков и аномалий распределений в Jupyter. Использует утилиты scikit-learn для валидации признаков перед обучением модели. Документирует проблемы качества данных.
ML Engineer Обязателен Понимает важность data quality для ML. Выполняет базовые проверки: null values, duplicates, distribution shifts. Использует pandas profiling для EDA.
Роль Обязательность Описание
Analytics Engineer Обязателен Настраивает комплексное dbt-тестирование: custom generic tests, dbt expectations package для статистических проверок, freshness tests для source-ов. Реализует data quality dashboards для мониторинга метрик качества.
BI Analyst Обязателен Внедряет автоматические проверки качества в BI-пайплайнах через SQL и dbt tests. Настраивает мониторинг свежести данных для дашбордов Tableau/Power BI. Строит слои валидации в ClickHouse и BigQuery для отслеживания дрифта схем. Создаёт скоркарды качества и алертинг.
Data Analyst Обязателен Строит пайплайны валидации с помощью Great Expectations и dbt tests. Реализует обнаружение аномалий для датасетов A/B-тестов. Настраивает мониторы качества в Airflow DAG для раннего обнаружения проблем. Проектирует отчёты профилирования с pandas-profiling и SQL-проверками.
Data Engineer Обязателен Настраивает data quality framework: Great Expectations/Soda для automated checks, custom expectations, alerting при failures. Мониторит data freshness и volume anomalies.
Data Scientist Самостоятельно реализует data pipelines с Data Quality. Оптимизирует производительность. Обеспечивает data quality.
ML Engineer Обязателен Использует Great Expectations/Soda для data validation. Настраивает автоматические проверки качества данных в ML pipeline. Мониторит data drift перед retraining.
Роль Обязательность Описание
Analytics Engineer Обязателен Проектирует стратегию data quality для аналитической платформы: multi-layer testing (source → staging → marts), anomaly detection через dbt + elementary, automated alerting. Интегрирует quality checks в CI/CD pipeline.
BI Analyst Обязателен Проектирует фреймворки качества данных для Tableau, Power BI и Superset. Разрабатывает сквозные стратегии валидации для хранилищ BigQuery и ClickHouse. Внедряет автоматическое отслеживание lineage и скоринг качества для бизнес-KPI. Менторит команду по data governance и культуре quality-first.
Data Analyst Обязателен Проектирует архитектуру качества данных на базе Great Expectations, dbt и кастомных фреймворков. Внедряет observability с обнаружением аномалий и анализом первопричин. Устанавливает data contracts между командами. Продвигает governance и SLA для аналитических датасетов.
Data Engineer Обязателен Проектирует data quality систему: multi-layer validation (source → staging → mart), anomaly detection (statistical), automated remediation. Интегрирует quality metrics в data catalog.
Data Scientist Обязателен Проектирует data-архитектуру с Data Quality. Оптимизирует для big data. Внедряет data governance и quality frameworks.
ML Engineer Обязателен Проектирует data quality framework для ML. Интегрирует data validation в ML pipeline. Настраивает алертинг на аномалии в данных. Определяет data quality SLAs для ML.
Роль Обязательность Описание
Analytics Engineer Обязателен Определяет стандарты data quality организации: SLA на качество для каждого слоя, обязательные тесты для production моделей, процессы реагирования на quality incidents. Внедряет data observability platform (Monte Carlo, Elementary).
BI Analyst Обязателен Определяет стратегию качества данных для BI- и аналитических команд. Координирует принципы data mesh со встроенными quality gates. Формирует дорожную карту платформы с приоритетом на observability, lineage и автоматизацию качества. Обеспечивает кросс-командное согласование по data contracts и SLA.
Data Analyst Обязателен Руководит стратегией качества данных для аналитических команд. Формирует архитектуру платформы с проверками качества на каждом этапе пайплайна. Координирует внедрение data mesh с доменной ответственностью за качество. Устанавливает KPI качества и процессы улучшения.
Data Engineer Обязателен Определяет data quality стандарты: SLA per dataset, quality dimensions (accuracy, completeness, consistency, timeliness), ownership model. Внедряет data quality scorecard.
Data Scientist Обязателен Определяет стратегию качества данных для ML-команд, обеспечивая качество обучающих датасетов. Координирует стандарты валидации в feature stores и модельных пайплайнах. Продвигает инструменты observability и quality gates перед обучением моделей. Согласовывает практики качества с MLOps и data mesh.
ML Engineer Обязателен Определяет data quality strategy для ML-организации. Внедряет data quality culture в ML-команде. Координирует с Data Engineering по data quality.
Роль Обязательность Описание
Analytics Engineer Обязателен Проектирует enterprise data quality стратегию: unified quality framework для всех источников и трансформаций, ML-driven anomaly detection, automated root cause analysis. Определяет quality-as-code подход с version-controlled правилами.
BI Analyst Обязателен Определяет корпоративное видение качества данных для BI, аналитики и отчётности. Проектирует фреймворки governance с автоматическим контролем качества для Tableau, Power BI и облачных хранилищ. Устанавливает стандарты сертификации данных, lineage и trust scoring. Влияет на отраслевые практики.
Data Analyst Обязателен Формирует корпоративную стратегию качества данных для аналитических и операционных доменов. Проектирует governance, интегрирующую качество, lineage и каталогизацию в единую платформу. Создаёт программы сертификации данных и модели зрелости качества. Продвигает data-driven культуру.
Data Engineer Обязателен Проектирует data quality платформу: centralized quality monitoring, ML-based anomaly detection, quality-driven data trust scoring. Определяет organization-wide data quality framework.
Data Scientist Обязателен Определяет стратегию качества данных, обеспечивая надёжность данных для обучения и продакшена ML. Проектирует governance с валидацией в feature stores и model registries. Устанавливает стандарты сертификации и модели зрелости качества для ML-процессов. Формирует лучшие практики data-centric AI.
ML Engineer Обязателен Определяет enterprise data quality strategy для ML. Проектирует data governance для ML-платформы. Оценивает data quality tools и frameworks.

Сообщество

👁 Следить ✏️ Предложить изменение Войдите, чтобы предлагать изменения
📋 Предложения
Пока нет предложений для Data Quality
Загрузка комментариев...