Data Engineer
Построение и поддержка data pipelines, хранилищ данных, обеспечение доступности и качества данных
Data Engineer — роль в семействе Data Engineering. Определено 64 навыков по 5 уровням (от Junior до Principal). 186 навыков являются обязательными. Ключевые домены: Основы программирования, Backend Development, Базы данных.
Технологический стек
Фокус по уровням
Написание ETL-скриптов (Python/SQL). Работа с Airflow DAGs. Загрузка данных в хранилище. Мониторинг пайплайнов. SQL-запросы для аналитиков.
Проектирование data pipelines. Работа с Spark/Flink. Оптимизация SQL-запросов на больших данных. Data quality checks. Работа с data warehouse.
Архитектура data platform. Проектирование data lake/lakehouse. Оптимизация стоимости хранения. Проектирование real-time pipelines. Менторинг.
Data platform strategy. DataOps практики. Governance и lineage. Координация с ML и Analytics. Стандарты качества данных.
Enterprise data strategy. Multi-cloud data architecture. Data mesh. Cost optimization at scale. Vendor evaluation.
Матрица навыков
64 навыков × 5 уровней. Нажмите на ячейку для детализации.
Архитектура и проектирование
1 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Основы System Design | A | W | A | E | E |
Базы данных
9 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| PostgreSQL | A | W | A | E | E |
| ClickHouse | A | W | A | E | E |
| Apache Cassandra | A | W | A | E | E |
| Индексирование БД | A | W | A | E | E |
| Оптимизация запросов | A | W | A | E | E |
| Репликация и High Availability | A | W | A | E | E |
| Backup и Disaster Recovery | A | W | A | E | E |
| Проектирование схем данных | A | W | A | E | E |
| Миграции БД | A | W | A | E | E |
Безопасность
3 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| OWASP и безопасность приложений | A | W | A | E | E |
| Практики безопасного кода | A | W | A | E | E |
| JWT / OAuth2 / OIDC | A | W | A | E | E |
Контроль версий и коллаборация
2 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Git Advanced | A | W | A | E | E |
| Code Review | A | W | A | E | E |
Облако и инфраструктура
5 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Docker | A | W | A | E | E |
| Kubernetes Core | A | W | A | E | E |
| Terraform | A | W | A | E | E |
| AWS | A | W | A | E | E |
| Основы сетей | A | W | A | — | — |
Основы программирования
8 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Алгоритмы и сложность | A | W | A | E | E |
| Структуры данных | A | W | A | E | E |
| Принципы ООП и SOLID | A | W | A | E | E |
| Паттерны проектирования | A | W | A | E | E |
| Многопоточное программирование | A | W | A | E | E |
| Асинхронное программирование | A | W | A | E | E |
| Качество кода и рефакторинг | A | W | A | E | E |
| Типобезопасность и системы типов | A | W | A | E | E |
Тестирование и QA
3 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Unit-тестирование | A | W | A | E | E |
| Интеграционное тестирование | A | W | A | E | E |
| E2E тестирование | A | W | A | E | E |
AI-ассистированная разработка
4 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| GitHub Copilot | A | W | A | E | E |
| Cursor IDE | A | W | A | A | — |
| ChatGPT / Claude | A | W | A | E | E |
| Prompt Engineering для кода | A | W | A | E | — |
API и интеграции
4 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| REST API Design | A | W | A | E | E |
| GraphQL Design | A | W | A | E | E |
| gRPC и Protocol Buffers | A | W | A | E | E |
| Документирование API | A | W | A | E | E |
Backend Development
6 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Python Web Frameworks | A | W | A | E | E |
| Apache Kafka | A | W | A | E | E |
| Redis | A | W | A | E | E |
| Task Queues | A | W | A | E | E |
| Elasticsearch / OpenSearch | A | W | A | E | E |
| S3 / Object Storage | A | W | A | E | E |
Data Engineering
14 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Apache Spark | A | W | A | E | E |
| dbt | A | W | A | E | E |
| Pandas / Polars | A | W | A | E | E |
| SQL-based ETL | A | W | A | E | E |
| Stream Processing | A | W | A | E | E |
| Delta Lake / Apache Iceberg | A | W | A | E | E |
| Архитектура Data Lake | A | W | A | E | E |
| Data Warehouse Design | A | W | A | E | E |
| Data Catalog | A | W | A | E | E |
| Data Lineage | A | W | A | E | E |
| Data Contracts | A | W | A | E | E |
| Data Quality | A | W | A | E | E |
| Apache Airflow | A | W | A | E | E |
| Dagster / Prefect | A | W | A | E | E |
DevOps и CI/CD
1 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| GitHub Actions / GitLab CI | A | W | A | E | E |
Observability и мониторинг
4 навыков| Навыки | Jun | Mid | Sen | Lead | Princ |
|---|---|---|---|---|---|
| Структурированное логирование | A | W | A | E | E |
| Prometheus и Grafana | A | W | A | — | — |
| OpenTelemetry | A | W | A | E | E |
| SLI / SLO / SLA | A | W | A | E | E |
Часто задаваемые вопросы
Какие навыки нужны для роли Data Engineer?
Для роли Data Engineer требуется 64 навыков, из которых 186 являются обязательными. Навыки распределены по 5 уровням: от Junior до Principal. Смотреть полную матрицу.
Как вырасти до следующего уровня в роли Data Engineer?
Используйте Калькулятор грейда чтобы оценить текущий уровень и получить персональные рекомендации. Система покажет, какие навыки нужно развить для перехода на следующий уровень.
Какой технологический стек используется в роли Data Engineer?
Стек включает 5 технологий на разных уровнях. Python 3.11+, SQL, Apache Airflow, PostgreSQL/ClickHouse, pandas, Docker, Git, Python 3.12+, SQL advanced, Airflow, Spark/PySpark, ClickHouse/BigQuery, dbt, Kafka basics, S3/GCS, Python, Spark/Flink, ClickHouse/BigQuery/Snowflake, Kafka/Debezium, Delta Lake/Iceberg, Terraform, Kubernetes, Data lineage (OpenLineage)...
Как сообщество определяет требования к роли Data Engineer?
Требования к роли формируются сообществом через систему предложений. Любой участник может предложить изменения, которые проходят голосование и ревью экспертов.