Профиль навыка

Оценка ML-моделей

Этот навык определяет ожидания по ролям и уровням.

Machine Learning и AI MLOps

Ролей

где встречается этот навык

Грейдов

сформированная дорожка роста

Обязательных требований

ещё 10 — необязательные

Machine Learning и AI

MLOps

22.02.2026

Выберите текущий грейд и сравните ожидания. Карточки ниже покажут, что нужно закрыть для следующего уровня.

Чего ждут на каждом уровне

Таблица показывает, как меняется глубина владения навыком от Junior до Principal.

Роль	Обязательность	Описание
Data Scientist		Понимает основные метрики ML: accuracy, precision, recall, F1, ROC-AUC для классификации; RMSE, MAE, R² для регрессии. Проводит cross-validation для оценки generalization. Строит confusion matrix и classification report через scikit-learn.
LLM Engineer		Знает базовые метрики ML: accuracy, precision, recall, F1. Вычисляет метрики для classification и regression моделей, используемых в preprocessing pipeline LLM-систем.

Роль	Обязательность	Описание
Data Scientist		Применяет advanced evaluation методы: stratified cross-validation, time-series split, nested cross-validation. Оценивает модели с учётом бизнес-метрик: lift, gain charts, expected calibration error. Анализирует модели на fairness и bias через disaggregated metrics.
LLM Engineer		Самостоятельно проводит комплексную оценку ML-моделей: confusion matrix, ROC-AUC, calibration plots. Оценивает вспомогательные ML-модели в LLM-pipeline: safety classifiers, intent detectors.

Роль	Обязательность	Описание
Data Scientist		Проектирует comprehensive evaluation framework для ML-моделей: offline metrics, online metrics, business KPIs. Реализует automated model validation gates перед production deployment. Применяет counterfactual analysis и SHAP для deep model diagnostics.
LLM Engineer		Проектирует evaluation frameworks для ML-компонентов LLM-экосистемы: cross-validation стратегии, statistical significance testing, fairness metrics. Автоматизирует regression testing.

Роль	Обязательность	Описание
Data Scientist		Определяет стандарты model evaluation для data science команды. Формирует evaluation checklist для каждого типа ML-задач. Координирует model review process и alignment между offline metrics и business outcomes.
LLM Engineer		Определяет ML evaluation стандарты для LLM-команды. Формирует guidelines по оценке вспомогательных ML-моделей, threshold selection, A/B testing methodology.

Роль	Обязательность	Описание
Data Scientist		Формирует стратегию ML quality assurance на уровне организации. Определяет enterprise model validation standards, audit requirements. Публикует методологии evaluation для industry и формирует thought leadership.
LLM Engineer		Формирует enterprise ML evaluation стратегию. Определяет подходы к model quality governance, automated evaluation pipelines, alignment ML-метрик с бизнес-показателями на масштабе организации.

Junior 2 требований

Data Scientist

Понимает основные метрики ML: accuracy, precision, recall, F1, ROC-AUC для классификации; RMSE, MAE, R² для регрессии. Проводит cross-validation для оценки generalization. Строит confusion matrix и classification report через scikit-learn.
LLM Engineer

Знает базовые метрики ML: accuracy, precision, recall, F1. Вычисляет метрики для classification и regression моделей, используемых в preprocessing pipeline LLM-систем.

Middle 2 требований

Data Scientist

Применяет advanced evaluation методы: stratified cross-validation, time-series split, nested cross-validation. Оценивает модели с учётом бизнес-метрик: lift, gain charts, expected calibration error. Анализирует модели на fairness и bias через disaggregated metrics.
LLM Engineer

Самостоятельно проводит комплексную оценку ML-моделей: confusion matrix, ROC-AUC, calibration plots. Оценивает вспомогательные ML-модели в LLM-pipeline: safety classifiers, intent detectors.

Senior 2 требований

Data Scientist

Проектирует comprehensive evaluation framework для ML-моделей: offline metrics, online metrics, business KPIs. Реализует automated model validation gates перед production deployment. Применяет counterfactual analysis и SHAP для deep model diagnostics.
LLM Engineer

Проектирует evaluation frameworks для ML-компонентов LLM-экосистемы: cross-validation стратегии, statistical significance testing, fairness metrics. Автоматизирует regression testing.

Lead / Staff 2 требований

Data Scientist

Определяет стандарты model evaluation для data science команды. Формирует evaluation checklist для каждого типа ML-задач. Координирует model review process и alignment между offline metrics и business outcomes.
LLM Engineer

Определяет ML evaluation стандарты для LLM-команды. Формирует guidelines по оценке вспомогательных ML-моделей, threshold selection, A/B testing methodology.

Principal 2 требований

Data Scientist

Формирует стратегию ML quality assurance на уровне организации. Определяет enterprise model validation standards, audit requirements. Публикует методологии evaluation для industry и формирует thought leadership.
LLM Engineer

Формирует enterprise ML evaluation стратегию. Определяет подходы к model quality governance, automated evaluation pipelines, alignment ML-метрик с бизнес-показателями на масштабе организации.

Загрузка комментариев...