Использует PySpark для масштабной feature engineering. Оптимизирует Spark jobs (partitioning, caching, broadcast joins). Использует Spark ML для distributed model training.

Проектирует sklearn Pipelines для production. Выполняет feature selection (SelectKBest, RFE). Настраивает hyperparameter tuning (GridSearchCV, RandomizedSearchCV, Optuna). Обрабатывает imbalanced данные (SMOTE, class_weight).

Ревьюит ML-код: проверяет data leakage, feature correctness, model evaluation. Даёт конструктивный feedback. Проверяет reproducibility экспериментов.

Использует Great Expectations/Soda для data validation. Настраивает автоматические проверки качества данных в ML pipeline. Мониторит data drift перед retraining.

Создаёт оптимизированные Docker images для ML: multi-stage для training и serving, CUDA-based images. Настраивает GPU access в Docker. Использует .dockerignore для ML-артефактов.

Настраивает Feast для проекта. Определяет feature definitions (entities, feature views). Настраивает materialization для online store. Интегрирует feature store с training pipeline.

Использует DVC для version control данных и моделей. Организует ML-код по branches: experiments, features, releases. Resolve конфликты в ML-конфигурациях.

Выполняет hyperparameter tuning для gradient boosting (learning_rate, max_depth, n_estimators, regularization). Обрабатывает категориальные фичи (CatBoost native, target encoding). Настраивает early stopping и cross-validation. Анализирует SHAP values.

Деплоит ML-сервисы в Kubernetes. Настраивает resource limits для CPU/GPU workloads. Использует ConfigMaps для model configuration. Настраивает HPA для ML serving autoscaling.

Проектирует ML pipelines с Kubeflow/Airflow. Настраивает параметризированные pipeline для разных моделей. Автоматизирует retraining с data quality checks. Реализует pipeline testing.

Проектирует MLflow workflow: experiment naming, run tags, artifact storage. Использует Model Registry для versioning. Настраивает autologging для sklearn/PyTorch. Пишет custom MLflow Plugins.

Использует model serving frameworks: Triton, BentoML, Seldon. Настраивает batch и real-time inference. Оптимизирует inference latency (ONNX, model optimization). Настраивает A/B testing моделей.

Оптимизирует pandas-код для ML: vectorized operations, category dtype, chunked reading. Использует Polars для ускорения обработки. Пишет эффективные feature engineering pipelines.

Добавляет custom metrics в приложение (counter, gauge, histogram). Пишет PromQL-запросы для дашбордов. Создаёт Grafana dashboards. Настраивает базовые алерты (high error rate, high latency).

Проектирует ML API с FastAPI: async endpoints, pydantic валидация, batch prediction. Реализует health checks и model versioning в API. Интегрирует API с model registry.

Проектирует custom модели на PyTorch. Настраивает training loop: optimizer, scheduler, early stopping. Использует transfer learning (fine-tuning pretrained models). Логирует эксперименты в MLflow/W&B.

Проектирует RESTful ML API: batch prediction, model versioning, health checks. Документирует ML API с OpenAPI. Реализует pagination для prediction results. Обрабатывает ошибки модели.

Проектирует SQL ETL для feature computation. Использует dbt для трансформации ML features. Пишет incremental ETL для обновления training данных. Автоматизирует через Airflow.

Пишет comprehensive тесты для ML: data validation, model prediction format, edge cases. Использует fixtures для ML test data. Тестирует pipeline components изолированно.

Оценивает сложность алгоритмов обработки данных в ML-пайплайнах. Понимает trade-off между памятью и скоростью при feature engineering. Оптимизирует batch-операции с учётом вычислительной сложности.

Применяет type hints в ML-коде. Использует mypy для статического анализа. Пишет unit-тесты для data processing и model evaluation. Организует ML-код в модули (data, features, models, evaluation).

Настраивает data drift detection (Evidently, NannyML). Мониторит feature distributions. Настраивает алертинг на degradation модели. Реализует automated retraining trigger.

Применяет ООП для структурирования ML-кода: абстрактные классы для моделей, стратегии для feature engineering. Использует паттерны для переиспользования ML-компонентов. Пишет кастомные sklearn transformers.

Пишет структурированные логи в JSON-формате. Добавляет correlation IDs для tracing. Использует правильные log levels. Настраивает log aggregation (EFK/Loki). Не логирует sensitive data (PII, passwords).

Эффективно использует структуры данных для ML: sparse matrices, ordered structures, heaps. Работает с pandas MultiIndex и категориальными данными. Оптимизирует memory footprint датасетов.

Проектирует experiment tracking workflow. Организует эксперименты по проектам/задачам. Настраивает hyperparameter sweeps (Optuna, W&B Sweeps). Анализирует результаты для принятия решений.