Дизайн экспериментов

Понимает основы дизайна экспериментов: контрольная и тестовая группы, randomization, sample size calculation. Проводит простые A/B-тесты с фиксированным горизонтом. Документирует гипотезы, методологию и результаты экспериментов.

Проектирует сложные эксперименты: multi-variant тесты, sequential testing, stratified randomization. Применяет causal inference методы: difference-in-differences, instrumental variables. Рассчитывает minimum detectable effect и планирует длительность экспериментов.

Проектирует experimentation platform для систематического A/B-тестирования ML-моделей. Применяет advanced методы: switchback experiments, cluster randomization, synthetic control. Формирует guardrail metrics и early stopping rules для безопасных экспериментов.

Определяет культуру экспериментирования в data science команде. Формирует стандарты эксперимент-дизайна, review-процесс для экспериментов. Координирует развитие experimentation platform и интеграцию с ML-пайплайнами.

Формирует стратегию экспериментирования на уровне организации. Определяет investments в experimentation infrastructure. Публикует методологические исследования по дизайну экспериментов в ML-контексте.