PyTorch

Строит базовые CNN в PyTorch для классификации изображений с предобученными моделями torchvision (ResNet, VGG). Пишет Dataset и DataLoader для изображений. Применяет torchvision.transforms для аугментации: crop, flip, color jitter. Понимает основы цикла обучения.

Строит простые нейронные сети в PyTorch для табличных данных. Использует nn.Module для определения моделей. Понимает тензорные операции, autograd и базовый цикл обучения. Экспериментирует с функциями потерь и оптимизаторами (Adam, SGD). Отслеживает метрики экспериментов.

Понимает тензорные операции и autograd PyTorch для трансформерных моделей. Использует HuggingFace Transformers с бэкендом PyTorch для инференса. Загружает предобученные LLM, выполняет токенизацию и генерацию текста. Понимает основы механизма внимания в PyTorch.

Реализует детекцию (YOLO, SSD) и сегментацию (U-Net, Mask R-CNN) в PyTorch. Дообучает предобученные модели с кастомными головами и заморозкой слоёв. Строит пайплайны аугментации с Albumentations. Обрабатывает видео с эффективным батчированием и темпоральными моделями.

Проектирует кастомные архитектуры с nn.Module для сложных экспериментов. Использует PyTorch Lightning для структурированного обучения с callbacks и early stopping. Подбирает гиперпараметры через Optuna. Реализует кастомные функции потерь и LR-планировщики. Профилирует узкие места обучения.

Дообучает трансформеры с PyTorch используя PEFT: LoRA, QLoRA, prefix tuning. Реализует кастомные циклы обучения для causal LM и seq2seq задач. Работает с токенизаторами, масками внимания и стратегиями паддинга. Интегрирует HuggingFace Trainer с DeepSpeed для эффективного дообучения.

Проектирует end-to-end CV-системы в PyTorch: multi-task learning, knowledge distillation, кастомные loss для детекции/сегментации. Оптимизирует инференс с TorchScript, квантизацией и прунингом. Строит пайплайны видео реального времени с эффективным управлением GPU-памятью.

Архитектурирует сложные пайплайны обучения PyTorch с распределённым параллелизмом данных. Реализует кастомные autograd-функции для исследований. Ведёт решения по архитектуре: механизмы внимания, residual connections, нормализация. Менторит команду по отладке и профилированию с torch.profiler.

Архитектурирует инфраструктуру обучения LLM в PyTorch. Реализует кастомные механизмы внимания, позиционные кодировки и model parallelism. Оптимизирует память с gradient checkpointing, mixed precision и Flash Attention. Проектирует фреймворки оценки качества LM. Менторит команду по трансформерам.

Определяет стратегию PyTorch на уровне команды/продукта. Формирует стандарты и best practices. Проводит review.

Определяет стандарты PyTorch для DS-команды: структура экспериментов, требования воспроизводимости, версионирование моделей. Оценивает инструменты экосистемы (Lightning, TorchRec) для внедрения. Ревьюит архитектурные решения в пайплайнах обучения. Драйвит обмен знаниями по продвинутым паттернам.

Определяет стандарты обучения LLM на PyTorch: выбор PEFT-стратегий, конфигурации распределённого обучения, бенчмарки оценки. Оценивает инструменты (vLLM, TensorRT-LLM) для продакшн-инференса. Ревьюит архитектуры дообучения. Устанавливает best practices для воспроизводимых LLM-экспериментов.

Определяет стратегию PyTorch на уровне организации. Формирует enterprise-подходы. Менторит leads и architects.

Формирует стратегию PyTorch на уровне организации: управление версиями, миграция с TensorFlow, политики GPU-кластеров. Драйвит внедрение torch.compile и torch.export между командами. Определяет кросс-командные стандарты инфраструктуры обучения и деплоя. Влияет на экосистему через контрибьюции.

Формирует платформу обучения LLM на PyTorch на уровне организации: распределение GPU между командами, стандарты model parallelism, инвестиции в pre-training vs fine-tuning. Драйвит внедрение компилятора PyTorch 2.x для LLM-нагрузок. Определяет стандарты артефактов моделей и оптимизации затрат.