Apache Spark

Понимает основы Apache Spark для дата-инженерии: API RDD/DataFrame, базовые трансформации и действия, чтение/запись Parquet/CSV/JSON. Следует командным паттернам для структуры PySpark-задач, конфигурации SparkSession и выделения ресурсов кластера.

Понимает основы Apache Spark для data science: Spark DataFrames для крупномасштабного анализа данных, базовые Spark SQL запросы и MLlib для распределённого обучения моделей. Следует командным паттернам для notebook-based Spark workflow'ов и feature engineering в масштабе.

Понимает основы Apache Spark для ML-инженерии: пайплайны Spark MLlib, трансформеры признаков и распределённое обучение/инференс моделей. Следует командным паттернам для PySpark ML workflow'ов, сериализации моделей и интеграции с MLflow tracking.

Самостоятельно реализует Spark-пайплайны данных: оптимизирует shuffle-операции и стратегии партиционирования, реализует Structured Streaming для real-time ETL, управляет Delta Lake таблицами с ACID-транзакциями. Тюнит конфигурации Spark для памяти, параллелизма и стоимостной эффективности.

Самостоятельно использует Spark для крупномасштабного анализа: пишет оптимизированный Spark SQL для сложных агрегаций, реализует распределённый feature engineering с window functions и использует MLlib для подбора гиперпараметров в масштабе. Управляет выделением ресурсов Spark для интерактивной аналитики.

Использует PySpark для масштабной feature engineering. Оптимизирует Spark jobs (partitioning, caching, broadcast joins). Использует Spark ML для distributed model training.

Проектирует архитектуру платформы данных на Spark: multi-tenant управление кластерами, cost-optimized планирование нагрузок с YARN/Kubernetes и lakehouse-архитектура с Delta Lake/Iceberg. Реализует фреймворки качества данных, CDC-пайплайны и мониторинг производительности Spark-приложений.

Проектирует аналитические фреймворки на Spark: кастомные MLlib-трансформеры для доменных признаков, распределённые пайплайны экспериментов и интеграция Spark с GPU-ускоренным обучением (Rapids). Оптимизирует end-to-end ML workflow'ы от подготовки данных до serving моделей в петабайтном масштабе.

Проектирует Spark-based ML pipelines для production. Оптимизирует Spark для ML workloads: memory tuning, shuffle optimization. Интегрирует Spark с ML platform (MLflow, feature store).

Определяет Spark-стандарты: coding guidelines, job submission patterns, resource allocation policies. Выбирает между PySpark и Spark SQL по сценарию. Внедряет unit-тестирование Spark jobs через chispa.

Определяет data engineering стратегию. Формирует data platform. Координирует data teams. Оптимизирует data mesh/data fabric подходы.

Определяет Spark strategy для ML data processing. Оценивает Spark vs alternatives (Dask, Ray) для ML workloads. Проектирует distributed computing architecture для ML.

Проектирует Spark-стратегию платформы: EMR vs Databricks vs self-hosted, cluster sizing, dynamic allocation. Определяет когда Spark vs DuckDB vs Polars. Планирует миграцию на Spark 4.0.

Определяет data стратегию организации. Проектирует enterprise data platform. Формирует data governance framework.

Определяет distributed processing strategy для enterprise ML. Проектирует data processing layer для ML platform. Оценивает novel distributed frameworks.