Pandas / Polars

Понимает основы Pandas для аналитических воркфлоу: загрузка данных из множества источников, разведочный анализ данных через describe/info/value_counts и базовая визуализация данных с интеграцией matplotlib. Очищает датасеты обработкой пропущенных значений и конвертацией типов. Следует командным стандартам кодирования для Jupyter notebooks.

Обрабатывает данные через pandas: read_csv/read_parquet, фильтрация, группировка, merge. Понимает DataFrame API. Работает с типами данных и missing values (fillna, dropna).

Понимает основы Pandas для data science воркфлоу: извлечение фич из сырых датасетов, статистический анализ через groupby/agg и подготовка данных для пайплайнов scikit-learn. Работает с категориальным кодированием, нормализацией и разбиением train/test. Следует командным практикам воспроизводимой обработки данных.

Понимает основы Pandas для подготовки данных LLM: загрузка и предобработка текстовых датасетов, анализ статистик тренировочного корпуса и управление парами prompt/completion. Очищает и форматирует текстовые данные для датасетов файн-тюнинга. Следует командным практикам версионирования данных и проверок качества.

Эффективно использует pandas для ML: загрузка данных, EDA, feature engineering. Знает основные операции: groupby, merge, pivot. Понимает dtypes для оптимизации памяти.

Знает основы pandas для работы с текстовыми данными: загрузка корпусов, фильтрация, группировка, базовый text preprocessing. Использует str accessor для операций над текстовыми столбцами.

Реализует эффективные аналитические пайплайны с Pandas: стратегии join-ов множества таблиц, оконные функции с rolling/expanding и ресэмплинг временных рядов для разных гранулярностей. Использует Polars для performance-critical трансформаций на больших датасетах. Создаёт параметризированные пайплайны анализа с правильной обработкой ошибок и валидацией данных.

Оптимизирует обработку через pandas/Polars: chunked reading для больших файлов, category dtype для memory, vectorized operations вместо iterrows. Мигрирует на Polars для performance-critical задач.

Реализует эффективные ML пайплайны данных с Pandas/Polars: feature engineering со сложными трансформациями, автоматический отбор фич на основе статистических тестов и эффективные стратегии сэмплирования данных. Использует Polars для высокопроизводительных вычислений фич на больших датасетах. Создаёт воспроизводимые фич-пайплайны с правильным версионированием.

Реализует пайплайны обработки данных LLM с Pandas/Polars: очистка и дедупликация текстового корпуса в масштабе, вычисление метрик качества тренировочных данных и управление датасетами оценки. Использует Polars для высокопроизводительной предобработки текста на больших корпусах. Создаёт воспроизводимые воркфлоу подготовки данных для файн-тюнинга и оценки.

Оптимизирует pandas-код для ML: vectorized operations, category dtype, chunked reading. Использует Polars для ускорения обработки. Пишет эффективные feature engineering pipelines.

Самостоятельно обрабатывает большие текстовые датасеты через pandas/Polars. Оптимизирует memory usage для корпусов, применяет vectorized string operations, интегрирует с NLP-библиотеками.

Проектирует архитектуру обработки данных для аналитических платформ: распределённые пайплайны данных, интегрирующие Pandas/Polars со Spark/Dask, автоматический мониторинг качества данных и подготовка данных для self-service аналитики. Реализует data governance с эволюцией схем и обратной совместимостью. Создаёт организационные стандарты трансформации данных и переиспользуемую библиотеку. Менторит команду по оптимизации производительности.

Проектирует data processing: Polars для single-node high-performance, pandas для quick prototyping, PySpark для distributed. Выбирает инструмент по объёму и паттерну обработки. Оптимизирует memory management.

Проектирует архитектуру данных ML с Pandas/Polars: интеграция feature store, автоматизированные пайплайны валидации фич и эффективная загрузка данных для распределённой тренировки. Реализует фреймворки качества данных для целостности тренировочных данных. Создаёт организационные библиотеки и стандарты feature engineering. Менторит команду по масштабируемым паттернам обработки данных для ML.

Проектирует архитектуру данных LLM с Pandas/Polars: инфраструктура пайплайнов тренировочных данных, управление бенчмарками оценки и версионирование датасетов для воспроизводимости моделей. Реализует фреймворки качества данных для детекции контаминации, bias и distribution shift. Создаёт организационные стандарты подготовки данных для файн-тюнинга LLM. Менторит команду по масштабируемой обработке текста.

Проектирует data processing pipelines для ML. Выбирает pandas vs Polars vs Spark для разных масштабов. Оптимизирует memory usage для больших датасетов. Пишет переиспользуемые feature transformers.

Проектирует эффективные data pipeline для NLP на pandas/Polars. Оптимизирует обработку больших текстовых корпусов, применяет partitioning, chunked processing для out-of-memory datasets.

Определяет стратегию data engineering для аналитических команд. Формирует data-платформу: выбор инструментов и стандарты для трансформации данных, оркестрация пайплайнов и governance качества. Координирует аналитические команды по общим data-ассетам и лучшим практикам. Продвигает внедрение современных фреймворков обработки данных (Polars, DuckDB) для аналитических нагрузок.

Определяет стандарты data processing: когда pandas/Polars vs Spark, coding guidelines, testing patterns. Внедряет benchmarking для выбора инструментов. Обучает команду Polars adoption.

Определяет стратегию data engineering для ML-команд. Формирует ML data-платформу: архитектура feature store, стандарты пайплайнов данных и governance тренировочных данных. Координирует ML-команды по общим библиотекам feature engineering и практикам качества данных. Продвигает внедрение современных инструментов обработки данных (Polars, Ray) для ML-нагрузок.

Определяет data engineering стратегию. Формирует data platform. Координирует data teams. Оптимизирует data mesh/data fabric подходы.

Определяет стандарты data processing для ML-команды. Создаёт feature engineering framework. Обучает команду эффективной работе с данными.

Определяет стандарты работы с данными для NLP-команды. Формирует best practices использования pandas/Polars, определяет data processing patterns и обучает команду оптимизации.

Определяет организационную стратегию данных: архитектура enterprise data-платформы, фреймворк data governance и видение демократизации данных. Оценивает новые data-технологии и фреймворки обработки. Продвигает data-driven культуру и data literacy в организации. Формирует индустриальные практики через thought leadership в data engineering.

Определяет стратегию local data processing: DuckDB для ad-hoc analytics, Polars для batch ETL, Arrow для zero-copy data exchange. Проектирует unified API для разных backends.

Определяет организационную стратегию данных для ML/AI: enterprise ML data-платформа, архитектура feature store и data governance для ответственного AI. Оценивает новые data-технологии для ML-нагрузок в масштабе. Продвигает data engineering excellence между data science командами. Формирует организационную data-культуру и практики для AI-ready инфраструктуры данных.

Определяет data стратегию организации. Проектирует enterprise data platform. Формирует data governance framework.

Определяет data processing strategy для ML-платформы. Оценивает novel data processing frameworks. Проектирует unified data API для ML.

Формирует enterprise-стратегию обработки текстовых данных на уровне организации. Определяет стандарты data processing, выбор инструментов и архитектуру data pipeline для NLP-платформы.