ClickHouse

Выполняет аналитические SELECT-запросы в ClickHouse с фильтрацией, сортировкой и базовыми агрегациями. Понимает отличия ClickHouse от строковых СУБД для аналитических задач. Выполняет простые когортные запросы с использованием функций дат и GROUP BY для анализа поведения пользователей во времени.

Пишет аналитические запросы в ClickHouse: SELECT с GROUP BY, ORDER BY, LIMIT. Понимает MergeTree engine и партиционирование. Вставляет данные через INSERT и использует tabular форматы.

Запрашивает данные из ClickHouse через Python (clickhouse-driver, clickhouse-connect) для извлечения датасетов для ML-экспериментов. Преобразует результаты запросов в pandas DataFrame для разведочного анализа данных. Пишет базовые запросы выборки с использованием SAMPLE или ORDER BY rand() для создания репрезентативных обучающих подмножеств из больших таблиц.

Выполняет аналитические запросы в ClickHouse: SELECT с GROUP BY, фильтрация по datetime, базовые агрегации. Понимает колоночное хранение и MergeTree engine. Загружает данные из CSV и через INSERT.

Пишет продвинутые аналитические запросы с оконными функциями (ROW_NUMBER, LAG, LEAD, накопительные итоги) для анализа трендов и ранжирования. Применяет приближённые алгоритмы ClickHouse (uniqHLL12, quantileTDigest) для быстрых оценок на больших наборах данных. Строит когортные анализы удержания в масштабе, используя массивы и функции высшего порядка.

Проектирует таблицы ClickHouse для аналитических pipeline-ов: выбор engine (MergeTree, AggregatingMergeTree, ReplacingMergeTree), partitioning by date, materialized views для pre-aggregation. Оптимизирует вставку через batch inserts.

Строит пайплайны извлечения признаков в ClickHouse с использованием агрегатных функций, оконных вычислений и операций с массивами для генерации ML-признаков в масштабе. Реализует эффективные стратегии стратифицированной выборки для подготовки обучающих данных на таблицах с миллиардами строк. Интегрирует ClickHouse с паттернами feature store, материализуя вычисленные признаки для повторного использования в нескольких ML-моделях.

Администрирует ClickHouse: настройка MergeTree partitioning, TTL для retention, materialized views для агрегации. Оптимизирует запросы через EXPLAIN PIPELINE. Настраивает мониторинг system-таблиц.

Проектирует оптимальные схемы таблиц и стратегии запросов для сложных аналитических нагрузок в ClickHouse. Владеет продвинутыми оконными функциями с пользовательскими фреймами для сложного анализа временных рядов. Реализует эффективные пайплайны когортного анализа на больших масштабах, используя материализованные представления, проекции и bitmap-функции для таблиц с миллиардами строк.

Проектирует ClickHouse-архитектуру для data warehouse: distributed таблицы, sharding strategy, dictionary tables для joins. Оптимизирует запросы: projection, skip indexes, query pipeline tuning. Настраивает Kafka engine для streaming ingestion.

Проектирует сквозные ML-пайплайны признаков на ClickHouse, оптимизируя извлечение данных для обучения и инференса. Использует встроенные ML-функции и статистические агрегаты ClickHouse для вычисления признаков внутри базы данных на петабайтных масштабах. Проектирует эффективные паттерны доступа к данным, минимизирующие потребление памяти при подаче больших датасетов в распределённые фреймворки обучения через чанковую итерацию.

Проектирует ClickHouse-кластер: ReplicatedMergeTree, distributed таблицы, шардирование. Оптимизирует schema design для DBA-аналитики: query logs, slow query analysis, performance trends. Настраивает backup и disaster recovery.

Устанавливает стандарты и лучшие практики запросов ClickHouse для аналитической команды, включая соглашения об именовании и рекомендации по производительности. Ревьюит сложные аналитические запросы и менторит аналитиков по оптимизации оконных функций и выбору приближённых алгоритмов. Координирует решения по моделированию данных, балансируя гибкость запросов с эффективностью хранения.

Определяет ClickHouse-стандарты: schema design guidelines, naming conventions, monitoring через system tables. Выбирает ClickHouse vs другие OLAP (Druid, Pinot, DuckDB) по сценарию использования.

Определяет стратегию работы с данными на уровне продукта. Формирует стандарты ClickHouse. Проводит review схем данных и стратегий масштабирования.

Определяет ClickHouse-стандарты: naming conventions, partitioning strategy, retention policies. Координирует использование ClickHouse для централизованного хранения database metrics, audit logs, query analytics.

Определяет архитектуру аналитических данных организации на ClickHouse, интегрируя его в общую платформу данных наряду с потоковыми и пакетными системами. Оценивает возможности ClickHouse относительно меняющихся аналитических потребностей и продвигает внедрение новых функций (lightweight deletes, обновляемые материализованные представления). Формирует стратегию найма и обучения с фокусом на экспертизу аналитики в ClickHouse.

Проектирует OLAP-стратегию платформы: ClickHouse cluster topology, cross-DC replication, capacity planning. Определяет когда ClickHouse vs Snowflake/BigQuery. Планирует data serving layer архитектуру.

Определяет стратегическую роль ClickHouse в ML-платформе, проектируя слои вычисления и сервинга признаков для поддержки real-time и пакетного инференса. Обеспечивает кросс-командное согласование стандартов feature engineering между дата-сайентистами и дата-инженерами с использованием ClickHouse как вычислительного ядра. Оценивает новые возможности ClickHouse для ML-нагрузок и формирует инвестиционную стратегию организации в аналитическую инфраструктуру.

Формирует стратегию аналитической платформы: ClickHouse vs TimescaleDB vs InfluxDB для database observability. Проектирует архитектуру real-time analytics для мониторинга всего fleet-а баз данных организации.