Stream Processing

Понимает основы топологий Kafka Streams: sources, processors и sinks. Читает существующий код потоковой обработки и следует установленным паттернам для stateless-преобразований.

Понимает основы Kafka Streams, включая двойственность KStream/KTable. Пишет простые потоковые consumers и producers для этапов загрузки данных в pipeline.

Реализует stateful-обработку потоков с Kafka Streams, используя оконные агрегации и joins на Scala. Настраивает хранилища состояний RocksDB для пропускной способности и управляет changelog-топиками.

Строит ETL-пайплайны реального времени с Kafka Streams для трансформации и обогащения данных. Реализует семантику exactly-once и мониторит consumer lag на этапах обработки.

Проектирует распределённые архитектуры потоковой обработки с Kafka Streams для микросервисов на Scala. Реализует кастомные SerDes, interactive queries для доступа к state store и стратегии параллелизма на уровне партиций.

Проектирует сквозные архитектуры потоковых данных с Kafka Streams для высоконагруженных pipeline. Оркестрирует сложную обработку событий, реализует стратегии эволюции схем и оптимизирует обработку backpressure.

Определяет стандарты потоковой обработки данных в Scala-команде: выбор между Kafka Streams, FS2-Kafka и Akka Streams для конкретных use case-ов. Ревьюит топологии стрим-процессоров, внедряет паттерны exactly-once обработки, настраивает мониторинг consumer lag и stream processing latency.

Определяет streaming-стандарты: Kafka Streams vs Flink, windowing policies, state management. Внедряет мониторинг consumer lag и processing latency. Выбирает between exactly-once и at-least-once.

Формирует стратегию потоковой обработки данных для Scala-платформы: архитектура real-time data pipeline через Kafka Streams/Flink, стандарты state management. Принимает решения по масштабированию stream processing кластеров, определяет SLA для end-to-end latency и интеграцию с Data Mesh подходом.

Проектирует streaming-архитектуру data-платформы: Kafka Streams для lightweight processing, Flink для complex CEP, hybrid batch+streaming. Определяет lambda vs kappa architecture по сценарию.