«Apache Spark 4.0.0: Главные изменения, которые стоит знать»
Что изменилось в первой мажорной версии за последние годы и как это повлияет на наши проекты.
Data Engineer с 10+ лет опыта в распределённых системах.
Специализация: Apache Spark, организация ETL-процессов.
Автор некоторых open-source проектов.
В настоящее время работаю над оптимизацией потоков данных в Одноклассниках.
«Spark в Airflow: сенсор вместо оператора»
Reschedule вместо retry: как заставить Spark-задачи подождать.
«Блог: Перезагрузка»
Новый дизайн, удобная навигация и прочие полезности.