Airflow 1.10.12 新增功能
Airflow 1.10.12 发布于 2020-08-25
Airflow 1.10.12 发布于 2020-08-25
最近在调研 Ingress Contoller, 其中有一些问题一直没能解决, 遂决定翻翻源码并记录下.
Alo7 分享. 解释规范中的内容, 以为为什么要这样做.(写的总比说的少)
Alo7 数仓分享. Airflow 作为组内的主要调度工具, 整理了状态变化方便源码阅读. (全文基于Airflow 1.10.3 所写)
Alo7数仓内部分享, 以下如有任何不妥之处, 恳请告知.
问题原先公司的Airflow是基于LocalExecutor的一个单机应用, 随着业务发展任务数不断增加, 导致单机性能不断进行升级. 但是数仓任务的特殊性(集中于凌晨开始运行), 白天机器有大量资源被浪费. 基于此将Airflow以容器化的方...