Airflow 新增功能,更新至2.1.0

原则 按Minor变化来记录 仅记录个人感兴趣的更新内容 一般仅记录平台通用功能更新(和特定系统绑定的功能暂无测试) Airflow 2.2.0 -> 2.2.1, 2021-10-29 AIP-39:...

Kubernete Ingress Controller 如何实现配置动态发现(以 traefik 为例的源码分析)

最近在调研 Ingress Contoller, 其中有一些问题一直没能解决, 遂决定翻翻源码并记录下.#1. 提出问题:一个请求到达 pod 的路径可以简单理解为:其中默认情况下: kube-proxy 会将收到的请求随机分配到一个健康的 ...

MySQL 为什么要这样优化

Alo7 分享. 解释规范中的内容, 以为为什么要这样做.(写的总比说的少)索引数据结构(放到最后防止开篇劝退.)SQL 调优为什么要有索引：以 JOIN Algorithms 为例假设存在表： School(id int, name cha...

Parse Airflow -- Task State Change

Alo7 数仓分享. Airflow 作为组内的主要调度工具, 整理了状态变化方便源码阅读. (全文基于Airflow 1.10.3 所写)简单地说如上图在正常的Scheduler流程中一共有 11 个状态组成(Airflow 中一共有 12...

Hello Redis

Alo7数仓内部分享, 以下如有任何不妥之处, 恳请告知.Redis 介绍Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件. 它支持多种类型的数据结构，如 字符串（strings）， 散列（...

Airflow On K8S

问题原先公司的Airflow是基于LocalExecutor的一个单机应用, 随着业务发展任务数不断增加, 导致单机性能不断进行升级. 但是数仓任务的特殊性(集中于凌晨开始运行), 白天机器有大量资源被浪费. 基于此将Airflow以容器化的方...