1
Airflow是一个以编程方式编写，计划和监视数据管道的平台。使用Airflow将工作流编写为任务的有向无环图（DAG）。Airflow计划程序会在遵循指定的依存关系的同时在一组工作线程上执行任务。丰富的命令行实用程序使在DAG上执行复杂的手术变得轻而易举。丰富的用户界面可以轻松地可视化生产中运行的管道，监视进度并在需要时解决问题。这允许编写可动态实例化管道的代码。可扩展：轻松定义您自己的运算符，执行程序并扩展库，使其适合于您的环境的抽象级别。优雅：气流管道简洁明了。使用强大的Jinja模板引擎，在Airflow的核心中建立脚本参数化。可扩展：气流具有模块化架构，并使用消息队列进行交谈以协调任意数量的工作人员。气流已准备好扩展到无穷大。
apache-airflow
