开源大数据工具：Luigi

jopen 10年前

Luigi 是一个 Python 模块，可以帮你构建复杂的批量作业管道。它可以处理解决依赖关系，工作流管理，可视化，处理故障，命令行的整合，等等。Luigi 的目的是要解决所有通常与长时间运行的批处理过程相关的管道。长时间运行的东西像Hadoop作业，dumping数据到/从数据库，运行机器学习算法，或其他任何东西。