thorns_project 分布式异步队列系统
jopen
10年前
thorns_project 分布式异步队列系统，wydomain分析目标系统信息后，返回给thorns控制台进行任务调度下发至redis队列系统，worker客户端从redis队列系统获取任务给wyportmap执行，将结果存入后台数据库。
运行流程
- 启动redis内存服务器，作为队列存储数据库使用
- 配置芹菜(celery)运行环境，并连接redis队列内存，读取执行任务，并返回结果存储到后端MySQL数据库
- 配置任务控制台花花(flower)，并连接redis队列内存，管理所有worker客户端与执行的任务队列
- 通过run.py脚本调用celery向队列压入任务
- 通过flower的http api脚本调用api向队列压入任务
- 任务执行的结果自动存入后端数据库
运行环境
- CentOS、Kali Linux、Ubuntu、Debian
- Python 2.7.x
- Redis
- MysQL
- Celery
- Tornado
- Supervisord