宜信正式开源其AIOps落地三大利器
jopen 7年前
<p>宜信技术研发中心在业内技术大会上宣布正式开源支撑AIOps 的三大利器：UAVStack、Wormhole、DBus。</p> <p>不断开放开源技术，推动技术共同成长是宜信技术生态的目标之一。包括在今天正式开源的UAVStack，Wormhole，DBus等在内，已经开放七个系列的软件技术。更多开源参见技术学院官网 <a href="/misc/goto?guid=4959010695829959798" rel="nofollow,noindex">http://college.creditease.cn</a> 。</p> <p style="text-align:center"><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/8930c0972ca081800f7cdb7c7a9e65f6.jpg" /></p> <p>宜信开源软件系列</p> <p>UAVStack是智能化服务技术栈，是研发运维一体化的解决方案，开源系列包括全维监控（UAV.Monitor）,应用性能管理（UAV.APM）,服务治理（UAV.ServiceGovern）,微服务计算（UAV.MSCP）。其中，UAV.Monitor+APM为智能运维采集全维监控数据，是一站式的全维监控+应用运维解决方案。</p> <p><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/6595af8570aed80a82efb27eeb760b88.png" /></p> <ul> <li>官方网站： <a href="/misc/goto?guid=4959010695945475091" rel="nofollow,noindex">https://uavorg.github.io/main</a></li> <li>开源地址： <a href="/misc/goto?guid=4959010696075275529" rel="nofollow,noindex">https://github.com/uavorg</a></li> </ul> <p>DBus专注于数据的收集及实时数据流计算，通过简单灵活的配置，以无侵入的方式对源端数据进行采集，经过转换处理后成为统一JSON的数据格式（UMS），提供给不同数据使用方订阅和消费。开源网址： <a href="/misc/goto?guid=4959010696189143179" rel="nofollow,noindex">https://github.com/BriData</a></p> <p>此外，DBus还提供以下特性：</p> <p style="text-align:center"><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/b4b8144c47a39c845463fc48aa6dd03f.png" /></p> <p>DBus技术架构</p> <ul> <li>多种数据源支持，海量数据实时传输</li> <li>感知源端schema变更，数据实时脱敏</li> <li>初始加载和独立加载</li> <li>统一标准化消息传输协议，可靠多路消息订阅分发</li> <li>支持分表数据汇集</li> </ul> <p>Wormhole是一个SPAAS（Stream Processing as a Service）平台解决方案，面向大数据项目的开发，运维以及管理人员，致力于简化和统一开发管理流程。运维是典型的大数据应用领域，是机器学习的有力支撑，尤其是针对流式实时和流式准实时数据处理场景。</p> <p>开源网址： <a href="/misc/goto?guid=4959010696305240074" rel="nofollow,noindex">https://github.com/edp963/wormhole</a> 。</p> <p style="text-align:center"><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/001a983b74e98d8a48be340a6ae40a3a.png" /></p> <p>Wormhole技术架构</p> <p><strong>智能运维的自研之路</strong></p> <p>Gartner定义了基于算法的运维（ITOA），算法即运维，将算法运用运维领域。实际上我们在自动化运维体系中已经将算法落地到DevOps工具链中，日益兴盛的人工智能技术，让我们意识到赋予系统“智能化”是大趋势。我们对AIOps的解读是：AIOps正是将人工智能技术应用到IT运维领域，帮助变革运维模式，提升效率和创造现实价值的“工程化”过程，也是DevOps的进化方向。它会成为：</p> <p><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/3710c6c5c18d7fca01c204d71b1b7593.png" /></p> <ul> <li>运维管理的成员：协调人与系统，不是被动的工具，而是直接参与运维的“助手”</li> <li>业务运营支持的成员：协调人与业务，参与运营的“助手”</li> <li>业务与系统的“全知”者：协调业务与系统，管理系统，支撑业务</li> </ul> <p><strong>落地方案</strong></p> <p style="text-align:center"><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/f6a6bc6d81dc0445de2e0414a40688d5.png" /></p> <p>宜信AIOps平台架构</p> <p>宜信的AIOps平台是以任务机器人为中心，利用大数据平台实现机器学习和统计模型的处理，与DevOps工具链深度集成。可从几个层面来解读这个架构：</p> <p>DevOps工具链为任务机器人HIT的知识图谱构建提供了高质量的原始数据</p> <p>任务机器人HIT的核心能力来源于特定领域的知识图谱和计算模型。目前我们的训练领域包括系统API模型，个性化交流上下文，服务拓扑，执行计划，问题诊断等。知识图谱是实现认知关联的核心技术，而如何自动化构建知识图谱是关键的关键，成熟的DevOps工具链可以为自动化构建知识图谱提供高质量的原始数据。</p> <p>全维监控UAV为任务机器人HIT的模型训练提供了全面维度的原始数据</p> <p>在智能运维体系中，UAV采集的全维度监控数据是机器学习的原始数据来源。全维度监控数据覆盖基础设施性能，应用/服务性能，日志，调用链，线程栈，客户端体验，业务指标，应用画像，服务图谱。</p> <p style="text-align:center"><img alt="宜信正式开源其AIOps落地三大利器" src="https://simg.open-open.com/show/83af48ea93a67e199bcf8251962ec6e6.png" /></p> <p>数据总线DBus持续的，自适应的将全维监控数据导入大数据存储</p> <p>全维度的监控数据还不能直接使用这些数据来做机器学习。其原因是由于它们的存储和查询需求是根据实时监控领域的需要来定义的，因此它们有以下特点：</p> <ul> <li>存储在不同的存储源。例如服务画像数据存储在MongoDB，应用日志和调用链存储在Elastic Search中，应用性能指标和基础性能指标数据存在RocketMQ中等；</li> <li>有不同的schema定义。例如BIN日志格式，JSON格式，Plain日志格式,性能指标的schema与调用链的schema是不同的。</li> <li>不同的变更策略。例如服务画像数据是根据应用升级不定期变化的，日志数据也可能是这样。</li> </ul> <p>DBus正是解决这三个问题的良方。</p> <ul> <li>能够支持多种数据源，只需通过配置就可实现无侵入对接。</li> <li>能够将不同的格式转换成标准格式（UMS格式）。</li> <li>有自动适应的能力，匹配这些类型和格式的变化。</li> </ul> <p>大数据处理Wormhole针对目标场景，基于全维监控数据进行机器学习和统计模型处理</p> <p>Wormhole是任务机器人的计算模型生产者。Wormhole基于Spark，既可接入Kafka在线实效数据进行流式处理，也可接入HDFS离线历史数据进行批量处理。Wormhole不光支持落地多Sink，还支持流上处理，还可以在落HBase之前流上做一些数据清洗扩展等操作。目前我们的任务机器人HIT的训练主题“问题诊断”的计算模型都是由Wormhole来实施训练，实际生产过程中会使用机器学习和某些经典统计模型，主要的有：</p> <ul> <li>时序数据的趋势预测模型：可以根据过去若干天来预测未来一段时间某重要指标的趋势走向。</li> <li>指标的关联组合模型：识别出哪些指标组合是判断异常的充分条件。</li> <li>组合指标的异常点识别模型：组合指标在时序上异常点的自动判别。</li> <li>问题节点的根源分析模型：跨多节点的异常行为关联性识别模型。</li> </ul> <p><strong>任务机器人HIT通过API模型实施执行计划</strong></p> <p>任务机器人与普通系统的另一个重要区别是：普通系统可以看成是通过编码来“机械”的完成某种事，就系统本身而言，它并不理解“我在做什么”。而任务机器人是以目标驱动的，它根据API模型以及其他认知模型（知识图谱）来生成执行计划，并使用API模型来实施执行计划，执行计划的本质是对DevOps系统API的调用。这样的应用场景是很多的，例如让任务机器人去做系统上线，线上巡检，协助问题处理，甚至支持运营协作等。</p> <p>来自： http://www.iteye.com/news/32649</p>