58的技术演进之路

   <p>2015年到2016年，58集团在整个业务和战略层面面临了几项大的挑战：一是各平台间整合后如何发挥协同优势，如何搭建适应各个业务线发展的大平台+垂直的业务模型；二是经过十年的高速发展，如何在产品、技术体系和架构仍存在诸多问题的情况下让业务跑的更快；三是怎样从此前的分类信息服务过渡到垂直化业务模式。</p>    <p>基于这样的大背景，外界最关心的无外乎两点，即：</p>    <ul>     <li>在业务整合的基础上，58的传统技术架构和体系该进行哪些调整？</li>     <li>在从平台化到平台+垂直的演进过程中，技术架构该做哪些升级和再造？</li>    </ul>    <p>ArchSummit2016北京——58集团架构与大数据应用创新专场上，江军平、孙玄、闫杰、赵健博、沈剑5人分别对58核心技术平台和技术架构的设计思路进行了分享、介绍。例如千亿级存储平台的打造就经历了从MySQL+Cache到WTable再到WList的多轮演进；为适应差异化业务的需求和终端使用度的转变，58又是如何搭建流式特征挖掘平台、柔性广告服务框架来应对的。</p>    <p>为更全面的输出58集团的技术演进历程，向来低调的邢宏宇也在会后接受了InfoQ的专访，阐述了这一年来，他对技术决策的一些思考和对58技术演进历程的一些感悟。正所谓“与其战胜敌人一万次，不如战胜自己一次”，这条路上，邢宏宇和58都在做着一道战胜自己的决策。同时，58特殊的业务板块组成机制也决定着，58技术团队在架构和体系搭建上必须“因地制宜”，走出一条自己的特色。因此，“孤独”与“伟大”相伴，“磨砺”与“美好”共眠。</p>    <p><strong>58技术发展到哪、未来要去哪</strong></p>    <p>对于以上两点，58技术团队在解决方案上主要经历了两个阶段的思考：</p>    <p>一、分析58现有的技术架构，判断它是否能适应目前的业务诉求。随着平台+垂直的战略方向落地、合并后集团研发人员的快速扩增，58技术决策不仅仅是做浅层次的局部修补，而是要完成对整个技术架构的 <strong>升级和再造</strong> ，58内部将其称之为 <strong>技术3.0阶段</strong> 。技术3.0将“面向未来的架构设计、支撑平台化及垂直化未来演进、更好的满足业务闭环需求”作为理念，以实现技术对业务的核心支持。</p>    <p>二、在架构模型做清晰的 <strong>逻辑分层和业务的核心分层</strong> ，将其中可以成为基础架构和基础核心模块的部分提炼出来。这个过程中形成了58现阶段较为关键的技术核心系统，包括存储平台、架构平台、核心服务、大数据平台等。例如，在数据量、请求量爆发式增长的业务环境下，为解决传统MySQL存储在扩容、读写性能、扩展性和可用性等方面所暴露的问题，58自建了一套分布式存储平台WTable。并且为解决在筛选、排序操作及开发效率层面所存在的痛点，又完成了从WTable到WList升级。</p>    <p>对架构和核心模块分层的过程，也让58技术团队厘清了此前业务改造升级过程中，缺乏重视或容易被忽略的几点重要理念：一是如何做 <strong>简单化设计</strong> ，即在理解和分析各业务线基础上，将其抽象变为更为重要的核心系统。二是 <strong>全面去做服务化</strong> 。过去58的技术核心模型多是基于库和框架间的共享，互相之间过度依赖耦合。而服务化就是让58内部基于服务的核心能力能完成自我的升级迭代，减少多个模型间的干扰和影响。三是 <strong>可管理</strong> 。随着参数和核心数据的可视化实现、业务演进的深化，58会越来越重视对架构演进过程和新系统平台的可管理。</p>    <p>同时，邢宏宇认为 <strong>任何技术决策都不能孤立的站在技术的角度来制定或思考</strong> ，技术方向和技术战略方向是与业务模型和未来的演进、组织能力和组织变化息息相关，因此，技术演进必须要在遵循客观逻辑的基础上“因地制宜”。</p>    <p>在邢宏宇看来，58技术真正的“因地制宜”包括三方面。除了设计面向未来的框架，还包括在兼容原有模式的原则下实现对架构系统的平滑升级和迭代升级，不断替代原有系统。其次，在兼并各业务线特征时，58倡导技术上抓大放小、求同存异发展步调，面对不同业务板块上技术成熟的快与慢，邢宏宇认为应该在逐渐改造过程中接纳 <strong>暂时的</strong> 不完美。</p>    <p><strong>演进的技术如何形成高壁垒</strong></p>    <p>面向未来的设计决定了58目前的架构具有较大的延展性和伸缩性，按照服务化平台的理念去做架构体系，58的核心技术会在服务化功能上进一步升级，变成 <strong>58内部的云</strong> 。</p>    <p>此外，邢宏宇认为，接下来58的技术还要形成在大数据及数据智能等方向上的自身特色，使这些能力可以成为构建58核心竞争力的壁垒。</p>    <p>在邢宏宇看来，58的技术积累已完成从0到1，从无到有的过程，但从有到好还需要进步。这段路需要迈过 <strong>三个“坎”</strong> ，一是用技术实现对用户更快的响应速度，也使团队协作和内部沟通更有效率；二是基于原先不能实现但又具有重要作用的用户所需体验，用技术做出相应的变革。例如对于长时间前的历史帖子显示功能、投递简历环节的实时联系及互动功能，都是在技术改造和架构升级过程中完成的突破；三是在朝“好”迈进的途中，会体现更多的创新性机会。邢宏宇认为，这个过程为培育创新提供了土壤和孵化器，在满足用户需求的同时，也是对58技术能力储备的打磨。</p>    <p>不过从宏观角度看，人们的传统认知里，58或许并不算真正意义上的技术公司，尽管从站点初期小流量发展到超10亿量级的综合化平台，58技术架构经历了无数次的演进和优化，但行业却很少将58看作以技术为主要导向的企业。此外，近些年关于58技术的相关曝光也相对较少。</p>    <p>也正是基于此，58集团在本次ArchSummit北京2016大会上设立了58集团专场，目的就是对外放声和输出这几年来58在技术上所累积的经验和实力，包括分享其在存储和大数据平台、人工智能、微服务架构上的创新理念和实际思考。邢宏宇说：“任何技术上的改进，反映到产品或用户体验上需要一定过程。或许这种成效不是立竿见影，而是需要一两年的蛰伏。所以第一步58需要小范围进行一系列技术分享，或许明年某个结点，我们也会做类似技术的开放日的活动，从而实现更全面的放声。”</p>    <p><strong>怎样打造优质技术团队？</strong></p>    <p>以上几点体现了58未来在技术效率和组织可持续性能力上的优势。当然，对于构建企业或技术方的壁垒，技术方向的落地只是其中一点，此外还应包括对人才结构和技术文化的塑造。</p>    <p>邢宏宇很看重技术员在技术视野和技术思维上的磨砺。他认为好的架构师需要在专业性的持续储备上，跳出自己的视野，形成合理性视角，也就是通常意义上的用户视角。"越是好的优秀管理者越能用简单的方法解决复杂的问题”。</p>    <p>几千人的58技术团队非常注重对人才梯队的搭建，对工程师文化的塑造。在邢宏宇看来，对技术高低的评定包括两个方面： <strong>一是技术的专业能力，二是技术理念能力</strong> 。58的工程师文化提倡的就是对技术理念和文化的实践。此外，文化从某种程度上来说是从上到下的传达和感染，为了更系统的制定技术决策，邢宏宇平时除了将时间花在整体的技术战略方向把握和人才选拔、培养方面，还会在产品、业务流程和业务模式上有更多的投入。“如果只孤立的站在技术视角来制定决策，很多问题的解法肯定会受限”，这是他在专访中多次强调的观点，“如果有时候是产品或商业流程不对，那么即便投入大量的精力做再好的技术，也很可能是事倍功半；这时就需要在根本上改变产品或商业流程”。</p>    <p><strong>怎样用“热炒”中的概念解决实际问题？</strong></p>    <p>首先，对于这两年热炒的“微服务”概念，邢宏宇坦言，自己并不像业界那么热衷。在他看来，微服务并不是整个架构体系的核心点，反而应该是 <strong>服务的治理</strong> 。将服务拆成足够细小后，表面看每个服务都可迭代，但接下来怎样让如此细化的分散服务有效融合，理清相互间关系，都是微服务架构的真正问题和痛点。相反，无论做成怎样规模的服务，都对服务的治理和管理有很高的要求，即为邢宏宇谈及的服务治理和管理系统。</p>    <p>另外，对于AI和大数据在58技术上的应用，邢宏宇也坦言，AI在58乃至国内整个发展都走在较为初级的阶段，目前在搜索、推荐和广告平台上有使用，是小团队在摸索。</p>    <p> </p>    <p> </p>    <p>来自：http://www.infoq.com/cn/news/2016/12/58-technology-evolution</p>    <p> </p>