关于知识管理和语义搜索的一些思考

知识管理的坑

做知识管理最容易陷进去的坑就是满足1%用户的要求

做知识管理最容易陷进去的另一个坑就是满足99%用户的要求

知识库的构造中，当目标是满足全人类的需要，就没办法满足(几乎)任何人的需要。Wikidata, freebase, dbpedia和yago都有这个问题。

wikidata至少做对了一件事：不用RDF

众包是一个建设文本百科的好办法，但是对于建设结构化数据就没有成功的先例，因为世界观的冲突很难用结构化表示融合。详见我的《The Unbearable Lightness of Wiking》http://www.slideshare.net/baojie_iowa/2010-0522-smwcon

知识库和文本不同，它的长尾需求特别大，人们通常会关心各种小领域的entity。大部分这些entity是没有机会进入主流的知识库的。这里有认识的原因，有经济学的原因。比如ConceptNet和Freebase，他们允许众包编辑，但是真正来编辑的人是极少的。大部分领域的概念都非常稀疏。

年轻人喜欢大数据，成年人只看数据清理

做知识，做语义，很容易犯的错误，是把实验室成果外推，认为能应用到大几个数量级的数据上。而在实践中，一个人用的东西和十个人用的截然不同，1G数据的分析和1T数据的分析截然不同，不是上Hadoop就能解决的。这里面有太多人的因素，人是没法Hadoop化的。

反之亦然，在大市场、大数据上有效的算法，在小市场、小数据上效果反而不好。创业公司就不能眼睛盯着大公司，觉得他们怎么做我们就follow，只要把规模缩小了就可以了。可是大象的骨骼结构小老鼠是不能按比例缩小的。

自由…不是无代价的

人工智能问题说到底是一个经济学问题，不(仅)是算法问题

在知识工程里，“领域”往往被看作一个本体(ie 概念的正确分类的形而上的)问题。但其实领域应该是一个渠道问题，一个经济学问题。领域的大小是随着知识销售者的实力而变化的，和领域的真实大小不必然有关系。

在我看来，Knowledge Graph的核心既不是Knowledge，也不是Graph，而是自由。自由是降低成本的方式。但是众包并不是自由——对于知识库而言，众包恰恰是反自由，自古以来就没有成功的例子。允许多种观点在不同的范围内共存，这才是知识图谱能普及的根本——但是这违背大公司的利益。

例如 Google的Knowledge Graph和Schema.org，代表的是Google自己的世界观（比如命名，组织，范畴），它的目的是服务Google自己的商业利益。这也就决定了它们在用于其他人的利益范畴时，会非常的别扭。这个问题是和它的渠道紧密结合的，自由会损害它的商业利益

Web的成功，一个基础就是允许人们各行其是，尽可能降低事先约定的必要，尽可能允许多种不同的组织方式、数据形式、基础系统能共存。对于Web而言，URI是实现这种自由的基础。于是语义网界（含关联数据）外推把URI也做为结构化数据表现的基础，经历十多年的失败，现在看应该是错了。

URI当年是自由的支柱，但是现在它反而阻碍了自由。作为一种寻址方式，它代表了自由。但是作为一种*命名*方式（也就是知识组织的底层基础），它则代表了一种特殊的世界观——这种世界观和大多数人的世界观抵触。这就极大提高了成本。

知识表现中的成本，并不是说建一个模型的成本，或者机器跑一个模型的成本。最大的成本是人与人之间的成本。争吵（大到各种会议和工作组，小到邮件列表）、困惑、官僚主义（项目扩大以应项目扩大之需），而这一切的根源都在于以不恰当的方式过早优化普适性，从而导致世界观的冲突。

真理从来不是越辩越明的。在世界观的冲突中，再多的辩论也无法改变人们本身的思维方式，更不用说利益本身。所以知识结构不应该被集体设计出来——事实上，参与设计的人越多，这个知识结构越正确，于是就越没有用。反而是偏见最后能落到实处。

Unified Ontology of Everything = Unified Ontology of Nonsense 好比是把佛教、基督教、伊斯兰教混合在一起搞一个宗教

数据的语义，应该尽可能的局部化。过于照顾数据多样的应用中的语义解释，会极大提高数据发布者的发布成本，因为这就需要精确的指定语义（比如说用URI命名）。而事实上，真正产生价值的应用的数量是很少的。在1-1而非n-n的语境下语义的解释成本就会大大的下降。降低这个成本就是知识管理的一个核心任务

从社会学上说，参与事务的个体越多，分歧就会越大。把消灭分歧的任务交给发布者是不合适的，等于发布者成为整个理解系统的中心，从经济学上不可持续。应该通过局部化事务，去中心化。这就需要各种代理的出现。

把语义数据称为ontology，这已经在哲学上假设这些结构化数据是在描述本体。人们已经对本体争论了两千年，可能要再争论两千年。而工程中的数据的语义，则是主观的而非客观的描述。所以语义是一个唯心的认识论问题，而非本体论问题

因此，如果从认识论的角度设计语义系统，就可以把复杂的本体论语义转化为可解耦的认识论语义，从而在不同的域中允许不同的解释存在。这就保证了语义解释的自由，这一web发布最核心的价值。

市场的的经验教训

今日去检查John Breslin和Nova Spivack的公司StreamGlider到底怎么样了，才发现连网站都没了，准确地说被黑了。公司似乎还在，全球排名已经可以忽略不计 http://t.cn/Rw5zGbM 推ter 只有113个粉丝。作为当年号称要挑战Flipboard的公司，汇集诸多明星，为什么会只走出这点距离？

这是Streamglider当年刚推出时的新闻 http://t.cn/zOZzYeS Breslin是我们语义网界的风云人物，DERI的大牛。但是很显然，Streamglider和Bottlenose, Twine一样没有抓住用户的需求。

DERI出来的另一个创业项目，seevl.fm http://t.cn/Rw5Zhb6 ，试图在音乐领域做推荐，当年还发了很多文章，也已经基本上死掉了。单纯从知识的角度，不管是语义网也好，知识图谱也好，都不能解决用户真正关心的问题。去进攻一个准备不足的市场，这个市场本身的规模再大也和你无关，因为没人会用。

Bottlenose先后融资了6.6M。前两天他们刚刚从KMG Capital Partners B轮。但是如果他们不改变经营战略，再砸钱也没用

几乎所有的“语义”引擎在遇到消费者市场问题后就撤退了，去搞企业市场。可是这样的公司几乎过两年也都死掉了。在我看来，他们的问题不是消费者vs企业市场，而是他们（至少我接触的那几家）太过从技术的角度，而不是真正从“消费者”的角度去思考问题。把客户从个人换成企业也无助于解决问题。

几乎所的这些公司，都是明星CEO+明星技术团队+明星顾问+明星投资公司。在用户以前，他们就已经有各种C这个O，C那个O，一个漂亮的董事会。他们有各种天顶星技术。但是就是不愿意做小事。小事不需要明星。所以他们都死了。

在我看来，他们从消费者市场转进企业市场，只是一种逃避。他们不试图去解决成本、成本、成本这个知识管理最核心的问题——因为他们本身就是成本，他们没法解决掉自己。语义和知识，如果不能lean startup，那就注定无解。创始人越是明星，开始拿的投资越多，就越更接近于失败。

Sig.ma已经下线了了。sindice.com全球排名一直在40万上下，再也上不去。如今商业化的通用语义搜索十分的不景气。

在不景气名单上的还有kngine 已经加入阵亡或被收编名单的：Hakia, Kosmix, Evri, Powerset, Truevert。唯一和语义有点关系还干的不错的是DuckDuckGo

和 Hakia和Powerset的人都聊过。对这两个语义搜索先驱的失败，我的感觉还是他们想做的事情太大，超越了时代。比如Powerset为了搞语义，先发明了HBase，但是语义分析速度实在是太慢。被微软收购后，很长一段时间里Powerset其实是被抛弃了，没法满足微软要求的规模。还是要 Lean Startup

Hakia和Powerset都是以自然语言理解为核心，想从关键字搜索进步到自然语言搜索。这个路径至少在2006年是超前的。今天是不是还是超前，我不敢定言。但是任何会激发用户图灵测试欲望的界面设计，都是不妥的。

专有领域的一些语义搜索（一般它们都不这么叫自己），比如Yummly和Factual，活得都不错。所以现在的技术和市场条件，还是不太合适通用语义搜索的存在。现在的机器学习技术，做通用知识的自动挖掘还远远没能离开实验室阶段，拿它来做创业太冒险了。

我的信箱里还有好多“Twine Digest”，其实和我们现在做的机器学习日报、大数据日报也差不多。Twine的经验教训，时时刻刻都都在提醒我们。

如果Twine当时更专注一些，比如专门做书签，或者只做推送，或者专门在一个话题上深挖，会不会更好些呢？至少，它的数据量会少很多，对后端的压力就不会那么大，也就不至于需要分一半的工程力量去搞大数据基础设施，就能更关注于业务本身。当然历史是不容假设的。

来自：http://baojie.org/blog/2015/03/04/on-knowledge-management/