Sidney的IWOM监测与分析：理解和实践

13年前

所谓IWOM，可能大家还有点儿陌生，是英语“Internet Word of Mouth”的简称，Word of Mouth的意思是“口碑”，因此IWOM监测听起来搞得挺玄乎，实际上就是为客户研究互联网上的口碑。

虽说说起来很简单，但如何监测这个IWOM，如何为客户提出好的建议，却是一件相当复杂的工作。互联网上的口碑载体本就很多，但更麻烦的是口碑这东西永远没有标准，而且随着老百姓语言和网友们情绪的发展不断变化着——这不是加入一个Tracking Code（监测代码）就能搞定的事情，这需要一个完整的方法论。

我知道目前最好的IWOM研究公司是CIC（SeeISee），在与他们的高级总监交流及自己做项目的实践过程中，我逐渐形成了一些自己的理解，并放入为客户服务的实践中，现在跟朋友们进行分享，内容还远不成熟，大家自备避雷针。

IWOM的3A层次

在实践中，IWOM被分为三个层次，与客户的需求紧密相连。三个层次分别是：Alert（报警），Analytics（分析）和Architecture（构建）。

Alert层次指帮助客户及时发现负面口碑。不要小看了那些该死的“Gossip”，负面口碑往往会演变成危机。“三株口服液”和“秦池古酒”的案例大家已经耳熟能详了，甚至写入了吴晓波的“大败局教科书”，而互联网上的反面案例则来自于DELL（HELL）以及“家乐福”。所以，你要永远相信“天有不测风云”，即使你不能防患于未然，也不能完全消除负面口碑，早点儿发现它们并且早做准备也是好的。
Analytics是比Alert更高一级的层次。Alert是以发现负面口碑为中心，而Analytics则是全面分析口碑内容及趋势。前者如同雷达，后者则是卫星全局扫描（糟糕，有人丢砖——你以为你是嫦娥一号？！）。简单说来，Analytics要实现的目标是：
- 1. 分析互联网上关于品牌/产品/企业有哪些主要的口碑；
- 2. 口碑的趋势；
- 3. 更重要的，是发现这些口碑发生的原因。第3点可是一个称职的分析师应该做的哦！:)
Architecture则是最高层次。所谓构建，就是能够消除口碑对抗，营造口碑氛围，甚至控制口碑走势。哇，偶地个妈呀，这已经不是人工降雨了，这简直是控制天气！没错，这……的确是高科技啊，要做的就是要让舆论不知不觉走向有利于客户的方向，甚至是走向客户预先定位的方向。尝试用专业的语言来说则是：
- 1. 消弭负面情绪
- 2. 扩大正面声音
- 3. 引导（甚至左右）舆论内容

这3个层次都不简单，尤其是第2和第3个。口碑这东西，今天平安无事，明天就满城风雨，如何实现上面的三个目标层次呢？

相信28分布，别信长尾

大家都知道网络有非常明显的长尾特征，但是口碑这东西，却有明显的聚合性。因此我说，在进行IWOM研究的时候，一定要相信二八分布，千万不要试图把长尾都一网打尽，原因很简单——你做不到。

我在这方面吃过亏，因为客户永远都希望什么都要，但他们其实很多时候并不清楚什么是他们最应该要的。不知道大家是否有同感——客户拿到了所有，但忽视了精华，他们拥有，但他们不消化。这常常让我回忆起《夺宝奇兵——圣杯》的最后场景。在监测IWOM的时候，我发现，在绝大多数情况（我这么说你要相信是100%的情况）下，20%（甚至是10%不到）的口碑聚合地已经聚集了80%（其实我更相信是90%）的口碑了。

大家用双手就能数清楚各个行业的互联网口碑聚集地。

博客常常是负面声音的发起者（虽然绝大多数情况不是由它放大的），但请你还是相信我坚持的二八分布规律，20%的blogger已经覆盖了80%的声音——鬼才相信有那么多的有价值的原创呢！

不过，请不要误解我，长尾在很多地方是有效的，只是在这里，我们先忽略它吧！

搞定IWOM的所有数据？

在分析网站的时候，我们使用Tracking Code，或者可以通过Log file来直接获得数据。但是IWOM则不能如此。有几个难处。

没有Tracking Code可加，也没有Log file能分析。原因很简单，就不罗嗦了。
即使技术上能加，面对浩如烟海的BBS，Blog以及层出不穷的Web2.0网站，技术人员也会加的吐血。
加了Code又有什么用呢？你要分析的是内容，而不仅仅是点击量。

所以，不需要用网站分析的方法来分析IWOM了，我们需要其他的帮助。这个帮助是网页抓取技术，或者更精确的说，是BBS（或者Blog）的页面内容抓取技术。

这个技术并不复杂，但是想要做好却是相当困难。我没有发现哪个服务提供商能真正做好的，原因在于BBS（或者Blog）系统的多样化，虽然Discuz系统（或是Wordpress系统）已经占据相当份额，但是还是有数以千记的各种系统以及自行开发的系统存在着。所以我可以肯定的告诉大家，中国没有哪一家技术提供商能够做到抓取哪怕50%的BBS（Blog）内容（请注意，我所说的内容是包括首贴和回复的）。这一点上，我很笃定，但我希望我是错的，我希望我的读者告诉我，在这一点上我错了，有一家公司能做到！

现在大多数都只能抓取部分BBS或者BBS的部分数据。一种是能够搜索到相当多的BBS，但是很可惜只能抓取主贴，但是抓不到回复（大旗网就是如此），另外一种则是能够抓取论坛上的所有主贴和回复，但是要为每个BBS做专门的抓取定制开发，所以抓取的BBS数量是有限度的（印象中CIC是这样，但我希望我是错的，请CIC的朋友指正）。因此，这就是为什么我前面说，千万不要相信长尾的原因。能够把20%一网打尽我看已经是救民于水火了。

在我的实践中，我们需要抓取的数据包括：

定性数据
1. 主贴的内容
2. 回复的内容
3. 标题
4. 作者
5. 发帖时间/回帖时间
6. 所在BBS及板块的名称，以及它们的URL
7. 以及其他数据（如是否置顶，是否加精等等）
定量数据
1. 发帖数
2. 每个帖子的回复数
3. 每个帖子的阅读数（点击数）

这些数据构成了IWOM分析的基础。其中，定量数据容易获得，而定性数据则很难完全抓取（比如第7个，现在技术上面临的困难还很大），这正是IWOM分析在全球都仍然是需要攻克的难题的第一个原因，但相比第二个难题，这个简直就是小儿科。

初步分析——你知道汉语有多么可怕吗？

为什么说是初步分析呢？原因在于这一部分的分析是最基础的，本来应该由机器完成，但是现在却需要大量的人力来完成。机器程序编的越好，人力需要参与的就越少，但想要让人在旁边睡大觉是不可能的。

相信你已经猜到初步分析的内容了：

机器参与的：
1. 排水/扫水（就别让水帖占用我们的空间了）
2. 关键词抽取和统计（初步的主题分析）
3. 调性分析（所谓调性，就是这个帖子是正面的还是负面的还是中性的还是扯淡的）
人参与的：
1. 主题分析（也就是说，这个帖子最主要是关于什么的，其他谈到了哪些方面）
2. 调性分析（帖子整个主题表现出的调性，以及谈到的各个方面的调性）

这其中，最关键的是调性分析和主题分析。调性分析能够帮我们实现本文最初所讲的第一个层次：Alert，而且更重要的是帮助我们进行进一步的分析；而主题分析则是为了深入挖掘口碑的内涵。

本来，我们是希望机器能把这些事情都做了，很可惜，中文是世界上第一复杂的语言，不仅词汇繁多，俚语已经不少，还非要成天两头的蹦出来一些网络语言，酱紫搞得机器很不知所措，处理的结果常常“雷倒众生”。其实不是我们的技术不行，微软和Google现在也做不好自然语言的分析，仅仅一个“分词”技术就够申请数个专利的了。所以，没辙，还是要靠大脑。

不过，就算是靠大脑，还是会有误差，因为人的背景不同，比如分析讨论电脑的帖子，没有一点儿DIY的背景很容易分析错误。不仅如此，有时候帖子的标题似乎是“负面的”，但仔细一看帖子，很可能是“正面的”，这个时候，粗心一点儿就会出错。但是人不可靠的最关键原因是，人是会疲劳的，尤其是面对这种枯燥的工作。而且，如果我问你，你愿意每天60元坐在电脑面前兼职做这个工作吗？你的答案一定是——No，并且给我一记闷棍。

所以，汉语口碑的调性分析对于机器而言，还是一座不可逾越的大山，必须要人来完成，但人力资源是可贵的，而且服务的质量也难以保证。这是IWOM监测如此困难和痛苦的原因，也是需要攻克的最难的难题。

初步分析的数据具有极为重要的意义，它是后面所有分析的基础，但是质量让我十分伤心。我们需要一个高质量的服务，如果谁知道，请告诉我。