爬虫开源：微博终结者

   <p style="text-align:center"><a href="http://www.open-open.com/lib/view/home/1492480434728">http://www.open-open.com/lib/view/home/1492480434728</a><img src="https://simg.open-open.com/show/c4f3ee8ada6f3d1657033f0d24501349.png"></p>    <h2>微博终结者爬虫</h2>    <p>关于聊天对话系统我后面会开源一个项目，这个repo目的是基于微博构建一个高质量的对话语料，本项目将继续更进开发</p>    <p>这个项目致力于对抗微博的反爬虫机制，集合众人的力量把微博成千上万的微博评论语料爬取下来并制作成一个开源的高质量中文对话语料，推动中文对话系统的研发。 本系统现已实现：</p>    <ul>     <li>爬取指定id用户的微博数，关注数，粉丝数，所有微博内容以及所有微博对应的评论；</li>     <li>作者考虑到制作对话系统的可行性以及微博语料的难处理性，爬取过程中，所有微博会保存为可提取的形式，具体可以参照爬取结果保存样例；</li>     <li>本项目不依赖于任何第三方爬取框架，但手动实现了一个多线程库，当爬取多用户时会开启上百条线程工作，爬取速度在每小时百万级别；</li>     <li>本项目最终目的是为了充分利用庞大的微博平台构建一个开源高质量的中文对话系统（据作者所知，很多公司对自己的数据视如珍宝，鄙之）；</li>     <li>除此之外，本项目还可以用于指定用户评论分析，比如爬取罗永浩的微博可以分析他第二年锤子手机的销量（牛逼把）</li>    </ul>    <p>希望更多童鞋们contribute进来，还有很多工作要做，欢迎提交PR！</p>    <h2>为人工智能而生</h2>    <p>中文语料一直以来备受诟病，没有机构或者组织去建立一些公开的数据集，反观国外，英文语料相当丰富，而且已经做的非常精准。 <img src="https://simg.open-open.com/show/9ed43f3b969834663daacaa4be2ac024.png"></p>    <p>微博语料作者认为是覆盖最广，最活跃最新鲜的语料，使用之构建对话系统不说模型是否精准，但新鲜的词汇量是肯定有的。</p>    <h2>爬取结果</h2>    <p> </p>    <p>指定用户的微博和评论形式如下：</p>    <pre>  <code class="language-lisp">E  4月15日#傲娇与偏见# 超前点映，跟我一起去抢光它 [太开心]  傲娇与偏见 8.8元超前点映  顺便预告一下，本周四（13号）下  午我会微博直播送福利，不见不散哦[坏笑]   电影傲娇与偏见的秒拍视频 <200b><200b><200b>  E  F  <哈哈哈哈哈哈狗->: 还唱吗[doge]  <緑麓>: 绿麓！  <哈哈哈哈哈哈狗->: [doge][doge]  <至诚dliraba>: 哈哈哈哈哈哈哈  <五只热巴肩上扛>: 大哥已经唱完了[哆啦A梦吃惊]  <哈哈哈哈哈哈狗->: 大哥[哆啦A梦吃惊]  <独爱Dear>: 10:49坐等我迪的直播[喵喵][喵喵][喵喵]  <四只热巴肩上扛>: 对不起[可怜]我不赶  <四只热巴肩上扛>: 哈狗[哆啦A梦花心][哆啦A梦花心]  <至诚dliraba>: 哈狗来了 哈哈哈  <四只热巴肩上扛>: [摊手]绿林鹿去哪里了！！！！  <哈哈哈哈哈哈狗->: 阿健[哆啦A梦花心]  <至诚dliraba>: 然而你还要赶我出去[喵喵]  <四只热巴肩上扛>: 我也很绝望  <至诚dliraba>: 只剩F墙而来的我了  <四只热巴肩上扛>: [摊手]我能怎么办  <四只热巴肩上扛>: [摊手]一首歌唱到一半被掐断是一个歌手的耻辱[摊手]  <至诚dliraba>: 下一首  <四只热巴肩上扛>: 最害怕就是黑屋[摊手]  <至诚dliraba>: 我脑海一直是 跨过傲娇与偏见 永恒的信念  F</code></pre>    <p>说明：</p>    <ul>     <li>E E 表示微博内容的开头和结果</li>     <li>F F表示所有评论的开头和结尾</li>     <li>每条评论中 <> 是发起评论的用户id， $$ 中是at用户的id</li>    </ul>    <h2>Future Work</h2>    <p>现在爬取的语料是最原始版本，大家对于语料的用途可以从这里开始，可以用来做话题评论机器人，但作者后面将继续开发后期处理程序，把微博raw data变成对话形式，并开源。 当然也欢迎有兴趣的童鞋们给我提交PR，选取一个最佳方案，推动本项目的进展。</p>    <h2>Contact</h2>    <p>对于项目有任何疑问的可以联系我 wechat: jintianiloveu , 也欢迎提issue</p>    <h2>Copyright</h2>    <p>(c) 2017 Jin Fagang & Tianmu Inc. LICENSE Apache 2.0</p>    <p> </p>    <p>项目主页：http://www.open-open.com/lib/view/home/1492480434728</p>    <p> </p>