使用Apache Spark分析豆瓣电影数据

上周在看豆瓣的时候，看到有豆列推荐类似豆瓣250的电影，刚好最近在学Berkeley 的Scalable Machine Learning这门课程，接触了下Spark的基本的操作，然后就想要不然自己抓取豆瓣的电影数据来分析下。

本来是想实践下豆瓣电影的推荐系统，想通过实际的数据来完成”Collaborative filtering”, 目前的第一步就是先获取数据，这也是这篇博文的主要内容。如果有兴趣的同学，后续可以一起来实现豆瓣电影的推荐系统。

数据抓取

整个过程比较麻烦的其实就是数据的抓取，虽然豆瓣有提供API来获取某部电影的一些数据，但是前提是要知道这部电影的ID，而豆瓣又不提供这样的API来获取电影ID列表，所以才决定自己用Python来爬取基本的电影数据。主要是用requests和BeautifulSoup这两个Python包来抓取和分析页面。获取电影页面数据后进行解析，目前主要解析的下面十个字段：

- 电影名称  - 电影的豆瓣ID  - 评分  - 上映时间  - 评论条数  - 观看人数  - 想看人数  - 评价人数  - IMDB的链接  - 豆瓣的链接

豆瓣对机器人访问有比较大的限制，如果不限制抓取速度的话，爬虫一打开就会被豆瓣封掉IP。测试了几遍，发现每五秒钟抓取一次页面目前还不会被封掉。运行脚本大概一周后，抓取到了差不多52000条记录。豆瓣的影库数据应该远远大于这个数目，不过我是通过豆瓣的豆列来进行抓取，抓取的都是存在于某个豆列里面的电影，也就是说至少是被人推荐过一次的。所以基于这个数据，应该可以大概分析出豆瓣电影的一点点趋势。

使用Spark进行电影数据分析

fileName1 = 'movie_db20150704_134611.csv'  numPartitions = 4  rawData1 = sc.textFile(fileName1, numPartitions)  header1 = rawData1.first()   rawData1 = rawData1.filter(lambda x:x !=header) #filter out header

Spark在进行数据分析确实是比较方便快捷的，下面可以看到很容易就能够获取各种排名：

评分最高的前50部电影(评论人数超过50000）

topMovieswithRating = (data                         .filter(lambda x: x[8]>50000)                         .takeOrdered(50, lambda x: -1 * float(x[0])))

观看人数最多的前五十部电影

评分人数最多的前五十部电影

评论人数最多的前五十部电影

后续

希望能够和在学习machine leaning的同学们一起来实现下豆瓣电影的推荐系统，更详细的了解”Collaborative filtering“ 的实现。 目前虽然抓取了一些数据，但是还是远远不够：

• 目前仅抓取的公开的电影数据，已经有了五万多条，但是还是不够多，而且属性列也还不够
• 还无法抓取单个用户的评分数据， 这个还需想办法