Flickr公布百万图像供研究者使用
近日,雅虎洛杉矶研究院的人机交互研究员 David Ayman Shamma 在雅虎研究院网站新闻上发布了 Flickr 图片数据集,内有百万张基于 Creative Common 许可的图片,以供研究者使用。David 是雅虎人机交互研究组的高级经理和组长,同时也是雅虎研究院在 Flickr 的科研联络人。
在官网上对于数据集进行描述和结识的文章中,David 表示,信息时代的摄影在不停的发生变化,从古老的C-41 逐步演变成为完全不同的形式。粗略估计当前全世界的照片中,有 10% 的来自过去一年,这还是三年之前给出的估计。图片服务网站 Flickr 以 Creative Common 许可为基础,成了人们分享照片的便捷途径。
当前学术界大部分的图像研究,还只能使用小规模数据集进行算法的测试。因此雅虎研究院联手 Flickr 给全世界的研究人员提供一个更为宏伟的平台。因此 Flickr 迅速得到了学术界的青睐,每张图片的原始数据,元数据,分享方式、分享网络,都可以为现有的研究问题如计算机视觉、社会网络研究等带来解答,同时也将孕育 新的研究萌芽,比如现在机器学习领域的深度学习。
Flickr 此次公布的数据集中,包括近 1 亿张图片和 70 万部视频,它们全部来自 Flickr,并且受 Creative Common 许可保护。数据集大概有 12GB,包括图片 id、jpeg 格式图片的下载地址,视频的下载地址以及标题、描述、相机类型、标签等元数据。指的一提的是,其中大概 5 千万图片有地理信息标记,而且关于图片的评论,点赞以及分享数据都可以通过 Flickr 的 API 进一步得到。
更令人非常佩服的是,与以往的数据分享机构简单的发布原始数据这种方式不同,雅虎研究院非常认真的要进一步拥抱学术界,David 表示,由于 1 亿张图片的处理需要大量的计算能力和时间,并不是随便一个研究机构都能办到,雅虎研究院联合位于伯克利的国际计算科学研究所(ICSI)以及劳伦斯利弗莫 尔国家实验室,会基于这些图片和视频提取业界常用的视觉和音频特征,然后放到亚马逊云服务(整个处理过的数据在 50TB 左右),供全世界的研究人员使用。
此外,David 还对研究方向给出了一些建议,如不借助图片的经纬度信息来给出拍摄地点的 MediaEval Placing 任务,物体定位、概念识别和抽取等任务。
目前数据集的下载需要向雅虎研究院提交申请,审核后可以下载。