这是哪个流派的画?问问算法吧
英文原文:The Machine Vision Algorithm Beating Art Historians at Their Own Game
按照艺术家和风格对绘画进行分类,对人类还是有些难度的;而在不同的艺术家和风格之间明确相互的联系难度则更大。因此,如果让机器来做这项工作肯定是不可能完成的,但真是如此吗?
在学术研究中,有少数几个领域目前还没有受到计算机科学和机器学习的影响,其中之一就是艺术史。即便是最先进的算法,要分析作者,绘画的内容和风格也几乎是不可能的。
但是,随着近几年机器学习方法的发展(比如深度卷积神经网络),这个问题似乎正在有所改变。因为就在最近短短几年时间里,计算机科学家们已经开发出了能够匹配人类,有时甚至能超越人类的各种模式识别任务算法。
这是哪个流派的画?问问算法吧
Babak Saleh 和 Ahmed Elgammal 来自新泽西罗格斯大学,他们让这一技术变成现实。这两个人使用了最新的机器学习技术,训练算法精确识别绘画属性,包括艺术家和作品风格,这种技术之前从未被实现过。
更重要的是,该技术可以在整体绘画风格上,识别艺术家之间的联系,很多艺术历史学家通常需要花很多年时间才能理解。
Saleh 和 Elgammal 最先创建了一个图像数据库,其中包括了跨越 15 个世纪,超过 1000 名艺术家的 8 万多幅绘画作品。这些绘画覆盖了 27 种不同的风格,每种风格内包括 1500 多副绘画实例。研究人员还对作品体裁进行了分类,包括室内,城市风光,自然风景等。
之后,研究人员会设置图像子集,然后利用该子集去训练不同类型的机器学习算法识别指定的画作特点,其中包括一些普通的、级别较低的特点,比如画 作的总体色彩;之后则会训练机器学习更高级别的特点,比如画作中所描绘的物体(像马、十字架)。最终,机器学习可以用 400 种不同的维度实现画作的矢量描绘。
接下来,研究人员会让机器去识别一幅它从未见过的绘画作品,结果令人印象深刻,机器可以准确识别出艺术家,准确率高达 60%,要知道人工识别的准确率也不过 45%。但最重要的是,机器学习方法提供了一种解决方案,可以更加深入的了解艺术品特点,这些是人类难以做到的。
艺术史或许能让计算机来教
但是在进行绘画作品分类工作上,机器学习暂时还无法做到最好。
举个例子,Saleh 和 Elgammal 的机器学习算法很难区分卡米尔·毕沙罗和克劳德·莫奈的绘画作品。但是艺术家们只需要做一点小小的研究就能明确区分,十九世纪末二十世纪初两人在法国非常 活跃,并且都在巴黎 Académie Suisse 艺术学院进修,利用这些背景,专家会知道毕沙罗和莫奈是一对好基友,彼此也会分享自己对艺术的经验。所以,如果他们两人的艺术作品有几分相似,也就不足为 奇了。
还有一个例子,机器学习也无法很好地区分莫奈和美国印象派画家蔡尔德·哈萨姆,后者深受法国印象派画家和莫奈的印象。类似这种关联,就需要人为来进行判断了。
除了上述几个缺陷之外,机器算法还能寻找艺术风格之间的联系。举个例子,它常常会混淆抽象表现注意和行动派绘画,因为艺术家是通过在画布上点滴 或甩画漆来完成作品的。Saleh 和 Elgammal 表示,如果是一位人类观察者,应该能够理解这种混淆。他们说道,“行动派绘画其实可以看做是抽象表现主义的一种子类型。”
机器算法还可以在类似的绘画作品中“找不同”。比如表现主义画派和野兽画派,后者通常会被认为是表现主义画派的一种形式。此外,机器算法还可以 将人文主义和文艺复兴时期的艺术风格联系起来,这种联系清晰的反映出一个事实,那就是道德观念曾经融入在早期文艺复兴时期的绘画作品里面。
其他直接的联系包括,文艺复兴和早期文艺复兴时期的绘画,印象派和后印象派的绘画,立体派和后期综合立体主义的绘画。
这些联系如果要让艺术历史学家来分析的话,可能需要几十年,甚至几百年,但是如果通过机器学习方法,只需几个月时间。这对于研究艺术史来说有着 非常重要的意义,全新机器学习算法有一个应用,就是可以挑选出具有类似特点的绘画作品(见上图)。这将是一个非常强大的工具,因为历史学家可能永远都不会 知道不同艺术家之间存在的联系,以及不同艺术家之间在作品上是如何相互影响的,而借助机器学习则能探索更多。
机器学习算法提供了一种全新的艺术探索形式,说不定会为艺术界带来意想不到的效果!