本文来自AI新媒体量子位(QbitAI)
最近,斯坦福大学的李飞飞与与她的学生Ranjay Krishna、Kenji Hata、Frederic Ren,以及同事Juan Carlos Niebles向ICCV 2017提交论文,提出了一个新模型,可以识别视频中的事件,同时用自然语言描述出来。
△ 新模型的原理及应用案例
大多数视频都包含着大量事件。举个例子吧,比如在一段钢琴演奏的视频中,可能不仅仅包含钢琴演奏者,还可能包含着一群跳舞的人,或者一群鼓掌的观众,这些事件很可能是同时发生的。当一段视频中包含检测内容和描述内容时,我们称它为“字幕密集型事件”。
![](https://img.laitimes.com/img/_0nNw4CM6IyYiwiM6ICdiwiIx0Te6FGbfh3dmUTPt9mcmh3dmcmbw1DdtZ2X4d3PwQjNvwVQiJHOr12YKJWaycFMh1UbO1ERuBnQ5IHe0Q2Q18WUxVlVnBnMzM0TDFHeCxGS5kFRaN1blhkR3F1YplFWDJ3VhRUeRhDTRd1QzBTcHNEdHFUY1sGaVNWaZ9CXn5GcfpXai1Wbvwlbj5yYpBXcuoXai1Wbvw1LcpDc0RHaiojIsJye.jpg)
李飞飞团队的模型,可以利用过去和未来的上下文内容信息,来识别视频中这些事件之间的关系,并把所有事件描述出来。
上面这张流程图展现了新模型的运行原理。
同时,他们还发布了ActivityNet字幕数据集。这个数据集中包含了长达849小时的2万个视频,以及10万条带有开始和结束时间的描述信息,可以用来对字幕密集型事件进行基准测试。
数据集下载:
本文作者:安妮
原文发布时间:2017-05-08