视觉常识推理vcr (visual commonsense reasoning )是人工智能领域的前沿热点问题，从处理类型单一的数据到跨媒体认知、学习和推理的“跨媒体智能”被认为是五大智能方向。
近日，腾讯微视视频理解团队在多模态理解领域最权威排行榜之一vcr任务中荣登榜首。该团队提出的blender(bimodal encoder)模型超越多家研究机构的模型效果，一举成为单、多模型的三项指标第一，值得注意的是，blender仅凭单模型效果便超越了此前榜单上的多模型最好效果，赋予了机器更强大的理解和认知能力，并深度应用到短视频领域。
visualcommonsense reasoning (vcr)任务于2018年由华盛顿大学的研究人员首次提出，任务旨在将图像和自然语言理解二者结合，验证多模态模型高阶认知和常识推理的能力，让机器拥有“看图说话”的能力,例如vcr能够通过图片中人物的行为，进一步推理出其动机、情绪等信息。vcr榜单是多模态理解领域最权威的排行榜之一，也是当前图像理解和多模态领域层次最深、门槛最高的任务之一，吸引了微软、谷歌、facebook、百度、ucla等国内外公司和研究机构纷纷参与。
据相关负责人介绍，blender模型赋予了平台更强大的认知能力，使得包含文本、音频、视频等多种媒体信息在内的短视频内容，能够更好的做到分类和识别，更加精准理解和挖掘这些海量的跨媒体信息。
在blender模型中，第一阶段以nlp中的bert模型为起点，结合海量数据中抽取得到的数百万张图片和对应描述文本作为blender的输入进行多模态训练；第二阶段，在视觉常识推理数据集上学习电影中的场景和情节，使模型在新数据上获得更好的迁移能力；第三阶段，引入最终问答任务，让blender利用已有的知识和常识对现有问题进行人物-人物、人物-场景之间关系的挖掘和关联进行推理，得到最终的答案。
未来，人工智能将具备更加多元、深度的交流学习能力，而技术的创新和精进将进一步推动ai技术在短视频业务中智能交互场景的落地。（记者 张铭阳）
来源：央广网
以上是网络信息转载，信息真实性自行斟酌。
