（图文|信息、许瑞清  编辑|辛西  审核|冯在文）9月14日下午，信息学院2022年第17期“Happy Hour”活动在逸夫楼C603会议室举行，腾讯会议同步直播。在信息学院院长张红雨教授的主持下，计算机科学系冯在文副教授作了题为“多模态知识图谱及其在农业生产中的应用”的学术报告。报告会吸引了来自信息学院、生科院及外校的众多师生线上线下参与。

   知识图谱是新一代人工智能与知识计算技术的代表，在制造业、服务业、教育业、智慧农业等领域已有广泛应用。与传统知识图谱等人工智能技术相比，多模态知识图谱在多方面有着明显优势。首先，增加的不同模态信息通常包含同一对象不同方面的知识。例如在电商场景中，一部分商品可能有丰富的图片信息，但缺乏结构化属性描述，而另一类商品则可能拥有丰富的结构化图谱数据，但缺乏对应的文本描述信息。通常，这些模态之间的知识是互补的。如能充分挖掘和关联不同模态中的知识，将使不同模态之间相互增强。其次，多模态数据使得知识图谱在自身补全、智能问答等任务上变得更为强大。同时，利用知识图谱中的多模态增强信息可较大增强多模态数据处理能力。由于智慧农业领域大量的数据是以多模态数据的形式存在的，这使得多模态知识图谱在智慧农业生产领域有着广泛的应用前景。

   本次报告围绕“多模态知识图谱的构建与推理”、“多模态知识图谱在‘双水双绿’种养系统中的应用”及“多模态知识图谱在作物育种中的应用”三方面内容展开。首先，冯在文副教授以现今多模态大模型在多模态任务上的局限性为切入点，介绍了多模态知识图谱的发展历程，并着重强调多模态知识图谱与多模态大模型的“双轮驱动”结合在人工智能领域具有重要的应用前景。接着，冯在文博士对实体、概念和关系三个层面的多模态知识图谱构建技术做了详尽介绍，主要分图像标注和符号映射两类方法。随后，冯在文副教授从内涵式和外延式两个方向出发，介绍了多模态知识图谱的广泛应用：如链接预测，实体对齐，视觉问答，图文匹配等。

   最后，冯在文落脚到多模态知识图谱在智慧农业中的应用，介绍了多模态知识图谱在“双水双绿”种养系统中实现智能推荐、智能灌溉和智能推理的可能应用场景，并向师生展示了基于知识图谱的大数据平台在作物育种、畜禽精准饲养方面的多项应用案例，展望了多模态知识图谱在农业领域的广泛研究前景。

   报告结束，与会师生就多模态知识图谱在具体领域任务上的未来应用与冯在文博士进行了深入交流，探讨了时空转录组与事件知识图谱的结合，生物基因序列是否能用于构建多模态知识图谱等问题。张红雨教授对报告内容进行总结，肯定了多模态知识图谱的应用意义。会议在轻松愉悦的交流氛围中落下了帷幕，师生表示收获颇丰。