2021年3月9日，我院语音语言实验室在多模态融合与化学结构检索领域取得突破进展，相关成果以“Evolutionary Deep Fusion Method and Its Application in Chemical Structure Recognition”为题在演化计算顶级期刊《IEEE Transactions on Evolutionary Computation》在线发表。这是我校首次以第一通讯单位在该杂志发表论文。我院在读博士梁新彦和郭倩为论文共同第一作者，钱宇华教授为通讯作者，南通大学丁卫平教授、香港城市大学张青富教授为论文合作者。

多模态/多源数据是大数据与人工智能等领域数据的常见形态，如何有效融合不同模态信息进行智能决策是重要科学问题。虽然，面向多模态信息处理的人工智能技术已经取得长足进步。但是现有融合算子面临两个问题：（1）基本融合算子计算简单，但表达能力较弱；（2）高级融合算子可以实现特征充分交互融合，但参数多、计算复杂。事实上，多模态数据之间往往存在着复杂的关联关系，有些信息也呈现冗余性。然而，在现有多模态学习范式中，收集到的不同模态数据全部参与融合计算，其冗余信息导致了不必要的计算开销。另外，不同模态间的关系通过使用一个单一的融合算子进行建模，导致了信息融合可能不充分。因而，这种学习范式的有效性面临挑战。

图 1 现有多模态学习范式面临的挑战

钱宇华教授认为“如果宇宙是一个封闭系统，那么系统内的演化规律应该是统一的，人工智能作为宇宙演化的延续，应该具有一个演化或进化的研究视角。“因此，团队把“创造可进化的人工智能”作为学术目标。

针对现有多模态机器学习面临的挑战，该研究从进化/演化计算的视角出发，通过设计具有进化原理的技术路线（见图2），创新性地提出了演化深度融合方法（EDF）。该方法不仅可以减少冗余的模态信息，而且可以找到一个优化融合模式来建模不同模态间的复杂关联关系（见图3）。

图 2 技术路线

图3 优化融合模式

在生物、化学、医学、环境、材料等科学领域，以化学结构式作为检索信息，从专利等专有数据库中进行检索是科研人员获取信息的一个重要途径。由于化学结构天然地可以表示为图结构，因此该问题通常被建模为图搜索算法。然而，这些方法严重依赖于SMILES、MOLfile等专业的文件格式，使得基于它们实现的检索系统只能被专业人士使用，严重限制了其使用范围。

针对该问题，我院语音语言实验室与知识产权实验室合作，通过将化学结构检索转化为多视图学习问题,成功地将提出的EDF方法应用于化学结构检索任务中(见图4)。不同于现有依赖专业格式作为检索信息的方法，EDF直接使用化学结构图作为检索信息进行，在ChemBook-10k数据集上获得了90.06%Top1和 98.43%Top5检索精度，在PubChem-10k数据集上获得了93.85%Top1和 99.20%Top5检索精度。

图4 基于EDF技术的化学结构检索系统

该技术不仅检索精度高，速度快，而且对检索图的格式、分辨率要求低；非专业人士可以方便快捷的通过一张图片检索所需的化学结构信息；在生物、化学、医学、环境、材料等科学领域具有广阔应用前景。

这项工作得到计算智能与中文信息处理教育部重点实验室、山西省机器视觉与数据挖掘工程研究中心、国家重点研发计划、国家自然科学基金、山西省重点研发计划支持。

研究成果原文阅读链接：https://ieeexplore.ieee.org/document/9373673

《IEEE Transactions on Evolutionary Computation》建刊于1997年，是国际上公认的计算机领域顶级期刊之一，影响因子为11.169，主要刊登演化计算领域的高质量前沿研究成果。2020年共发表论文76篇。