近日，山西大学大数据科学与产业研究院三篇论文《Fast and Scalable Incomplete Multi-View Clustering with Duality Optimal Graph Filtering》、《A Progressive Skip Reasoning Fusion Method for Multi-Modal Classification》、《CoMO-NAS: Core-Structures-Guided Multi-Objective Neural Architecture Search for Multi-Modal Classification》被2024年人工智能领域国际顶会ACM国际多媒体会议（ACM Multimedia）接收。

《Fast and Scalable Incomplete Multi-View Clustering with Duality Optimal Graph Filtering》

论文作者：杜亮，史育恺，陈艳，周芃，钱宇华（通讯作者）

缺失多视图聚类（Incomplete Multi-View Clustering，IMVC）是媒体数据分析的关键方法之一。现有的基于图学习的IMVC方法在处理邻域外簇内和邻域内簇间样本时存在误分类问题，尤其是在数据不完整的情况下。此外，准确填补缺失数据困难且可能引入噪声，增加计算成本。为了提高缺失多视图聚类（IMVC）的性能，本文提出了一种基于对偶最优图滤波器的快速大规模缺失多视图聚类方法（FSIMVC-OF）。FSIMVC-OF通过构造一阶二部图并使用多阶矩阵形成的图滤波器，在共识聚类框架内学习最优的图滤波器权重和聚类嵌入矩阵，从而细化二部图的聚类结构。该方法证明了样本侧滤波与锚点侧滤波的等价性，并将样本侧图滤波参数的学习迁移到锚点侧进行，进而实现线性复杂度。大量实验验证了FSIMVC-OF在大规模任务中的优越聚类性能。

图1  FSIMVC-OF方法示意图

《A Progressive Skip Reasoning Fusion Method for Multi-Modal Classification》(Oral)

论文作者：郭倩，梁新彦，钱宇华（通讯作者），崔志华，温杰

好的融合算法可以有效地整合和处理多模态数据，提升分类性能。然而研究人员多关注复杂融合算子的设计，而对融合方式的关注较少。因此本文提出了一个渐进跳跃推理融合网络（PSRFN），明确提出融合结果的再利用问题，探索了融合结果与模态多次合作的问题。首先，与大多数多模态融合方法在一个阶段只使用一个融合算子来融合所有视图特征不同，PSRFN利用渐进跳跃推理（PSR）块在网络的每层使用一个融合算子来融合所有视图，即每个PSR块利用所有视图特征和前一层的融合特征共同获得当前层的融合特征。然后每个PSR块在融合过程中采用具有可学习参数的双加权融合策略自适应分配权重，确保了其可根据特征的实际贡献动态调整权重。最后，为了使模型能够充分利用不同层次的特征信息进行特征融合，在PSR块之间采用跳跃连接。大量实验结果表明更好地使用融合算子确实能够提高性能。

图2  PSRFN整体架构

《CoMO-NAS: Core-Structures-Guided Multi-Objective Neural Architecture Search for Multi-Modal Classification》

论文作者：傅品翰，梁新彦，钱宇华（通讯作者），郭倩，卫志芳，李雯

大多数现有的基于神经架构搜索（NAS）的多模态分类（MMC-NAS）方法是通过优化分类准确性来实现的，但它们无法同时满足用户对模型复杂性和分类性能等多种需求。将NAS-MMC与多目标优化结合是一个自然的解决方案，然而，这种解决方案计算成本高。对于多目标优化来说，计算瓶颈在于帕累托前沿（Pareto front）的搜索。一些由高质量特征和融合操作符组成的高质量MMC模型（即核心结构，CSs）更容易被识别。我们发现，核心结构与帕累托前沿（PF）有密切关系，即位于PF上的个体包含核心结构。基于这一发现，我们提出了一种通过应用核心结构来指导帕累托前沿搜索的高效多目标神经架构搜索方法（CoMO-NAS）。实验结果表明，CoMO-NAS在较低模型复杂度和较短搜索时间内实现了与最新竞争对手相当的性能。

图3  CoMO-NAS框架

ACM MM（ACM Multimedia）是计算机科学领域中多媒体研究的重要国际会议，由ACM主办，每年举办一次，旨在促进多媒体领域的前沿研究与发展。该会议将汇集来自全球各地的顶尖学者和专家，展示多媒体领域的最新研究成果和技术突破，共同探讨多媒体技术的最新进展、技术创新和应用实践。2024 ACM MM会议将在澳大利亚墨尔本举行。