2026-08-17
● 本文提出了一种两阶段模型，用于在无需参考图像的情况下评估全景图像的质量。● 我们利用特征匹配和视觉变换工具从不同视角区域提取图像特征。● 专门的校正单元可减少全景图像投影带来的视觉感知不均匀问题。● 在两个公开图像数据集上的测试表明，该模型的性能优于现有的主流方法。
● 本文提出了一种两阶段模型，用于在无需参考图像的情况下评估全景图像的质量。● 我们利用特征匹配和视觉变换工具从不同视角区域提取图像特征。● 专门的校正单元可减少全景图像投影带来的视觉感知不均匀问题。● 在两个公开图像数据集上的测试表明，该模型的性能优于现有的主流方法。
全向图像是虚拟现实系统中最重要的视觉媒介，能够为用户提供沉浸式、可自由交互的观看体验[1]。它们已在商业、制造和医疗领域得到广泛应用[2][3][4]。然而，在实际应用中，全向图像通常要经过采集、编码、传输和显示等多个环节，这些过程不可避免地会导致质量下降，如压缩伪影、模糊和噪声等问题[6][7][8]。因此，一种能够可靠且准确反映人类主观感知的全向图像质量评估方法对于提升虚拟现实系统的整体体验至关重要[9]。
图像质量评估方法通常可分为主观评估和客观评估两类[10]。主观评估依靠人类观察者直接对图像质量进行评分，能够准确反映人类的视觉感知。但这种方法成本高昂、效率低下，且易受个体差异和实验环境的影响。相比之下，客观评估方法通过模拟人类视觉系统，利用计算模型来预测图像质量，具有自动化程度高、重复性强的优点。根据其对参考图像的依赖程度[11]，客观图像质量评估方法可进一步分为全参考型、降级参考型和无参考型三种。在实际应用中，获取高质量参考图像往往较为困难，因此在真实场景中，无参考图像质量评估方法更具价值。由此，无参考全向图像质量评估也逐渐成为研究热点。客观图像质量评估的固有难度以及直接建模主观感知的局限性也在相关研究中得到了强调[5]。
近年来，基于深度学习的无参考全向图像质量评估方法越来越受到关注[12][13][14]。这类方法由于无需依赖原始参考图像，具有更高的实用价值。不过，现有方法在评估全向图像质量时仍存在显著局限。一类方法直接对整个全向图像进行建模[15]，虽然能够捕捉全局质量信息，但往往忽视了由投影畸变导致的感知不均匀性，无法有效应对关键区域的问题。另一类方法则通过视图窗口裁剪或规则分割来提取局部特征，一定程度上模拟了人类的观看行为。但视图窗口的选择缺乏灵活性，且不同视图窗口之间的空间关系通常被独立处理，难以捕捉全景内容中复杂的畸变分布模式。还有些方法通过视图窗口裁剪提取局部特征，类似地尝试模拟人类观看行为，例如VGCN[39]就探索了自适应视图窗口选择和基于图的视图窗口聚合方法，为这一方向奠定了重要基础。尽管如此，这类方法仍存在两个明显缺陷。首先，[39]中的视图窗口检测器依赖于手工设计的SURF特征来定位全向图像上的关键点。手工设计的特征对于压缩伪影和模糊等复杂畸变不够稳健，而极地区域的全向图像投影产生的拉伸效应会进一步降低关键点检测的可靠性。其次，[39]中的视图窗口交互是通过预定义的空间邻接图实现的，消息传递仅限于空间上相邻的视图窗口。这种固定的拓扑结构无法适应非相邻视图窗口之间的长距离语义关联，限制了捕捉全局畸变分布模式的能力。为了解决这些问题，本文提出了一种更稳健的视图窗口选择策略以及更为灵活的视图窗口交互机制。
此外，AHGCN[55]将基于图的视图窗口交互扩展到超图建模，以捕捉视图窗口之间的高阶依赖关系，并引入基于内容的超边来体现语义相似性。不过，超图的构建仍然依赖于人工设计的规则，包括空间角度距离阈值和特征空间中的k最近邻选择。预定义的超边拓扑结构无法随着质量预测任务的进展而动态优化，且消息传递仍受限于已构建的超边之内。另外，AHGCN仅关注局部视图窗口部分，忽略了全向图像投影带来的全局感知不均匀性，这限制了其描述全景图像整体质量的能力。实际上，人们在查看全向图像时并不会同时聚焦于整个视野范围，而是通过一系列富含结构信息的局部重要区域逐步形成对整体质量的感知。这一过程不仅取决于局部视图窗口的质量，还与其在全向图像空间中的分布有关。此外，即使在畸变类型和强度相同的情况下，全向图像投影带来的空间变形也会导致不同纬度区域的感知重要性存在差异。
从人类视觉感知的角度来看，全向图像的质量判断遵循双路径机制。一方面，观察者通过连续的视图窗口进行沉浸式浏览，他们对细节畸变、结构损伤和纹理退化的感知主要来自局部重点区域；另一方面，全景图像的整体空间一致性、全局畸变分布以及投影带来的感知不均匀性，也会通过周边视觉和整体浏览影响最终的主观质量判断。这两种感知路径相互独立又相互补充：局部感知无法涵盖全向图像投影带来的全局纬度畸变，而全局感知则对关键语义区域中的细微畸变不太敏感。
从畸变特征的角度来看，全向图像存在两种性质截然不同的畸变：一种是局部内容畸变，表现为压缩伪影、模糊和噪声，其在空间上分布不均，且与语义显著性高度相关；另一种是全球系统性畸变，由球面投影引起，在纬度方向上呈现规律性的不均匀分布。这两种畸变具有不同的空间尺度和工作机制，单一的特征提取架构很难同时实现最优的表征效果。
基于上述分析，本文提出了一种基于视图窗口和纬度感知的畸变自适应校正的无参考全向图像质量评估方法。该模型由局部分支和全局分支组成。在局部分支中，通过XFeat关键点检测从全向图像中选取具有代表性的视图窗口区域，再利用视觉Transformer共同建模多视图窗口特征，从而捕捉局部畸变特征及其空间分布关系。在全局分支中，则对全向图像进行直接的质量评估，并引入纬度感知的畸变自适应校正模块，以减轻投影带来的感知不均匀性。最后，通过整合局部视图窗口和全局层面的质量信息，模型输出全向图像主观质量的最终预测分数。
● 提出了一种基于视图窗口和纬度感知的畸变自适应校正的无参考全向图像质量评估方法，全面整合了视图窗口感知信息和全局感知信息用于质量预测。
● 局部分支采用基于XFeat的视图窗口采样和视觉Transformer，用于提取关键局部区域并建模多视图空间关系；全局分支则利用LDACM模块来减轻全向图像投影带来的感知不均匀性。
● 基于公开数据集的实验结果表明，所提出的方法在预测全景图像质量方面表现更优，说明其性能优于当前领域内广泛使用的方法。
本节从参考图像的可用性和感知表示两个方面，综述了全向图像质量评估方法。首先总结了针对球面图像设计的全参考型评估指标，随后讨论了模拟投影畸变、视图窗口感知以及近期出现的统一多模态评估方法。尽管传统的2D图像质量评估方法无法直接处理球面投影畸变，但它们仍能为质量建模提供有用依据。
本小节详细介绍了所提出的无参考全向图像质量评估模型，其整体框架如图1所示。该模型的双分支结构是根据全向图像的感知特性和畸变特性设计的。从人类视觉机制的角度来看，人们对全景图像的质量判断来自两条互补的路径：一条是通过沉浸式浏览视图窗口，对局部显著区域进行细致感知；
我们在OIQA[46]和CVIQ[47]数据集上将所提出的模型与其他最先进的技术进行对比，以进行全面评估和分析。这两个数据集的详细信息如下：
本文提出了一种基于视图窗口和纬度感知的畸变自适应校正的无参考全向图像质量评估方法。该方法通过局部感知分支和全局感知分支分别表征视图窗口的细节畸变和整体结构信息，同时引入可学习的权重来实现这两种质量信息的自适应融合，从而提升了模型对全景图像主观质量的预测能力。
所有作者都参与了研究的构思与设计。材料准备、数据收集与分析工作由张博、司书存、张成和王一博负责。论文初稿由司书存和王一博撰写，所有作者都对论文的早期版本进行了修改。所有作者都阅读并通过了最终稿件。
本研究过程中生成和/或分析的数据，可在合理请求下从第一作者或通讯作者处获取。
张博：写作——审阅与编辑。司书存：写作——初稿撰写，概念构思。张成：写作——审阅与编辑。王一博：可视化。
本项目得到了中国国家自然科学基金（42005066）、天津市自然科学基金（22JCQNJC01380）、天津市重点培育人才专项基金（XB202007号）、天津市科普计划（23KPXMRC00100号）、天津市创新基地（平台）及人才项目（编号24JRRCRC00120号）、中国科协研究生科普研究基金的支持。J9九游会官方网站
关注九游会公众号