天天看点

动态metric及主观测试实验

动态(dynamic)mesh metric

目前主要有两种方式来对动态mesh进行评价,一个是将静态mesh的metrics运用到动态mesh上来,另一个是使用专门为动态mesh设计的metrics

使用静态metric的缺点:会继承静态metric的所有问题;比如CFS虽然有带通特性,但是时域对应的CSF函数有低通特性,因此在静态发现不了的低通失真在动态mesh中会被发现。我们称这种现象为temporal artefacts。也就是说,在静态发现不了的失真会在动态mesh中出现。

  • KG error

    由Karni和Gotsman提出,广泛使用在动态mesh压缩上。主要使用矩阵描述原始和失真模型,矩阵的列表示各个顶点的动画轨迹。

    动态metric及主观测试实验
  • Da error

    由Jang 提出,主要适用于误差向量在连续帧中形成的带状,一个误差向量是连接在原始和失真模型中一个特定帧中的特定顶点的位置的矢量。

    Da error的计算方式:将误差向量投影到坐标轴,且每次只考虑一个坐标轴。误差向量与2D空间(坐标+时间)的带状结构中连续两帧的特定顶点相关,并使用metric计算带状面积且作为该特定顶点对整体误差的贡献,有很多限制,但仍被MPEG-4标准接受

  • 4D Hausdorff distance

    4D Hausdorff distance是对Hausdorff距离的改变,第四维指的是动画的时间。在4D空间,一个三角网格会形成一个棱镜。这些棱镜被细分为连续的四维四面体以便操作,metric就在这些四面体上使用,相当于在三维中的Hausdorff评价。

    优点:能够检测到表面的时间邻近度。

    缺点:需要一个和时间空间都相关的常数而且这个常数难以获得; 计算复杂度高,需要大量内存,与人类感知没有相关性

  • 空时边缘差(Spatio-temporal edge difference)误差error

    Va ´sa and Skala提出,该metric是基于感知误差与顶点的局部和相对位置的改变有关,而不是绝对和全局顶点位置的改变。Metric以边为基本计算图元,计算每个动画中每个mesh的每条边的相对长度变化。接着,对于每个顶点,计算每个顶点拓扑相邻内边的相对长度的标准差。该标准差作为这个顶点对误差量度的空域贡献。

    该metric通过虚拟时域边来捕获时域影像,所谓虚拟时域边就是连接连续两帧中的顶点的边。原始模型的虚拟时域边的长度和失真模型的虚拟时域边长度的差异作为时域的metric误差。Metric是空域和时域误差的斜边。

    局限性:需要设置较多参数来获得与主观分数较大的相关性,需要原始mesh和失真mesh都有相同的顶点数和连接关系。

  • 简化评价(Simplification evaluation)

    Larkin 和 O’Sullivan提出的,主要是针对人类角色动画mesh简化的感知评价。在这种情况下,失真模型的定点数远远小于原始模型,这会导致视觉假象:

    作者列出以下三种情况:

     纹理:由于对纹理坐标进行插值产生的误差;

     明暗分布(lighting):对法向量插值导致的误差

     轮廓(silhouette):mesh轮廓中的错误

    实验发现,轮廓的改变产生的现象最容易被发现,其他两个影响较小。因此作者就对轮廓的改变进行量化感知。

    缺点:但是作者并没提供主观实验相关性的数据而且实验只是在动画的一帧中做了实验(相当于静止帧)

  • 物理模拟保真度(Fidelity of physical simulations)

    动态网格数据集获取的方式很多,物理模拟就是其中一个。在仿真产生的动态场景中,除了感知物理模拟动画和参考模拟模型间的差异,还可以感知在仿真中物理特性的似然性。通过一系列主观实验,O’Sullivan基于物体模拟碰撞提出一个视觉保真度metric,这个metric主要估计感知模拟模型非相似性的概率P(A)。

    动态metric及主观测试实验

    上面的三个P分别表示:

    the probabilty of spotting an error in the postcollision angels of the objects;

    the probability of perceiving the post-collision speeds of the objects as implausible

    the probability of seeing a gap between the colliding objects at the time of the collision or a delay between the collision and the subsequent movement

    动态metric及主观测试实验

主观数据库和主观评价(Subjective databases and evaluation)

  • 主观测试(Subjective tests)
  • 主观实验的步骤:

    1) 构建具有不同类型的模型数据库(包括参考模型和失真模型)

    2) 主观实验是观察者通过感知失真模型给出相应的分数。然后计算出MOS(mean opinion scores)分数,

    动态metric及主观测试实验

    其中 是第i个模型的MOS值,n表示测试物体的个数, 表示第j个主观打分人对第i个模型的主观分。

    3) 每个打分的人可能对模型打分尺度标准有差距,所以要对主观分数进行归一化和异常值剔除。也可以通过计算95%置信区间或组内相关系数检查MOS值的可靠性。

    4) 分析数据:分析MOS值和metric值间的相关性。一般使用Spearman Rank Order Correlation和 Pearson Linear Correlation Coefficient。

  • 主观实验的影响因素:

    1) 环境:显示器的类型,观看距离,灯光明暗。

    2) 材料:比如模型库需要包括不同种类和不同失真,不能针对特殊场景。而且打分的方位需要平衡。

    3) 打分方式:如何播放模型和打分方式,如,单激励还是双激励,五分制(很差,差,一般,好,很好)还是十分制。

    4) 分析打分结果:如何使MOS有显著特征

  • 主要的模型库:

    The LIRIS/EPFL General-Purpose Database

    The LIRIS Masking Database http://liris.cnrs.fr/guillaume.lavoue/data/datasets.html.

    The IEETA Simplification Database http://www.ieeta.pt/ sss/repository/

    The UWB Compression Database http://compression.kiv.zcu.cz/

质量评估的应用举例

  • 水印(watermarking),压缩(compression)

    所谓水印,就是将一定的信息嵌入物体中,一般用于防伪,保护知识产权。Mesh水印主要有以下三种应用:版权保护(鲁棒水印),mesh认证(脆弱水印)和内容增强(高负载水印)。水印信息的嵌入会给原始模型带来一定的损害,是模型产生失真,如何使失真尽可能少的被观察到,就是质量评估要做的。

    1) 利用HVS对频率的敏感度不同:人眼对高频产生的变化感知比较差,所以将水印信息融合在高频上是一个很重要的选择,但3Dmesh的频域转换比较难。对于压缩而言,高频点压缩比特高一些,低频点少一些。

    2) 利用掩盖效应,对复杂区域水印信息加载的多一些,压缩比特也可以大一些。

  • Quality Metric存在的问题

    Metric对各种失真模型的适应性

    面对不同环境和用途的失真模型精确预测的能力,比如不同显示设备,不同渲染程序

    对具有不同特性的模型,如大小,平坦度和细节丰富程度

继续阅读