文章目录
-
- 0. 前言
- 1. 问题引入
-
- 1.1 要解决什么问题
- 1.2 用了什么方法
- 1.3 还存在什么问题&可借鉴之处
- 2 性能指标
-
- 2.1 对于性能指标的要求
- 2.2 PQ 的定义与实现
- 2.3 COCO 中的细节
0. 前言
- 全景分割调研系列文章分为4篇
- 问题引入与性能指标（本文）
- 常用数据集
- 当前研究现状（现有模型概况与分类、开源情况）
- 本文主要内容
- 全景分割的引入（也就是这篇论文的笔记）
- 全景分割常用性能指标介绍
1. 问题引入
- 相关资料：
- arxiv
- github
- 论文解读，知乎讨论
- 论文基本信息
- 领域：全景分割（挖坑作）
- 作者单位：FAIR
- 发表时间：2018.1-CVPR2019
- 一句话总结：全景分割开山之作，介绍了问题的定义、性能指标以及baseline方法（该方法没有什么价值）
1.1 要解决什么问题
- 引入全景分割
- 下图对比了语义分割、实例分割和全景分割。
- 全景分割可以看成是语义分割和实例分割的结合：things使用实例分割，stuff使用语义分割。
- 换句话说，things区分个体，stuff不区分个体。
- 作者认为：
- 相比于语义分隔与实例分割，全景分割是一种更符合人类认知的感知问题。
- 相关问题研究不多，一个重要原因在于，没有合适的性能指标。
- things 与 stuff
- things：countable objects，即可计数物体，如人、车等，常见算法包括目标检测、实例分割。
- stuff：amorphous regions of similar texture or material，即背景，如草地、天空、路面等，常见算法包括语义分割。
- 问题定义（task format）很简单：每个像素都对应一个语义标签（stuff）或实例编号（things）
1.2 用了什么方法
- 本文提出了适用于全景分割的性能指标PQ，下一章中单独介绍。
1.3 还存在什么问题&可借鉴之处
- 开山之作，模型本身没有价值，但问题定义与性能指标都沿用至今。
- 论文中还有一些别的内容
- 比如人类一致性，不是特别明白是什么意思，有什么作用。
2 性能指标
- 参考上面的论文以及 COCO Panoptic Evaluation
2.1 对于性能指标的要求
- Completeness：需要同时对 stuff 和 things 进行评估
- Interpretability：可解释，即人可以理解这个指标的含义
- Simplicity：简洁，易于定义和实现
2.2 PQ 的定义与实现
- 定义的性能指标名为 Panoptic Quality，简称 PQ。
- PQ 包含两部分内容
- segment mathing，分割匹配，换句话说，就 prediction 与 GT 进行匹配
- PQ computation given the matches，通过匹配结果计算 PQ 值
- segment matching
- 当预测结果与 GT 的 IoU 大于 0.5 时，才算成功匹配
- 每个 GT segment 只能有一个匹配
- 实验证明，降低 IoU 阈值没有必要，因为很少有<0.5的匹配结果
- PQ 计算
- 对每一类分别计算，然后最后求平均。这样做有利于是的类别间均衡（即不同类别的权重差不多）
- 对于所有预测和GT，有三种可能的结果
- TP，true positive，matched pairs of segments
- FP，false positive，unmatched predicted segments
- FN，false negative，unmatched ground truth segments
- PQ 的公式如下
- 下面两个公式是等价的。
- 第二个公式有更好的可解释性（保证了PQ的Interpretability）。
- SQ 代表分割质量，是TP中GT/Predict之间IoU之和，与所有 TP 的面积的比值，只计算 matched pairs
- RQ 代表识别质量，定义与F1 Score相同
- 在计算PQ的过程中，对于 things，每一个实例可以看成是 stuff 中的单独一类。
- 这保证了 PQ 的Completeness
2.3 COCO 中的细节
- COCO 中的性能指标如下
- 分别计算每一类的PQ/SQ/RQ
- 计算每一类Things的PQ/SQ/RQ
- 计算每一类stuff的PQ/SQ/RQ