作者：大森林 | 来源：计算机视觉工坊
添加微信：dddvisiona，备注：3D点云，拉你入群。文末附行业细分群。
3D点云目标跟踪的评价指标，可以根据跟踪的目标是单个还是多个，分为单目标跟踪（SOT）和多目标跟踪（MOT）两种。一般来说，SOT的评价指标主要关注跟踪的准确性和鲁棒性，而MOT的评价指标则需要考虑跟踪的完整性和一致性。
SOT的常用评价指标有：
- 平均重叠率（Average Overlap Rate, AOR）：表示预测的3D边界框与真实的3D边界框之间的重叠比例的平均值。
- 平均中心误差（Average Center Error, ACE）：表示预测的3D边界框与真实的3D边界框之间的中心点距离的平均值。
- 成功率（Success Rate, SR）：表示预测的3D边界框与真实的3D边界框之间的重叠比例超过某个阈值（如0.5）的帧数占总帧数的比例。
- 精确率（Precision Rate, PR）：表示预测的3D边界框与真实的3D边界框之间的中心点距离小于某个阈值（如1米）的帧数占总帧数的比例。
MOT的常用评价指标有：
- 多目标跟踪精度（Multiple Object Tracking Accuracy, MOTA）：综合考虑了漏检率、误检率和ID切换率对跟踪精度的影响。
- 多目标跟踪精确度（Multiple Object Tracking Precision, MOTP）：表示预测的3D边界框与真实的3D边界框之间的重叠比例或中心点距离的平均值。
- 跟踪长度（Track Length, TL）：表示每个目标被成功跟踪的帧数。
- 跟踪片段（Track Fragment, TF）：表示每个目标被中断跟踪的次数。
- ID切换率（ID Switch Rate, ISR）：表示每个目标被错误地分配给另一个ID或从另一个ID切换过来的次数。
评价指标详细代码：
首先，我们需要导入一些必要的库，如numpy, scipy和sklearn。然后，我们需要定义一些辅助函数，如计算两个3D边界框之间的重叠比例（IoU），计算两个3D点之间的欧氏距离，以及使用匈牙利算法进行数据关联。
这里也推荐「3D视觉工坊」新课程《面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)》
import numpy as npfrom scipy.spatial.transform import Rotation as Rfrom scipy.optimize import linear_sum_assignmentfrom sklearn.metrics import pairwise_distances# 计算两个3D边界框之间的重叠比例（IoU）def iou_3d(box1, box2): # box1和box2都是7维向量，表示(x, y, z, w, l, h, yaw) # 其中(x, y, z)是中心点坐标，(w, l, h)是宽度、长度和高度，yaw是偏航角 # 返回两个边界框之间的IoU值，范围在[0, 1] # 将边界框转换为8个顶点的矩阵 box1_corners = box_to_corners(box1) box2_corners = box_to_corners(box2) # 计算两个边界框在每个轴上的投影区间 box1_xmin = np.min(box1_corners[:, 0]) box1_xmax = np.max(box1_corners[:, 0]) box1_ymin = np.min(box1_corners[:, 1]) box1_ymax = np.max(box1_corners[:, 1]) box1_zmin = np.min(box1_corners[:, 2]) box1_zmax = np.max(box1_corners[:, 2]) box2_xmin = np.min(box2_corners[:, 0]) box2_xmax = np.max(box2_corners[:, 0]) box2_ymin = np.min(box2_corners[:, 1]) box2_ymax = np.max(box2_corners[:, 1]) box2_zmin = np.min(box2_corners[:, 2]) box2_zmax = np.max(box2_corners[:, 2]) # 计算两个边界框在每个轴上的交集区间 inter_xmin = max(box1_xmin, box2_xmin) inter_xmax = min(box1_xmax, box2_xmax) inter_ymin = max(box1_ymin, box2_ymin) inter_ymax = min(box1_ymax, box2_ymax) inter_zmin = max(box1_zmin, box2_zmin) inter_zmax = min(box1_zmax, box2_zmax) # 如果没有交集，返回0 if inter_xmax < inter_xmin or inter_ymax < inter_ymin or inter_zmax < inter_zmin: return 0.0 # 计算交集区域的体积 inter_vol = (inter_xmax - inter_xmin) * (inter_ymax - inter_ymin) * (inter_zmax - inter_zmin) # 计算两个边界框的体积 box1_vol = (box1_xmax - box1_xmin) * (box1_ymax - box1_ymin) * (box1_zmax - box1_zmin) box2_vol = (box2_xmax - box2_xmin) * (box2_ymax - box2_ymin) * (box2_zmax - box2_zmin) # 计算并返回IoU值 iou = inter_vol / (box1_vol + box2_vol - inter_vol) return iou# 将7维向量表示的边界框转换为8个顶点的矩阵表示def box_to_corners(box): # 输入是一个7维向量，表示(x, y, z, w, l, h, yaw) # 输出是一个8x3的矩阵，表示8个顶点的坐标 # 提取边界框的参数 x, y, z, w, l, h, yaw = box # 计算旋转矩阵 rot = R.from_euler('z', yaw).as_matrix() # 计算边界框的中心点 center = np.array([x, y, z]) # 计算边界框的8个顶点的相对坐标 x_corners = np.array([w, w, -w, -w, w, w, -w, -w]) / 2 y_corners = np.array([l, -l, -l, l, l, -l, -l, l]) / 2 z_corners = np.array([h, h, h, h, -h, -h, -h, -h]) / 2 corners = np.vstack((x_corners, y_corners, z_corners)) # 通过旋转和平移，将相对坐标转换为绝对坐标 corners = np.dot(rot, corners).T + center return corners# 计算两个3D点之间的欧氏距离def euclidean_distance(point1, point2): # point1和point2都是3维向量，表示(x, y, z) # 返回两个点之间的欧氏距离 # 计算两个点之间的差异向量 diff = point1 - point2 # 计算并返回欧氏距离 dist = np.sqrt(np.sum(diff ** 2)) return dist# 使用匈牙利算法进行数据关联def data_association(cost_matrix): # cost_matrix是一个m x n的矩阵，表示m个预测和n个观测之间的代价（如距离或者负IoU） # 返回一个长度为m的向量，表示每个预测匹配的观测的索引，如果没有匹配，则为-1 # 使用scipy库中的linear_sum_assignment函数，求解最小化总代价的匹配方案 row_ind, col_ind = linear_sum_assignment(cost_matrix) # 初始化匹配结果为-1 matches = np.full(cost_matrix.shape[0], -1) # 将匹配方案赋值给匹配结果 matches[row_ind] = col_ind return matches 接下来，我们需要定义一些评价指标的计算函数，如AOR，ACE，SR，PR，MOTA，MOTP，TL，TF，ISR等。我们已经有了预测的3D边界框和真实的3D边界框的列表，以及每个边界框的置信度得分。我们还需要定义一些阈值，如重叠比例阈值（iou_threshold），中心点距离阈值（dist_threshold），置信度得分阈值（score_threshold）等，这些阈值将在代码中具体给出。
这里再次推荐「3D视觉工坊」新课程《面向自动驾驶领域的3D点云目标检测全栈学习路线！(单模态+多模态/数据+代码)》
# 计算平均重叠率（AOR）def average_overlap_rate(pred_boxes, gt_boxes):
# pred_boxes是一个p x 7的矩阵，表示p个预测的3D边界框
# gt_boxes是一个g x 7的矩阵，表示g个真实的3D边界框
# 返回平均重叠率（AOR）值
# 如果没有预测或真实边界框，返回0
if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0:
return 0.0 # 计算预测和真实边界框之间的重叠比例矩阵，大小为p x g
iou_matrix = np.zeros((pred_boxes.shape[0], gt_boxes.shape[0]))
for i in range(pred_boxes.shape[0]):
for j in range(gt_boxes.shape[0]):
iou_matrix[i][j] = iou_3d(pred_boxes[i], gt_boxes[j])
# 使用匈牙利算法进行数据关联，得到匹配结果
matches = data_association(-iou_matrix)
# 计算并返回平均重叠率（AOR）值
ace = np.mean(dist_matrix[matches != -1])
return ace# 计算成功率（SR）
def success_rate(pred_boxes, gt_boxes, iou_threshold=0.5):
# pred_boxes是一个p x 7的矩阵，表示p个预测的3D边界框
# gt_boxes是一个g x 7的矩阵，表示g个真实的3D边界框
# iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5
# 返回成功率（SR）值
# 如果没有预测或真实边界框，返回0
if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0:
return 0.0
# 计算预测和真实边界框之间的重叠比例矩阵，大小为p x g iou_matrix = np.zeros((pred_boxes.shape[0], gt_boxes.shape[0])) for i in range(pred_boxes.shape[0]): for j in range(gt_boxes.shape[0]): iou_matrix[i][j] = iou_3d(pred_boxes[i], gt_boxes[j]) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(-iou_matrix) # 计算并返回成功率（SR）值 sr = np.sum(iou_matrix[matches != -1] >= iou_threshold) / pred_boxes.shape[0] return sr# 计算精确率（PR）def precision_rate(pred_boxes, gt_boxes, dist_threshold=1.0): # pred_boxes是一个p x 7的矩阵，表示p个预测的3D边界框 # gt_boxes是一个g x 7的矩阵，表示g个真实的3D边界框 # dist_threshold是一个浮点数，表示中心点距离的阈值，默认为1.0 # 返回精确率（PR）值 # 如果没有预测或真实边界框，返回0 if pred_boxes.shape[0] == 0 or gt_boxes.shape[0] == 0: return 0.0 # 提取预测和真实边界框的中心点坐标 pred_centers = pred_boxes[:, :3] gt_centers = gt_boxes[:, :3] # 计算预测和真实边界框之间的中心点距离矩阵，大小为p x g dist_matrix = pairwise_distances(pred_centers, gt_centers) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(dist_matrix) # 计算并返回精确率（PR）值 pr = np.sum(dist_matrix[matches != -1] <= dist_threshold) / pred_boxes.shape[0] return pr# 计算多目标跟踪精度（MOTA）def multiple_object_tracking_accuracy(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框 # gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框 # iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5 # 返回多目标跟踪精度（MOTA）值 # 如果没有预测或真实边界框，返回0 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return 0.0 # 初始化漏检数、误检数、ID切换数和总真实数为0 miss_count = 0 false_count = 0 switch_count = 0 total_count = 0 # 初始化上一时间步的匹配结果为空字典 prev_matches = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 计算当前时间步的真实边界框的数量，并累加到总真实数中 total_count += gt_box.shape[0] # 如果当前时间步没有预测或真实边界框，跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(-iou_matrix) # 初始化当前时间步的匹配结果为空字典 curr_matches = {} # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框，或者重叠比例低于阈值，累加误检数，并跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: false_count += 1 continue # 获取匹配的真实边界框的索引 j = matches[i] # 如果上一时间步有匹配的真实边界框，并且ID不同，累加ID切换数 if j in prev_matches and prev_matches[j] != i: switch_count += 1 # 将当前的匹配结果保存到字典中 curr_matches[j] = i # 遍历每个真实边界框 for j in range(gt_box.shape[0]): # 如果没有匹配的预测边界框，累加漏检数 if j not in curr_matches: miss_count += 1 # 更新上一时间步的匹配结果为当前的匹配结果 prev_matches = curr_matches # 计算并返回多目标跟踪精度（MOTA）值 mota = 1 - (miss_count + false_count + switch_count) / total_count return mota# 计算多目标跟踪精确度（MOTP）def multiple_object_tracking_precision(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框 # gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框 # iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5 # 返回多目标跟踪精确度（MOTP）值 # 如果没有预测或真实边界框，返回0 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return 0.0 # 初始化总匹配数和总重叠率为0 match_count = 0 sum_iou = 0.0 # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框，跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(-iou_matrix) # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 累加匹配数和重叠率 match_count += 1 sum_iou += iou_matrix[i][j] # 计算并返回多目标跟踪精确度（MOTP）值 motp = sum_iou / match_count return motp# 计算跟踪长度（TL）def track_length(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框 # gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框 # iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5 # 返回一个字典，键为真实目标的ID，值为对应的跟踪长度 # 如果没有预测或真实边界框，返回空字典 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return {} # 初始化跟踪长度字典为空字典 tl_dict = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框，跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(-iou_matrix) # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 如果真实目标的ID已经在跟踪长度字典中，累加1 if j in tl_dict: tl_dict[j] += 1 # 否则，初始化为1 else: tl_dict[j] = 1 # 返回跟踪长度字典 return tl_dict# 计算跟踪片段（TF）def track_fragment(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框 # gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框 # iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5 # 返回一个字典，键为真实目标的ID，值为对应的跟踪片段数 # 如果没有预测或真实边界框，返回空字典 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return {} # 初始化跟踪片段字典为空字典 tf_dict = {} # 初始化上一时间步的匹配结果为空字典 prev_matches = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框，跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(-iou_matrix) # 初始化当前时间步的匹配结果为空字典 curr_matches = {} # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 将当前的匹配结果保存到字典中 curr_matches[j] = i # 如果真实目标的ID已经在跟踪片段字典中，且上一时间步没有匹配该目标，累加1 if j in tf_dict and j not in prev_matches: tf_dict[j] += 1 # 否则，初始化为1 elif j not in tf_dict: tf_dict[j] = 1 # 更新上一时间步的匹配结果为当前的匹配结果 prev_matches = curr_matches # 返回跟踪片段字典 return tf_dict# 计算ID切换率（ISR）def id_switch_rate(pred_boxes, gt_boxes, iou_threshold=0.5): # pred_boxes是一个列表，长度为t，表示t个时间步的预测的3D边界框 # gt_boxes是一个列表，长度为t，表示t个时间步的真实的3D边界框 # iou_threshold是一个浮点数，表示重叠比例的阈值，默认为0.5 # 返回一个字典，键为真实目标的ID，值为对应的ID切换次数 # 如果没有预测或真实边界框，返回空字典 if len(pred_boxes) == 0 or len(gt_boxes) == 0: return {} # 初始化ID切换率字典为空字典 isr_dict = {} # 初始化上一时间步的匹配结果为空字典 prev_matches = {} # 遍历每个时间步 for t in range(len(pred_boxes)): # 获取当前时间步的预测和真实边界框 pred_box = pred_boxes[t] gt_box = gt_boxes[t] # 如果当前时间步没有预测或真实边界框，跳过该时间步 if pred_box.shape[0] == 0 or gt_box.shape[0] == 0: continue # 计算当前时间步的预测和真实边界框之间的重叠比例矩阵，大小为p x g iou_matrix = np.zeros((pred_box.shape[0], gt_box.shape[0])) for i in range(pred_box.shape[0]): for j in range(gt_box.shape[0]): iou_matrix[i][j] = iou_3d(pred_box[i], gt_box[j]) # 使用匈牙利算法进行数据关联，得到匹配结果 matches = data_association(-iou_matrix) # 初始化当前时间步的匹配结果为空字典 curr_matches = {} # 遍历每个预测边界框 for i in range(pred_box.shape[0]): # 如果没有匹配的真实边界框，或者重叠比例低于阈值，跳过该预测边界框 if matches[i] == -1 or iou_matrix[i][matches[i]] < iou_threshold: continue # 获取匹配的真实边界框的索引 j = matches[i] # 将当前的匹配结果保存到字典中 curr_matches[j] = i # 如果上一时间步有匹配的真实边界框，并且ID不同，累加1 if j in prev_matches and prev_matches[j] != i: # 如果真实目标的ID已经在ID切换率字典中，累加1 if j in isr_dict: isr_dict[j] += 1 # 否则，初始化为1 else: isr_dict[j] = 1 # 更新上一时间步的匹配结果为当前的匹配结果 prev_matches = curr_matches # 返回ID切换率字典 return isr_dict 以上就是我帮大家总结的3D点云目标跟踪中常见的评价指标和代码详解，希望可以帮助到大家。
目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶方向，细分群包括：[工业方向]三维点云、结构光、机械臂、缺陷检测、三维测量、TOF、相机标定、综合群；[SLAM方向]多传感器融合、ORB-SLAM、激光SLAM、机器人导航、RTK|GPS|UWB等传感器交流群、SLAM综合讨论群；[自动驾驶方向]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器讨论群、多传感器标定、自动驾驶综合群等。[三维重建方向]NeRF、colmap、OpenMVS等。除了这些，还有求职、硬件选型、视觉产品落地等交流群。大家可以添加小助理微信: dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。
![Win10搭建mmdetection2.6环境并训练模型（二）一、数据集准备二、训练前修改网络配置[图]](data:image/gif;base64,R0lGODlhAQABAIAAAP///wAAACwAAAAAAQABAAACAkQBADs=)