来源：计算机视觉工坊
添加微信：dddvisiona，备注：目标检测，拉你入群。文末附行业细分群
MMDetection 是一个基于 PyTorch 的目标检测开源工具箱。它是 OpenMMLab 项目的一部分。主分支代码目前支持 PyTorch 1.8 及其以上的版本。
使用前提
(1)mmdet使用手册地址
https://mmdetection.readthedocs.io/zh-cn/latest/user_guides/index.html#id2
(2)第一次运行前请先运行 pip install seaborn 安装必要依赖
pip install seaborn
日志分析
使用方法
python tools/analysis_tools/analyze_logs.py plot_curve [--keys ${KEYS}] [--eval-interval ${EVALUATION_INTERVAL}] [--title ${TITLE}] [--legend ${LEGEND}] [--backend ${BACKEND}] [--style ${STYLE}] [--out ${OUT_FILE}]参数解释
--keys ${KEYS}：要分析和绘制的曲线的键值列表。键值是数据记录中的一个字段，可以是训练损失、验证准确率等指标。
--eval-interval {EVALUATION_INTERVAL}是一个整数，表示每隔多少个数据点进行评估和绘制。
--title ：曲线图的标题。{TITLE}是一个字符串，用于设置曲线图的标题。
--legend ：曲线图的图例标签。{LEGEND}是一个字符串，用于设置曲线图的图例标签。
--backend ：绘图库的后端。{BACKEND}是一个字符串，用于指定绘图库的后端，例如matplotlib或plotly。
--style ：曲线图的样式。{STYLE}是一个字符串，用于设置曲线图的样式，例如线条颜色、线型等。
--out ：输出文件路径。{OUT_FILE}是一个字符串，用于设置曲线图的输出文件路径。
样例
（1）绘制分类损失曲线图
python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls --legend loss_cls --out out_path
（2）绘制分类损失、回归损失曲线图，保存图片为对应的 pdf 文件
python tools/analysis_tools/analyze_logs.py plot_curve log.json --keys loss_cls loss_bbox --legend loss_cls loss_bbox --out losses.pdf
注：--keys 这里的参数可以替换成log.json中的数据参数。（3）在相同图像中比较两次运行结果的 bbox mAP
python tools/analysis_tools/analyze_logs.py plot_curve log1.json log2.json --keys bbox_mAP --legend run1 run2
注：注意json文件中bbox_mAP的名字,有可能是0_bbox_mAP等...... （4）计算平均训练速度
python tools/analysis_tools/analyze_logs.py cal_train_time log.json
python tools/analysis_tools/analyze_logs.py cal_train_time log.json --include-outliers
注：这里--include-outliers的作用是指定在计算训练迭代的平均时间时是否包含异常值。
结果分析
使用 tools/analysis_tools/analyze_results.py 可计算每个图像 mAP，随后根据真实标注框与预测框的比较结果，展示或保存最高与最低 top-k 得分的预测图像。
python tools/analysis_tools/analyze_results.py \ ${CONFIG} \ ${PREDICTION_PATH} \ ${SHOW_DIR} \ [--show] \ [--wait-time ${WAIT_TIME}] \ [--topk ${TOPK}] \ [--show-score-thr ${SHOW_SCORE_THR}] \ [--cfg-options ${CFG_OPTIONS}]参数解释
config: model config 文件的路径。
prediction_path: 使用 tools/test.py 输出的 pickle 格式结果文件。
show_dir: 绘制真实标注框与预测框的图像存放目录。
--show：决定是否展示绘制 box 后的图片，默认值为 False。
--wait-time: show 时间的间隔，若为 0 表示持续显示。
--topk: 根据最高或最低 topk 概率排序保存的图片数量，若不指定，默认设置为 20。
--show-score-thr: 能够展示的概率阈值，默认为 0。
--cfg-options: 如果指定，可根据指定键值对覆盖更新配置文件的对应选项。
注：这里要使用的是test.py 输出的 pickle 格式结果文件。
test.py获取pickle 格式样例
python tools/test.py example_faster_rcnn_export.py latest.pth --eval bbox --out out.pkl
python tools/test.py example_faster_rcnn_export.py latest.pth --out out.pkl
注：可以选择评估方式 --eval ，对于 COCO 数据集，可选 bbox 、segm、proposal ；对于 VOC 数据集，可选 map、recall也可以选择 --out ，指定测试结果的 pkl 输出文件。注：可以根据上面 --out 保存的结果 pkl 文件计算指标，而无需重新跑。
python tools/analysis_tools/eval_metric.py example_faster_rcnn_export.py out.pkl --eval bbox
tools/analysis_tools/analyze_results.py可以将模型的预测结果框画出来进行可视化，其中第二个参数是上面 --out 保存的结果 pkl 文件，第三个是参数是结果保存到的目录，可以通过 --show-score-thr 来指定可视化框的阈值。
样例
（1）计算每个图像 mAP，随后根据真实标注框与预测框的比较结果，展示或保存最高与最低 top-k 得分的预测图像
python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --show
（2）测试 Faster R-CNN 并指定 top-k 参数为 50，保存结果图片
python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --topk 50
（3）滤低概率的预测结果，指定 show-score-thr 参数
python tools/analysis_tools/analyze_results.py example_faster_rcnn_export.py out.pkl out/ --show-score-thr 0.3
可视化数据集
使用方法
python tools/analysis_tools/browse_dataset.py ${CONFIG} [-h] [--skip-type ${SKIP_TYPE[SKIP_TYPE...]}] [--output-dir ${OUTPUT_DIR}] [--not-show] [--show-interval ${SHOW_INTERVAL}]样例
python tools/misc/browse_dataset.py example_faster_rcnn_export.py --output-dir out/
误差分析
＞首先使用以下命令得到 bbox 或 segmentation 的 json 格式文件。
python tools/test.py --format-only --eval-options "jsonfile_prefix=out/out_resul"
样例
（1）得到每一类的 COCO bbox 误差结果，并保存分析结果图像至指定目录
python tools/analysis_tools/coco_error_analysis.py results.bbox.json out/ --ann=via_export_coco_int.json
混淆矩阵
＞混淆矩阵是对检测结果的概览。tools/analysis_tools/confusion_matrix.py 可对预测结果进行分析，绘制成混淆矩阵表。首先，运行 tools/test.py 保存 .pkl 预测结果，之后再运行。
使用方法
python tools/analysis_tools/confusion_matrix.py ${CONFIG} ${DETECTION_RESULTS} ${SAVE_DIR} --show样例
python tools/analysis_tools/confusion_matrix.py example_faster_rcnn_export.py faster_rcnn_fpn_coco.pkl --output-dir out/
打印全部 config
＞tools/misc/print_config.py 可将所有配置继承关系展开，完全打印相应的配置文件。
使用方法
python tools/misc/print_config.py ${CONFIG} [-h] [--options ${OPTIONS [OPTIONS...]}]样例
python tools/misc/print_config.py example_faster_rcnn.py