在做图像分类任务时，我们先使用卷积神经网络提取图像特征，然后再用这些特征预测分类概率。注意这里是对整张图像提取特征，所以无法区分图像中的不同目标，也就没法分别标示出每个物体所在的位置。

为了解决这个问题，我们可以将目标检测任务进行拆分。以某种方式在图像上生成一系列可能包含物体的区域（候选区域），然后对每个候选区域，把它单独当成一幅图像来看待，使用图像分类模型对它进行分类，看它属于哪个类别，从而实现目标检测任务。

2015年，Shaoqing Ren 等人提出了Faster R-CNN模型，提出了RPN的方法来产生物体的候选区域，这一方法不再需要使用传统的图像处理算法来产生候选区域，进一步提升了处理速度。

本文将通过一个具体的案例来演示一下如何使用Faster RCNN来实现目标检测任务。

一、数据集介绍：

这里采集了五种水果的数据：蕃茄、核桃、桔子、龙眼、青枣。共300张图像，图像大小：640*480。并做好了标注和数据集的划分。标注和划分操作可以参看：24.人工智能：计算机视觉任务——数据格式和标注。

二、开启训练

这里使用飞桨的PaddleX来进行数据训练，飞桨的PaddleX安装和介绍可以参看：40.人工智能——深度学习飞桨-PaddleX 安装：Windows 10系统

训练代码：

import paddlex as pdx
from paddlex import transforms as T 

#定义训练和验证时的transforms
train_transforms = T.Compose([
    T.RandomResizeByShort([480])，
    T.RandomHorizontalFlip(),
    T.RandomVerticalFlip(),
    T.RandomDistort(),
    T.Normalize(),
])

eval_transforms = T.Compose([
    T.ResizeByShort(480),
    T.Normalize(),
])

#定义训练和验证所用的数据集
train_dataset = pdx.datasets.VOCDetection(
    data_dir="fruit",
    file_list="fruit/train_list.txt",
    label_list="fruit/labels.txt",
    transforms=train_transforms,
    shuffle=True)

eval_dataset = pdx.datasets.VOCDetection(
    data_dir="fruit",
    file_list="fruit/val_list.txt",
    label_list="fruit/labels.txt",
    transforms=eval_transforms,
    shuffle=False)

#初始化模型，并进行训练
num_classes=len(train_dataset.labels)
model=pdx.det.FasterRCNN(num_classes=num_classes,backbone="ResNet50_vd_ssld",with_fpn=True)

model.train(
    num_epochs=12,
    train_dataset=train_dataset,
    train_batch_size=2,
    eval_dataset=eval_dataset,
    learning_rate=0.0025,    
    save_dir="output/faster_rcnn_fruit_vd_ssld",
    use_vdl=True
    )

训练用时：约10分钟（GPU环境）。训练过程的部分数据：训练最后一轮的bbox_map=86.048393，mAP达到86%以上，说明训练的效果还是可以的。还可以通过调整训练参数，来提高mAP的值。

 [INFO]	[TRAIN] Epoch 12 finished, loss_rpn_cls=0.07835666, loss_rpn_reg=0.043555364, loss_bbox_cls=0.3541407, loss_bbox_reg=0.33574098, loss=0.81179374 .
 [WARNING]	Detector only supports single card evaluation with batch_size=1 during evaluation, so batch_size is forcibly set to 1.
[INFO]	Start to evaluate(total_samples=60, total_steps=60)...
 [INFO]	Accumulating evaluatation results...
 [INFO]	[EVAL] Finished, Epoch=12, bbox_map=86.048393 .
 [INFO]	Model saved in output/faster_rcnn_fruit_vd_ssld/best_model.
 [INFO]	Current evaluated best model on eval_dataset is epoch_12, bbox_map=86.04839316592215
 [INFO]	Model saved in output/faster_rcnn_fruit_vd_ssld/epoch_12.

三、推理预测

为了方便和快速推理预测，先把训练模型转出部署模型。当然也可以直接使用训练模型来进行预测。训练模型转成部署模型，可以直接使用以下命令。

# paddlex -export_inference --model_dir best_model --save_dir inference

推理预测实现代码：

import os
import cv2
import random
#启用GPU
os.environ["CUDA_VISIBLE_DEVICES"]="0,1" 

basedir="fruit"
#随机选择一个测试文件，并显示
test="test_list.txt"
with open(os.path.join(basedir,test),"r") as f:
    lines=f.read().splitlines()
fimg=random.choice(lines).split(" ")[0]
fimg=os.path.join(basedir,fimg)
print(fimg)

predictor=pdx.deploy.Predictor("output/faster_rcnn_fpn_fruit/inference_model",use_gpu=True)
img=cv2.imread(fimg)
result=predictor.predict(img)
#print(result)
vis_img=pdx.det.visualize(img,result,threshold=0.5,save_dir=None)
cv2.imshow("result",vis_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

随机取三条测试数据，预测结果可视化如下：

从预测结果的准确率来看，效果还是不错的，基本上能达到预期目标检测的效果。

补充说明：

修改调整了一下训练参数，一是迭代次数增加到50，二是数据增强也增加尺寸。最后mAP高达到94%以上了。

 [INFO]	[EVAL] Finished, Epoch=50, bbox_map=92.396987 .
 [INFO]	Current evaluated best model on eval_dataset is epoch_40, bbox_map=94.28783236128207
 [INFO]	Model saved in output/faster_rcnn_fruit_vd_ssld/epoch_50.

醋醋百科网

Good Luck To You!

59.人工智能——基于Faster R-CNN实现多种水果目标检测

一、数据集介绍：

二、开启训练

三、推理预测