研究深度学习的目标检测与搜索算法,基于深度学习的目标检测有哪些实际应用

检测和搜索视频中的目标是计算机视觉领域的重要任务之一。其主要难点在于如何利用深度学习算法分析视频中目标的位置，以及如何根据查询条件在视频中搜索准确的目标。近年来，传统的深度学习算法在单个静态图片的识别和文本描述的生成方面取得了很大进展，但仍然不能满足视频中目标的检索要求。

本文以检测和搜索视频中的目标对象为研究对象。首先，提出了一种基于边界概率卷积神经网络模型的目标位置检测算法来识别和定位视频中的目标。然后，利用基于时间空双流特征融合的三维卷积神经网络完成视频中字符的运动检测。最后，利用基于循环神经网络(GRU)模型的自然语言目标搜索算法完成视频中的目标搜索。此外，本文还完成了PASCAL VOC的目标位置检测实验、UCF-101和HMDB51的视频字符运动检测实验以及Refer It的自然语言搜索实验。实验结果表明，本文提出的基于深度学习的目标检测和搜索算法在一定程度上改进了现有方法。

本文的创新主要体现在以下三个方面:

(1)利用基于目标候选帧边界概率的卷积神经网络模型，计算特定搜索区域内目标候选帧四条边缘的概率，得到更接近人工标注帧的候选，并以迭代方式与目标识别模型融合。

(2)在深度卷积层融合预训练的空流间和时间流检测网络，在中间层利用融合的时间空双流运动检测模型提取时间空特征提取，然后利用三维卷积神经网络模型完成视频字符运动检测。

(3)卷积神经网络用于并行提取局部目标区域和全局特征，双层门环神经网络用于融合两个特征和自然语言搜索语句的特征，完成自然语言目标搜索。

视频中目标的检测和检索是计算机视觉领域的一项重要任务。主要难点在于如何利用深度学习算法分析视频中物体的位置，以及如何根据查询标准在视频中搜索到准确的物体。近年来，传统的深度学习算法在单静态图像的识别和文本描述的生成方面取得了很大进展。然而，视频中目标的检索要求却无法满足。

本文的目标是检测和检索视频中的目标对象。首先，提出了一种基于边界概率卷积神经网络模型的目标位置检测算法来识别和定位视频中的目标。然后，利用基于时空特征融合的三维卷积神经网络对视频中的角色进行动作检测。最后，利用基于门控递归单元(GRU)的自然语言目标搜索算法完成视频中的目标检索。此外，本文还对PASCAL VOC进行了目标检测实验，对OnCf-101和HMDB51进行了字符动作检测实验，并对Refer It进行了自然语言对象检索实验。

结果表明，基于深度学习的目标检测和检索算法在一定程度上改进了现有方法。

论文的工作主要体现在以下三个方面:

(1)利用基于目标候选框边界概率神经网络模型的卷积，计算搜索区域上一定概率的四边目标候选边界框，得到更接近地面真值框的候选框，并通过迭代与目标识别模型集成；(2)将预先训练好的时空网络融合在深度卷积层，利用组合的时空模型提取时空特征，利用三维卷积神经网络完成视频中人物动作的检测；(3)利用卷积神经网络并行提取局部目标区域和全局图像的特征，并利用两层门控递归单元将这两个特征和自然语言语句的特征结合起来进行自然语言对象检索。

1.1研究的背景和意义

1.2视频目标检测概述

1.2.1视频对象检测的基本概念

1.2.2视频对象检测方法

1.3视频目标搜索概述

1.3.1视频目标搜索的基本概念

1.3.2视频目标搜索方法

1.4研究思路和创新

1.5论文的主要研究工作和结构

2.1视频预处理

2.1.1镜头分割

2.1.2关键帧提取

2.1.3 RGB颜色通道提取

2.2有线电视新闻网在视频图像识别中的应用

2.2.1有线电视新闻网的网络结构

2.2.2有线电视新闻网算法原理

2.3目标候选区域提取算法

2.3.1滑动窗口算法

2.3.2选择性搜索算法

2.3.3边缘盒算法

2.4 RNN在基于文本的目标搜索中的应用

2 . 4 . 1 RNN的网络结构

2 . 4 . 2 RNN算法的原理

2.4.3 GRU神经网络

2.5本章总结

3.1问题描述

3.2基于边界盒概率的卷积神经网络定位模型

3.2.1边界盒概率的预测原则3.2.2边界盒概率的表示

3.2.3基于深度卷积神经网络的定位模型框架设计

3.3视频目标定位检测算法流程设计

3.4实验和结果分析

3.4.1实验设计

3.4.2结果分析

3.5本章总结

4.1问题描述

4.2基于时间空双流的融合特征提取

4.2.1 空流间卷积神经网络

4.2.2时间流卷积神经网络

4.2.3时间空特征融合策略

4.3基于三维卷积神经网络的字符运动检测

4.3.1整体框架设计

4.3.2 3D卷积神经网络动作检测

4.4实验和结果分析

4.4.1实验设计

4.4.2结果分析

4.5本章总结

5.1问题描述

5.2基于GRU的自然语言搜索模型框架设计

5.3模式的迁移学习

5.3.1数据集上的图片文本描述预培训

5.3.2图像目标自然语言搜索数据集的微调

5.4实验和结果分析

5.4.1实验设计

5.4.2结果分析

5.5本章总结

6.1工作总结

6.2工作展望