一种基于深度学与强化学的车辆识别方法

摘要

本发明公开了一种基于深度学与强化学的车辆识别方法，在利用深度网络的结构特点上，提供一种深度学与强化学结合的方法，将强化学中的Q‑学算法应用到深度学网络中，训练过程仍然使用随机梯度下降算法，提高了深度网络对车辆的识别的能力；其次，加入了基于错分样本学的强化学技术，克服了深度学网络在车辆识别领域现有的技术不足，提升车辆识别性能的同时，也提高了网络的训练效率。

主权项

一种基于深度学习与强化学习的车辆识别方法，其特征在于，包括以下步骤：(1)、图像预处理从车辆样本库中提取车辆图像样本，再将提取的车辆图像样本转换为灰度图，并归一化，再对归一化后的每一幅车辆图像样本添加数值标签，即：不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”；(2)、计算第t个车辆图像样本的期望最大回报值(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量x_t，对应的数值标签表述为a_t，a_t∈[0,3]；(2.2)、按照Q‑学习理论，计算出第t个车辆图像样本的未来回报r_t为：$r_t={\Sigma }_{t^{\prime }=t}^T{\gamma }^{t^{\prime }-t}{r}_{t^{\prime }}$其中，T是车辆图像样本的总量，γ^t′‑t表示第t个样本对t′个样本的奖励折扣系数；(2.3)、利用最优动作‑值函数Q^*(x,a)计算出第t个车辆图像样本的期望最大回报值；Q_t^*(x_t,a_t)＝max_πE[r_t|x_t＝x,a_t＝a,π]其中，x泛指车辆图像样本，a泛指数值标签，π是车辆图像样本和数值标签的映射函数，通过选择不同的数值标签a_t∈a来计算奖励的期，期望值最大时对应的数值标签即为该车辆图像样本的数值标签；(3)、构建深度学习网络的权值更新方程(3.1)、计算第t个车辆图像样本的目标输出y$y_t=E[r_t+{\mathrm{\gamma max}}_{a_{t-1}}{Q}_{t-1}^{*}(x_{t-1},a_{t-1};{\theta }_{t-1})|x,a]$其中，θ_t‑1表示第t‑1个图像样本时的权值参数，γ为折扣系数；(3.2)、通过最小化损失函数L_t(θ_t)来更新深度学习网络的权值参数$L_t\left({\theta }_t\right)=E_{x_t,a_t~\rho (·)}\left[{(y_t-Q_t^{*}(x_t,a_t;{\theta }_t\left)\right)}^2\right]$其中，ρ(x,a)是图像样本x和标签a的概率分布，E[·]为求期望；(3.3)、损失函数L_t(θ_t)对权重θ_t求导，得到深度学习网络的权值更新方程，并更新权值${▿}_{{\theta }_t}{L}_t\left({\theta }_t\right)=E_{x_t,a_t~\rho (·)}\left[(r_t+{\mathrm{\gamma max}}_{a_{t-1}}{Q}_{t-1}^{*}(x_{t-1},a_{t-1};{\theta }_{t-1})-Q_t^{*}(x_t,a_t;{\theta }_t\left)\right){▿}_{{\theta }_t}{Q}_t^{*}\right(x_t,a_t;{\theta }_t\left)\right]$其中，表示括号内式子对权重θ_t的求导数；(4)、训练深度学习网络(4.1)、将车辆样本库中的车辆图像样本作为训练样本，将训练样本分为N份，且每一个训练样本均处理成行向量x_t，并作为深度学习网络的输入，设置四个输出神经元；(4.2)、根据先验知识确定出训练样本中车辆类别，再以第一份训练样本的行向量x_t为输入，输出分别为“1000”，样本中不含车辆；输出为“0100”，样本中为小汽车；输出为“0010”，样本中为卡车；输出为“0001”，样本中为大巴车；通过权值更新方程调节深度学习网络模型中的权值，第一次训练深度学习网络；(4.3)、找出第一份训练样本中实际输出与先验知识不同的训练样本，设共找出n个不同的训练样本，再将该n个训练样本分别进行逆时针旋转2^°以及加入σ＝0.2的高斯噪音；(4.4)、在第二份训练样本中随机抽取出n个训练样本，并用步骤(4.3)中处理后的n个训练样本补齐到第二份训练样本中，再用新得到的第二份训练样本按照步骤(4.2)所述方法进行第二次深度学习网络的训练；(4.5)、以此类推，直到第N份训练样本完成深度学习网络的训练，得到最终的深度学习网络；(5)、利用训练好的深度学习网络来识别车辆将待检测的车辆样本图像处理成行向量x_t，再输入到训练完毕的深度学习网络，根据深度学习网络的输出结果识别出图像中的车辆情况。