一种基于Sarsa学的中心式动态路径诱导方法

摘要

一种基于Sarsa学的中心式动态路径诱导方法， 该方法可通过Sarsa学计算所有可能目的地的Q值表，为所有车辆提供路径诱导。建立Q值表具体包括以下两个步骤：第一，交通中心根据路网信息以及以往路段通行时间，利用基于Q值的动态规划算法初始化各个目的地的Q值表；第二，交通信息中心根据利用车联网技术采集的车辆实时信息，每隔时间T利用Sarsa学方法更新Q值表。交通信息中心根据车辆的位置及目的地信息，读取Q值表中相应路段Q值，通过结合全局和局部参数的Boltzmann分布为车辆分配路段，实现路径诱导。本发明能够使用Sarsa学方法，为所有可能终点计算Q值表，从而为所有车辆提供最优的路径诱导。

主权项

一种基于Sarsa 学习的中心式动态路径诱导方法，其特征在于包括下述步骤：步骤 1：初始化Q 值表；交通信息中心根据地理信息库中路网信息包括路网拓扑结构，路段长度，车道数和采集到的各路段车辆通行时间，利用基于Q 值的动态规划初始化各个可能终点d 的Q 值表；步骤 2：车辆将自身信息及目的地信息通过车联网技术发送到交通信息中心；步骤3：通过使用结合全局和局部参数控制策略的Boltzmann 分布来为每辆车进行路径诱导；(1) 交通信息中心提取将步骤2 中获得的各个车辆的车载控制单元发送的数据包中车辆位置信息和目的地经纬度信息；(2) 信息中心根据车辆位置信息与目的地经纬度信息，在地理信息库中查询当前所驾驶车辆以及目的地所处的路段；(3) 信息中心根据当前系统中车辆的数量计算当前值，公式如下所示：式中，是的最大值，NV是当前系统中车辆的数量，是参数；(4) 信息中心计算车辆所在路段的相连路段的车道占有率，公式如下：式中，N 是路段中车辆的数量，V_k是路段中第k辆车，length(V_k)是车辆长度，length(S_ij)是路段S_ij的长度，mingap 是车辆间的最小间距，numlane(S_ij)是路段S_ij的车道数；(5)信息中心根据车辆所在路段和目的地所处路段从交通信息中心数据库<Q 值表>中读取对应当前目的地的车辆所在路段的下一路段的Q值，根据结合全局和局部参数控制策略的Boltzmann分布计算车辆所应行驶的下一路段，公式如下所示：式中，P_d(i,j)是车辆选择路段S_ij的概率，Q_d(i,j)是车辆通过路段S_ij到达目的地d的时间的估计，mi是局部控制参数，取决于交通节点i相连路段的车道占有率，是全局控制参数，它取决于系统中总的交通状况，EQ_d (i)是节点i周围路段到终点d的Q值的平均值； (6) 交通信息中心将上式得到的车辆所应行驶的下一路段，通过无线通讯模块发送到车载控制单元中，最终通过车载控制单元发送到车载导航地图中进行显示；步骤4：交通信息中心根据车辆数据包获得实时交通信息，具体为：(1)交通信息中心提取步骤2 中车载控制单元发送的数据包的信息，存入交通信息中心数据库车辆信息表中；(2)交通信息中心读取交通信息中心数据库车辆信息表，计算车辆通过路段的运行时间，将车辆通过路段的运行时间及车辆所选择的下一路段存于交通信息中心数据库实时交通信息表中；步骤5：交通信息中心根据实时交通信息，利用Sarsa 学习方法更新Q 值表；交通信息中心根据路网内全部车辆状态信息，每隔T时刻，从交通信息中心数据库实时交通信息表中读取对应各个目的地编号的更新时间最晚的各个路段，通过时间以及下一路段编号，从交通信息中心数据库的Q 值表中读取各路段对应的Q值，利用Sarsa学习方法更新Q值表，Sarsa学习公式如下所示：式中，是学习率，t_ij(v)是车辆v 通过路段s_ij的实际通过时间；将新的Q值存入交通信息中心Q值表中。