基于Q学的异构网络接入控制优化选择方法

摘要

基于Q学的异构网络接入控制优化选择方法，属于无线网络领域，本发明为解决针对WCDMA/WLAN融合异构网络系统，采用基于测量的接入方案选择网络类型不能实现全局最优，而采用基于模型的接入方案选择网络类型计算过于复杂，很难应用于实际系统的问题。本发明所述基于Q学的异构网络接入控制优化选择方法包括以下步骤：步骤一、判断接入新用户时的异构网络状态；步骤二、查询Q值表，选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络。本发明方法用于新用户接入时能根据当前的实际情况快速选择接入的网络类型。

主权项

基于Q学习的异构网络接入控制优化选择方法，其特征在于，该方法包括以下步骤： 步骤一、判断接入新用户时的异构网络状态； 所述异构网络指的是WCDMA子网络和WLAN子网络采用松耦合的方式组成的融合异构网络， 所述异构网络状态是根据WCDMA子网络的基于干扰的四种网络状态和WLAN子网络的基于信道繁忙率的四种网络状态共同确定的， WCDMA子网络的基于干扰的四种网络状态向量s_c=[I_very low,I_low,I_high,I_very high]，WLAN子网络的基于信道繁忙率的四种网络状态向量s_w=[R_{b‑very low},R_b‑low,R_b‑high,R_{b‑very high}]， 则所述WCDMA子网络和WLAN子网络构成的异构网络的网络状态向量s为： s=[R_{b‑very low}I_very low,R_{b‑very low}I_low,R_{b‑very low}I_high,R_{b‑very low}I_very high, R_b‑lowI_very low,R_b‑lowI_low,R_b‑lowI_high,R_b‑lowI_very high, R_b‑highI_very low,R_b‑highI_low,R_b‑highI_high,R_b‑highI_very high,； R_{b‑very high}I_very low,R_{b‑very high}I_low,R_{b‑very high}I_high,R_{b‑very high}I_very high] 确定WCDMA子网络的基于干扰的四种网络状态的规则为： 当0≤I_total+△I<I₁时，WCDMA子网络处于I_very low状态； 当I₁≤I_total+△I<I₂时，WCDMA子网络处于I_low状态； 当I₂≤I_total+△I<I₃时，WCDMA子网络处于I_high状态； 当I_total+△I≥I₃时，WCDMA子网络处于I_very high状态； 其中，I₁=4～7，I₂=8～9，I₃=10～12， I_total为WCDMA子网络的基站接入新用户前的N个用户的总干扰， △I为接入新用户增加的干扰，且按如下公式获取： 式中：△L为新接入用户的负载因子，且按公式 获取；其中：W为码片速率； v_new为接入新用户的激活因子； R_new为接入新用户的比特速率； (E_b/N₀)_new为接入新用户的信噪比； η为基站中各条链路的负载因子之和，且按公式 获取，其中：f为其他小区与本小区的干扰之比，且f=0.55； v_i为第i个用户的激活因子，i=1,2,…,N，N为WCDMA子网络的基站接入新用户前的用户数量； R_i为第i个用户的比特速率； (E_b/N₀)_i为第i个用户的信噪比； 步骤二、查询Q值表，选择步骤一所述异构网络状态对应的Q值表中的最大Q值对应的子网络作为新用户的接入网络； Q值表的获取过程为： 步骤a、初始化Q值表，在[0，1]区间内随机赋值Q值表中的j=1,2,...16，Q值表 步骤b、接入新用户，作出选择动作，记录立即回报函数r_s(a)，记录规则为： 当接入新用户为办理数据业务，作出的选择动作为选择WCDMA子网络即a=1时，记录r_s(a)=1； 当接入新用户为办理数据业务，作出的选择动作为选择WLAN子网络即a=2时，记 录r_s(a)=2； 当接入新用户为办理语音业务，作出的选择动作为选择WCDMA子网络即a=1时，记录r_s(a)=2； 当接入新用户为办理语音业务，作出的选择动作为选择WLAN子网络即a=2时，记录r_s(a)=1； 当WCDMA子网络和WLAN子网络都没有足够资源，呼叫阻塞时，记录r_s(a)=‑5； 步骤c、根据公式 更新Q值表， 其中，α是学习强度，α=0.1～0.2， γ为折扣因子，且0<γ<1， Q_s,t+1(a)为当前时刻、异构网络状态为s选择动作为a时Q值， Q_s,t(a)为前一时刻、异构网络状态为s选择动作为a时Q值， 步骤d、当满足收敛条件△Q(s,a)<ε,a∈A，停止迭代，迭代门限ε=0.005，△Q(s,a)为某个异构网络状态s选择动作为a的前后两次Q值的差值，△Q(s,a)=|Q_s,t+1(a)‑Q_s,t(a)|， S为异构网络的状态集合，A为所有动作的集合， 重复执行步骤b至步骤d，直至将Q值表中所有Q值都更新完毕。