异构无线网络中优化用户QoE的动态网络选择方法

摘要

一种异构无线网络中优化用户QoE的动态网络选择方法，该方法结合传输的业务类型和当前用户接入的网络，周期的动态更新接入网络；该方法包括以下步骤：建立三种业务类型的用户QoE需求函数以及初始化Q学中变量的步骤；采用Q学方法进行网络选择决策及执行切换的步骤；和Q学方法中变量更新的步骤。本发明从用户的角度出发，区分不同的业务特性，优化用户的QoE；本发明提供了一种动态的网络选择方法，能够高效的利用异构无线网络资源；本发明基于强化学，不需要先验的网络状态信息，具有较强的灵活性，能够适应各种动态的网络环境。

主权项

一种异构无线网络中优化用户QoE的动态网络选择方法，其特征是该方法结合传输的业务类型和当前用户接入的网络，周期的动态更新接入网络；该方法包括以下步骤：建立三种业务类型的用户QoE需求函数以及初始化Q学习中变量的步骤；采用Q学习方法进行网络选择决策及执行切换的步骤；和Q学习方法中变量更新的步骤；具体包括以下步骤：步骤1.初始化，完成以下工作：1.1建立三种业务类型的用户QoE需求函数，所述的三种业务类型包括视频业务、音频业务和弹性业务，QoE需求函数将网络服务质量性能参数映射成用户的QoE回报；前述QoE需求函数输入为QoS参数，输出为评分值，评分值的取值范围为1～5，评分越高，代表用户的体验好或满意度高，三种业务对应的QoE需求函数分别如下：1)视频业务，记为s_video：视频业务的QoE取决于接收信号的峰值信躁比P_snr，其QoE需求函数F_video(P_snr)定义为其中，参数b₁确定QoE的增长速度；参数b₂确定函数的中点位置，即QoE取中间值2.75时所需的峰值信躁比；调整b₁和b₂能够满足不同用户对视频业务的个性化要求情况；2)音频业务，记为s_audio：音频业务的QoE与数据包的丢包率e和时延d有关，丢包率和时延可以分别由下式计算e＝e_network+(1‑e_network)e_playoutd＝d_codec+d_playout+d_network其中，e_network为网络传输中引起的丢包率，e_playout为播放缓冲时的丢包率，d_codec为编码器产生的时延，d_playout为播放缓冲导致的时延，d_network为网络传输中产生的时延；上述的丢包和时延导致的音频业务的性能损失I_e和I_d分别为I_e＝γ₁+γ₂ln(1+γ₃e)I_d＝0.024d+0.11(d‑177.3)I_{d‑177.3}其中，参数γ₁，γ₂和γ₃取决于采用的编解码器，时延d的单位为毫秒，177.3毫秒为常用的时延门限值，I_{·}为指示函数，由I_e和I_d导致的总体性能损失定义为R_f指数，R_f＝94.2‑I_e‑I_d由R_f指数，得到音频业务的QoE需求函数F_audio(R_f) F_audio(R_f)＝1+0.035R_f+7·10^‑6R_f(R_f‑60)(100‑R_f) 3)弹性业务，记为s_elastic：弹性业务的QoE与吞吐量θ有关,其QoE需求函数F_elastic(θ)定义为F_elastic(θ)＝b₃log(b₄θ)给定用户的最小期望吞吐量θ₁和最大期望吞吐量θ₂，参数1.2初始化Q学习中的变量：记业务类型集为S＝{s_video,s_audio,s_elastic}，可用网络集为定义x＝[s,n]∈X为用户的状态，x表示的状态是用户当前所在网络为n且新到达的业务对应的类型为s，为用户状态空间，为切换目标网络，即切换到的网络，初始化Q值为Q(x,n)＝0，系统时隙长度为T，初始化网络切换开销矩阵其中c_m,n≥0表示从网络m切换至网络n的切换开销，并且c_n,n＝0；这里的开销表征的是网络切换中产生的协议开销；步骤2.采用Q学习方法进行网络选择决策及执行切换，完成以下工作：2.1在第t个时隙的起始时刻，t时隙传输的业务类型为s(t)；2.2结合当前接入的网络n(t)，得到x(t)＝[s(t),n(t)]，并按照下面的规则选择切换网络：以概率ε(t)随机选择一个网络接入；以概率1‑ε(t)选择网络接入，ε(t)随着t会变小，始终大于0；2.3执行网络切换，建立连接；步骤3.Q学习方法中变量更新：3.1建立连接后，进行业务传输；3.2当第t个时隙的传输结束，根据所传输的业务类型，计算相应业务类型的QoE回报即F_s(t)，然后，计算用户的净回报r(x(t),δ(t))r(x(t),δ(t))＝F_s(t)‑ρc_n(t),δ(t)其中0≤ρ≤1为开销权重；3.3在第t+1时隙的起始时刻，业务类型为s(t+1)，系统状态转移到新状态x(t+1)＝[s(t+1),δ(t)]；3.4按下式更新Q值其中α_t<1为Q学习中的控制参数，随t增大而减小，满足3.5t＝t+1，回到步骤2。