一种基于渐近贪心行为探索的小区中断补偿方法

摘要

本发明提出一种基于渐近贪心行为探索策略的小区中断补偿方法，属于无线通信自组网领域，该方法采用Sarsa-learning学方法，结合一种渐近贪心的行为探索策略寻找最优解。本发明提出的小区中断补偿方法以天线下倾角为调整参数，采用了增强学中的Sarsa-learning学方法来对各个补偿小区的天线下倾角的配置进行优化，在优化过程中采用的渐近贪心行为探索策略（Boltzmann行为探索策略），能无限遍历整个状态-行为对空间，有效避免了补偿陷入局部最优解中，还大大缩短了补偿过程达到收敛的时间，使得中断小区的用户的服务性能在更短的时间内得到更好的恢复。

主权项

一种基于渐近贪心行为探索的小区中断补偿方法，其特征在于，该补偿方法包括以下步骤：(1)移动通信网络中通信小区内的用户对与该用户所在小区相邻的六个邻居小区的参考信号接收功率进行测量，并从测量的参考信号接收功率中选择最强的3个参考信号接收功率上传至该用户的服务基站；(2)上述服务基站对用户上报的所有参考信号接收功率进行如下表所示的强度等级划分：(3)通信小区将本通信小区内所有用户上报的同一邻居小区的参考信号接收功率强度等级进行累加，得到本通信小区基站对六个邻居小区的六个综合接收强度，该六个综合接收强度构成一个六维特征向量，定义该六维特征向量为该通信小区的邻居小区参考信号接收功率列表，将最近多个测量周期得到的多个参考信号接收功率列表进行累加，得到一个参考信号接收功率的统计向量，并将该参考信号接收功率的统计向量上报至移动通信网络中该通信小区所属的蜂窝控制中心；(4)当移动通信网络中的通信小区发生通信中断时，移动通信网络的蜂窝控制中心在发生通信中断的通信小区最后一次上报的参考信号接收功率的统计向量中检索出三个最大的分量，并将与该三个最大分量相对应的通信小区选为补偿小区；(5)设补偿小区的补偿状态s为补偿小区当前的天线下倾角的值，将对补偿小区天线下倾角的调整称为补偿小区的补偿行为a，定义补偿行为a的集合为A＝(‑101)，分别代表补偿小区天线下倾角的减少、不变和增加3种行为；(6)为每个补偿小区建立一个行为值函数表Q，行为值函数表中存储补偿小区的当前补偿状态下每种补偿行为的值函数，对值函数表进行初始化，初始补偿时刻t＝0，初始补偿时长为0，对当前补偿状态s₀按照以下渐近贪心行为探索方法，确定当前天线下倾角的补偿行为a₀的概率Pr(a|s,t,Q,n_t(s))：$\mathrm{Pr}\left(a\right|s,t,Q,n_t\left(s\right))=\frac{e^{{\beta }_t\left(s\right)Q(s,a)}}{\underset{b\in A}{\Sigma }{e}^{{\beta }_t\left(s\right)Q(s,b)}}$其中：${\beta }_t\left(s\right)=\frac{\ln n_t\left(s\right)}{{\max }_a|Q_t\left(s,b_{\max }\right)-Q_t\left(s,a\right)|}$b_max＝argmax_b∈AQ_t(s,b)n_t(s)为当前时刻t补偿状态s在历史上被访问的次数，A为当前状态下的行为集合，Q_t(s,a)为当前时刻t下与补偿状态s相对应的补偿行为a的值函数；(7)在小区中断补偿中，中断小区和补偿小区内的用户分别将信干噪比反馈给各自服务基站，补偿小区根据本补偿小区内用户的反馈信息计算本次补偿的回报值，并根据如下Sarsa‑learning的值函数迭代公式更新步骤(6)的行为值函数表Q：Q(s_t,a_t)＝Q_t(s_t,a_t)+α_t[r(s_t,a_t)+ηQ(s_t+1,a_t+1)‑Q(s_t,a_t)]其中α_t为Sarsa‑learning算法的学习因子，η为学习速率调整因子，r(s_t,a_t)为补偿状态s_t和补偿行为a_t下的回报值，计算公式为：r＝ΔCPF＝CPF_new‑CPF_old，其中，CPF为小区性能函数：$\begin{array}{c}CPF=\beta \gamma \times {\mathrm{SE}}_{edge}\left({\mathrm{outage}}_{cell}\right)+\left(1-\gamma \right)\beta \times {\mathrm{SE}}_{ave}\left({\mathrm{outage}}_{cell}\right)\\ +\gamma \left(1-\beta \right)\times {\mathrm{SE}}_{ave}\left({\mathrm{compen}}_{cell}\right)\end{array};$上式中，SE_edge(outage_cell)表示中断小区的边缘频谱效率，等于该中断小区内用户频谱效率累积分布函数的低5％；SE_ave(outage_cell)表示中断小区的平均频谱效率，等于中断小区内用户频谱效率的低50％；SE_ave(compen_cell)表示补偿小区的平均频谱效率，等于补偿小区内用户频谱效率的低50％；γ为覆盖和容量的折中因子，0＜γ＜1，β为补偿小区性能与中断小区性能的折中因子，0＜β＜1；(8)设定一个补偿小区回报值阈值Δreward和一个补偿时长上限T_sup，若上述回报值r大于Δreward，且补偿时刻小于补偿时长上限T_sup，则每个补偿小区根据当前行为值函数表Q，利用上述步骤(6)和(7)中的渐近贪心行为探索方法，计算得到补偿小区天线下倾角的补偿行为，并根据该补偿行为，计算下一时刻补偿状态s_t+1，若上述回报值r小于或等于Δreward，或补偿时刻大于补偿时长上限T_sup，则补偿结束。