基于部分可测马尔科夫决策过程模型的频谱检测方法

摘要

本发明涉及一种基于部分可测马尔科夫决策过程模型的频谱检测方法，包括：将信道状态信息添加到信道状态历史信息序列中，估计时延，得到信道的状态信息；计算信道初始信念状态和每个信道的状态转移概率；经一段时间观测，获取信道使用状态的统计信息及状态转移概率，对各个信道的使用状态建立马尔科夫模型；当时隙增加时，更新状态历史信息序列和当前时隙值；根据信道的状态转移概率，结合应答信息更新信念状态，计算瞬时报酬；计算在执行不同行为后每个信道的值函数；计算次用户获得的最大折扣回报，得到折扣总报酬为最大带宽的策略，根据各个信道的总报酬对信道进行从高到低的排序，如果有数据需要传输，指导用户按照新的信道顺序尝试接入信道。

主权项

一种基于部分可测马尔科夫决策过程模型的频谱检测方法，包括：步骤1）、初始化信道状态历史信息序列H；步骤2）、对信道环境进行观测，将观测到的信道状态信息添加到信道状态历史信息序列H中，然后估计信道数据传输的时延，进而由信道的时延信息进一步得到信道i的状态信息；步骤3）、观测阶段结束后，计算信道初始信念状态和每个信道的状态转移概率；步骤4）、经一段时间观测，获取信道使用状态的统计信息及状态转移概率，对各个信道的使用状态建立马尔科夫模型；步骤5）、当时隙t→t+1时，根据步骤2）获得的延时信息结合步骤3）的状态转移概率，更新状态历史信息序列和当前时隙值；根据步骤3）获得的信道的状态转移概率，结合应答信息更新信念状态，并计算瞬时报酬；采用启发式算法迭代计算在执行不同行为a后每个信道的值函数；步骤6）、重复步骤5）迭代Num次后，计算次用户获得的最大折扣回报，从而得到折扣总报酬为最大带宽的策略，待接入用户根据各个信道的总报酬重新对信道进行从高到低的排序，如果其有数据需要传输，则指导用户按照新的信道顺序尝试接入信道。