通过密度比率估计的逆向强化学

摘要

一种用于估计对象的成本函数和价值函数的逆向强化学的方法包括：获取表示限定所述对象的行为的状态变量的改变的数据；将通过方程(1)给出的修改后的贝尔曼方程应用至所获取的数据：q(x)+gV(y)‑V(x)＝‑ln{pi(y|x))/(p(y|x)}(1)，其中，q(x)和V(x)分别指代状态x下的成本函数和价值函数，g表示贴现因子，并且p(y|x)和pi(y|x)分别指代学前和学后的状态转变概率；估计方程(1)中的密度比率pi(y|x)/p(y|x)；根据所估计的密度比率pi(y|x)/p(y|x)，使用最小二乘法来估计方程(1)中的q(x)和V(x)；以及输出所估计的q(x)和V(x)。

主权项

一种用于估计对象的行为的成本函数和价值函数的逆向强化学习的方法，所述方法包括：获取表示限定所述对象的所述行为的状态变量的改变的数据；将通过方程(1)给出的修改后的贝尔曼方程应用至所获取的数据：$q\left(x\right)+\gamma V\left(y\right)-V\left(x\right)=-ln\frac{\pi \left(y\right|x)}{p\left(y\right|x)},---\left(1\right)$其中，q(x)和V(x)分别指代状态x下的成本函数和价值函数，并且γ表示贴现因子，并且p(y|x)和π(y|x)分别指代学习前和学习后的状态转变概率；估计方程(1)中的密度比率π(y|x)/p(y|x)；根据所估计的密度比率π(y|x)/p(y|x)，使用最小二乘法来估计方程(1)中的q(x)和V(x)；以及输出所估计的q(x)和V(x)。