基于EGMM的高斯过程回归软测量建模方法

摘要

本发明公开了一种基于EGMM的高斯过程回归软测量建模方法。用于复杂多变、噪声非高斯性的化工过程。工业过程建立的软测量预测模型往往会产生预测误差，然而模型预测误差常常包含了丰富的有用信息，因此可以从这些预测误差中提取信息用于对模型的输出进行补偿，从而改进所建立的软测量模型。首先，选择合适的变量组成误差数据，优化得到合适的高斯成分的个数；然后用EGMM对误差数据进行拟合；当新的数据到来时，用建立的GPR模型进行预测输出，并通过EGMM模型求得条件误差均值，对输出进行补偿得到更加精确的结果。能够对关键变量进行更加精确的预测，从而提高产品质量，降低生产成本。

主权项

基于EGMM的高斯过程回归软测量建模方法，其特征在于，该方法步骤为：步骤1：收集输入输出数据组成历史训练数据库步骤2：对输入和输出数据进行标准化处理，并用PCA进行信息提取得到得分矩阵。PCA算法为：给定训练数据X∈R^n×m，m是过程变量的维数,n是训练数据的数目。PCA是在X的协方差矩阵基础上实现的。一般情况下，可以通过奇异值分解(singular value decomposition，SVD)的方法建模PCA模型。假设PCA模型有q个主成分，X可以被分解为如下形式：$X={\mathrm{TP}}^T+\tilde{T}{\tilde{P}}^T={\mathrm{TP}}^T+E---\left(1\right)$式中,T∈R^n×q和分别是主成分子空间和残差子空间的得分矩阵，P∈R^m×q和是主成分子空间和残差子空间相应的载荷矩阵，E是残差矩阵。步骤3：建立得分矩阵和输出数据之间的GPR模型，然后用已经建立的GPR模型对训练数据集的得分矩阵进行预测得到预测值，最后得到输出误差。建立的GPR模型为：给定训练样本集X∈R^D×N和y∈R^N，其中X＝{x_i∈R^D}_i＝1…N，y＝{y_i∈R}_i＝1…N分别代表D维的输入和输出数据。输入和输出之间的关系由公式(10)产生：y＝f(x)+ε             (2)其中f是未知的函数形式，ε是均值为0，方差为的高斯噪声。对于一个新的输入x^*，相应的概率预测输出y^*也满足高斯分布，其均值和方差如式(3)和(4)所示：y^*(x^*)＝c^T(x^*)C^‑1y              (3)${\sigma }_{y^{*}}^2\left(x^{*}\right)=c(x^{*},x^{*})-c^T\left(x^{*}\right)C^{-1}c\left(x^{*}\right)---\left(4\right)$式中c(x^*)＝[c(x^*,x₁),…,c(x^*,x_n)]^T是训练数据和测试数据之间的协方差矩阵。是训练数据之间的协方差矩阵，I是N×N维的单位矩阵。c(x^*,x^*)是测试数据的自协方差。GPR可以选择不同的协方差函数c(x_i,x_j)产生协方差矩阵Σ，只要选择的协方差函数能保证产生的协方差矩阵满足非负正定的关系。本文选择高斯协方差函数：$c(x_i,x_j)=\mathrm{vexp}[-\frac{1}{2}\underset{d=1}{\overset{D}{\Sigma }}{\omega }_d{(x_i^d-x_j^d)}^2]---\left(5\right)$式中v控制协方差的量度，ω_d代表每个成分x^d的相对重要性。对式(5)中的未知参数v,ω₁,…,ω_D和高斯噪声方差的估计,一般最简单的方法就是通过极大似然估计得到参数$\theta =[v,{\sigma }_n^2,{\omega }_1,...,{\omega }_D].$$L\left(\theta \right)=-\frac{1}{2}\log \left(\det \left(C\right)\right)-\frac{1}{2}{y}^T{C}^{-1}y-\frac{N}{2}\log \left(2\pi \right)---\left(6\right)$为了求得参数θ的值，首先将参数θ设置为一个合理范围内的随机值，然后用共轭梯度法得到优化的参数。获得最优参数θ后，对于测试样本x^*，可以用式(3)和(4)来估计GPR模型的输出值。步骤4：基于输出误差和输入得分矩阵组成的误差数据集建立EGMM模型。然后计算得到条件误差均值和方差的表达式。建立EGMM模型的步骤如下所示：建立EGMM模型，首先需要确定合适的误差数据和高斯成分的数目K。一般误差数据是由GPR模型的输入变量和模型的输出误差组成。给定训练样本集X∈R^D×N和y∈R^N，其中X＝{x_i∈R^D}_i＝1…N，y＝{y_i∈R}_i＝1…N分别代表D维的输入和输出数据。在用PCA对输入变量进行降维处理之前需要对数据进行标准化处理，得到标准化数据集用于建立PCA模型，然后得到得分矩阵T＝{t_i∈R^a}_i＝1…N，a＜D表示所选择的主成分的数目。基于得分矩阵T和输出向量y＝{y_i∈R}_i＝1…N建立GPR模型：$\begin{array}{c}y=[y_1,y_2,...,y_N]\\ =[f\left(t_1\right),f\left(t_2\right),...,f\left(t_N\right)]~\mathrm{GP}(0,C)\end{array}---\left(7\right)$因此误差数据矩阵可以表示成：X_e＝[T,e]              (8)式中表示GPR模型关于训练集的预测输出误差向量。由于任意一个样本数据x_e∈R^a+1服从非高斯分布，一个单独的高斯分布不能有效的描述其概率特征。选择合适数目的高斯成分，根据GMM算法的建模步骤，关于x_e的概率密度函数可以表示为：$p\left(x_e\right)=\underset{k=1}{\overset{K}{\Sigma }}{\pi }_{k}N\left(x_e\right|{\mu }_k,{\sigma }_k^2)---\left(9\right)$通过建立EGMM模型可以计算得到相应的条件误差概率密度函数和相关的均值和方差：$P\left(e\right|t)=\frac{P\left(x_e\right)}{P\left(t\right)}---\left(10\right)$${\mu }_{e|t}={\int }_{{\Omega }_e}\mathrm{eP}\left(e\right|t)\mathrm{de}---\left(11\right)$${\sigma }_{e|t}^2={\int }_{{\Omega }_e}{(e-{\mu }_{e|t})}^{2}P\left(e\right|t)\mathrm{de}---\left(12\right)$式中的t是输入得分向量，x_e＝[t^T,e]^T，P(x_e)表示EGMM的联合概率密度函数。由于式(10)～(12)很难直接计算得到，本文选择数值解析法。对每个高斯成分k，其均值向量μ_k和方差矩阵Σ_k可以表示为：${\mu }_k=\left[\begin{array}{c}{\mu }_{t,k}\\ {\mu }_{e,k}\end{array}\right]---\left(13\right)$${\Sigma }_k=\left[\begin{array}{cc}{\Sigma }_{\mathrm{tt},k}& {\Sigma }_{\mathrm{te},k}\\ {\Sigma }_{\mathrm{et},k}& {\sigma }_{e,k}^2\end{array}\right]---\left(14\right)$可以估计得到每个高斯成分的条件误差均值μ_e|t,k和条件误差方差${\mu }_{e|t,k}={\mu }_{e,k}+{\Sigma }_{\mathrm{et}}{\Sigma }_{\mathrm{tt},k}^{-1}(t-{\mu }_{t,k})---\left(15\right)$${\sigma }_{e|t,k}^2={\sigma }_{e|t,k}^2+{\Sigma }_{\mathrm{et}}{\Sigma }_{\mathrm{tt},k}^{-1}{\Sigma }_{\mathrm{te},k}---\left(16\right)$基于公式(15)和(16)，可估计得到K个混合高斯成分的条件误差均值μ_e|t和条件误差方差${\mu }_{e|t}=\underset{k=1}{\overset{K}{\Sigma }}{\beta }_k{\hat{\mu }}_{e|t,k}---\left(17\right)$${\sigma }_{e|t}^2=\underset{k=1}{\overset{K}{\Sigma }}{\beta }_k{\sigma }_{e|t,k}^2---\left(18\right)$${\beta }_k=\frac{{\pi }_{k}N\left(t\right|{\mu }_{t,k},{\Sigma }_{\mathrm{tt},k})}{\underset{k=1}{\overset{K}{\Sigma }}{\pi }_{k}N\left(t\right|{\mu }_{t,k},{\Sigma }_{\mathrm{tt},k})}---\left(19\right)$然而EGMM模型的建立需要选择合适数目的高斯成分，高斯成分的个数K选择不能过大，太大会导致误差数据的过拟合，选择过小会导致误差数据拟合不够。本发明采用如式(20)所示的贝叶斯信息准则(Bayesian information criterion,BIC)对GMM模型进行优化。BIC＝‑2L+n_p log(n)             (20)式中的表示对数似然函数，n_p表示K个高斯成分所具有的自由参数的个数，n表示训练数据集中数据的个数。条件误差方差可用来对GPR模型的预测表现性能进行评估，条件误差均值μ_e|t表明任意特定的输出是否有偏差。因此，可以用μ_e|t对预测输出进行校正从而提高预测精度。软测量模型最终校正的预测输出为：${\hat{y}}_{\mathrm{cor}}\left(x_{\mathrm{new}}\right)={\hat{y}}_{\mathrm{mod}}\left(x_{\mathrm{new}}\right)+{\mu }_{e|t_{\mathrm{new}}}---\left(21\right)$式中的表示GPR模型的预测值，表示由公式(17)计算得到的条件误差均值。