一种光谱分析中样品集划分的化学计量学方法

摘要

本发明公开了一种光谱分析中样品集划分的化学计量学方法。计算参考化学值和每一个波长上的光谱吸光度的相关系数，在全谱范围内找到相关最高的波长点；分别对样品的参考化学值和光谱数据进行归一化处理；基于归一化处理的数据，设计把参考化学值最大和最小的2个样品，以及吸光度值最大和最小的2个样品放入定标集，并把相应次大次小值的4个样品放入预测集；对剩余的样品做充分多次的随机划分，基于最高相关波长点，对每一次划分分别计算定标集和预测集样品的化学值和吸光度的相关系数，如果某一个划分的定标集相关系数和预测集相关系数充分接近，则选择这个划分用来建立光谱分析模型。本发明为光谱分析的模型优化提供了良好的数据基础。

主权项

1.一种光谱分析中样品集划分的化学计量学方法，其特征在于具体步骤为：1)数据归一化a)参考化学值的归一化$C_m=\frac{1}{N}\underset{j=1}{\overset{N}{\Sigma }}{C}_j,---\left(1\right)$$\mathrm{norm}\left(C_j\right)=\frac{C_j}{\sqrt{\underset{j=1}{\overset{N}{\Sigma }}{(C_j-\bar{C})}^2}}\stackrel{\Delta }{=}{C}_n\left(j\right),$j=1,2....N，           (2)b)光谱数据的归一化i＝1,2....P,           (3)i＝1,2....P,j=1,2….N，(4)$\left|A_j\right|=\sqrt{\underset{i=1}{\overset{P}{\Sigma }}{\left(\mathrm{norm}\left(A_{\mathrm{ij}}\right)\right)}^2}\stackrel{\Delta }{=}{A}_n\left(j\right),$j=1,2....N，           (5)其中，N为样品个数，P为波长点个数；C_j为样品j的参考化学值，C_m为所有样品的参考化学值均值，C_n(j)=norm(C_j)为该样品的参考化学值经过归一化计算之后的化学值数据；A_ij为样品j在第i个波长的吸光度值，A_i,m为该样品在第i个波长处的吸光度平均值，norm(A_ij)为该样品在第i个波长处的吸光度值经过归一化计算之后的吸光度值；A_n(j)=|A_j|为样品j的吸光度向量的模；基于上述参考化学值和吸光度的归一化计算，每个样品对应有一个C_n(j)和一个A_n(j)；根据琅勃比尔定律，基于所有样品的C_n(j)和A_n(j)(j=1,2,...,N)，回归计算每个样品的化学值预测值C’_n(j)，随后计算每个样品的归一化数据回归偏差，即RDND,进一步对所有样品计算RDND的平均值，即RDND_Ave；RDND(j)=|C’_n(j)-C_n(j)|,       (6)2)最值和次值样品的划分为了定标预测模型能够具有保证良好的相关性，原则上需要把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品放入定标集，把具有C_n(j)次大值和次小值的2个样品和具有A_n(j)次大值和次小值的2个样品放入预测集；然而，这其中所选择的样品可能有若干个是相同的，需要做相应的选择处理；具体操作过程如下：把具有C_n(j)最大值和最小值的2个样品和具有A_n(j)最大值和最小值的2个样品作为最值集合，记为SZ；同时把具有C_n(j)次大值和次小值的2样品和具有A_n(j)次大值和次小值的2样品作为次值集合，记为SC；首先假设SZ和SC的内部样品均不相同，设定每个集合内部的样品个数为4，下面针对SZ和SC的交集进行讨论，以确定最值样品的划分；如果SZ∩SC为空集，即SZ和SC互相之间没有相同的样品，则SZ所有样品放入定标集，SC所有样品放入预测集；进一步记录SZ内部具有相同样品的个数s₁和SC内部具有相同样品的个数s₂，即s₁，s₂∈{0,1,2}；如果SZ∩SC不为空集，则记录SZ∩SC内部样品的个数s₃，s₃=1,2,3,4，把SZ∩SC内部每一个样品的RDND分别与RDND_Ave比较大小，如果某个样品的RDND>RDND_Ave，则该样品选择放入定标集，否则将该样品选择放入预测集；然后，把SZ∩Cs(SC)内部所有样品放入定标集，把Cs(SZ)∩SC内部所有样品放入预测集，并分别记录SZ∩Cs(SC)内部和Cs(SZ)∩SC内部具有相同样品的个数s₁和s₂，即s₁，s₂∈{0,1,2}；其中Cs是补集运算符；3)剩余样品的划分原则经过最值样品的划分以后，剩余样品个数为N-8+s₁+s₂+s₃。关于剩余样品的划分，基于最高相关的原则，分别计算每一个波长点i的光谱数据和参考化学值的相关系数R(i)，$R\left(i\right)=\frac{\underset{j=1}{\overset{N}{\Sigma }}(C_j-C_m)(A_{\mathrm{ij}}-A_{i,m})}{\sqrt{\underset{j=1}{\overset{N}{\Sigma }}{(C_j-C_m)}^2\underset{j=1}{\overset{N}{\Sigma }}{(A_{\mathrm{ij}}-A_{i,m})}^2}},$i＝1,2….P,(7)从所有的波长点中找到最大的R_note=max{R(i),i＝1,2....P}，并记录R_note所在的波长点序号i_note；对剩余的样品做足够多次的随意划分，对每一次划分，选取第i_note个波长点处的光谱数据{A_note}，结合样品的参考化学值，分别在定标集内和预测集内计算相关系数R_Cset和R_Pset；$R_{\mathrm{Cset}}=\frac{\underset{j=1}{\overset{L}{\Sigma }}(C_{L\left(j\right)}-C_{\mathrm{Lm}})(A_{\mathrm{note},L\left(j\right)}-A_{\mathrm{note},\mathrm{Lm}})}{\sqrt{\underset{j=1}{\overset{L}{\Sigma }}{(C_{L\left(j\right)}-C_{\mathrm{Lm}})}^2\underset{j=1}{\overset{L}{\Sigma }}{(A_{\mathrm{note},L\left(j\right)}-A_{\mathrm{note},\mathrm{Lm}})}^2}},---\left(8\right)$$R_{\mathrm{Pset}}=\frac{\underset{j=1}{\overset{K}{\Sigma }}(C_{K\left(j\right)}-C_{\mathrm{Km}})(A_{\mathrm{note},K\left(j\right)}-A_{\mathrm{note},\mathrm{Km}})}{\sqrt{\underset{j=1}{\overset{K}{\Sigma }}{(C_{K\left(j\right)}-C_{\mathrm{Km}})}^2\underset{j=1}{\overset{K}{\Sigma }}{(A_{\mathrm{note},K\left(j\right)}-A_{\mathrm{note},\mathrm{Km}})}^2}},---\left(9\right)$其中L、K分别为定标集和预测集样品数量，即L+K＝N；C_Lm，C_Km分别为定标集和预测集样品化学值平均值，A_note，L(j)为定标集中第j个样品在第i_note个波长点上的光谱数据，A_note，Lm为定标集样品在第i_note个波长点上的光谱数据均值，A_note,K(j)为预测集中第j个样品在第i_note个波长点上的光谱数据，A_note,Km为预测集样品在第i_note个波长点上的光谱数据均值；计算R_Cset和R_Pset之间的绝对偏差，即Absolute offset of correlation coefficients,简称AOC：AOC=|R_Cset-R_Pset|,(10)选择AOC足够小的一个划分作为以下建立近红外光谱分析模型的划分；按照这种划分方法，设计把全部待分析样品按照2:1的比例划分为定标集和预测集；根据设定的AOC选择合适的划分。