一种人体动作序列的实时评价方法

摘要

本发明涉及一种人体动作序列的实时评价方法，采用基于差分的插值小波对动作序列进行边界延拓以减少边界效应，再进行小波系数的计算得到关键帧，以关键帧描述动作的特征，然后采用DTW距离度量函数计算两个动作序列的距离，最后对该距离进行归一化，得到两个动作的相似度评分。本发明的有益效果是：利用区间插值小波减少边界效应，得到更准确的关键帧，进而实现更加准确的动作评价。

主权项

一种人体动作序列的实时评价方法，其特征在于：采用基于差分的插值小波对动作序列进行边界延拓以减少边界效应，再进行小波系数的计算得到关键帧，以关键帧描述动作的特征，然后采用DTW距离度量函数计算两个动作序列的距离，最后对该距离进行归一化，得到两个动作的相似度评分；包括以下步骤：步骤一，将关节动作的时间序列数据表示为三维位置的时间序列数据，即三维轨迹，设f(x₀),f(x₁),f(x₂),…,f(x_N)表示其中某个关节的位置坐标在给定区间内边界附近多个点的函数值，则逼近函数的小波表达式为$\underset{k=0}{\overset{N}{\Sigma }}<f\left(x_k\right),\phi \left(x\right)>·\phi \left(x\right)$其中为分段函数，即${\phi }_{jk}=\left\{\begin{array}{cc}\phi \left(2^{j}x-k\right)+\underset{n=-L+1}{\overset{-1}{\Sigma }}{a}_{nk}\phi \left(2^{j}x-n\right),& k=0,...,N\\ \phi \left(2^{j}x-k\right),& k=N+1,...,2^j-N-1\\ \phi \left(2^{j}x-k\right)+\underset{n=2^j+1}{\overset{2^j+L-1}{\Sigma }}{b}_{nk}\phi \left(2^{j}x-n\right),& k=2^j-N,...,2^j\end{array}\right.$$a_{nk}=\underset{i\ne k}{\overset{N}{\underset{i=0}{\Pi }}}\frac{x_n-x_{j,i}}{x_{j,k-x_{j,i}}},b_{nk}=\underset{i\ne k}{\overset{2j}{\underset{i=2^j-N}{\Pi }}}\frac{x_n-x_{j,i}}{x_{j,k-x_{j,i}}}$N为边界上分布点的个数，L为小波函数的支撑区间，即suppφ＝[‑L,L]；将区间小波内积运算展开，表示如下：$\begin{array}{c}\underset{k=0}{\overset{N}{\Sigma }}<f\left(x_k\right),\phi \left(x\right)>·\phi \left(x\right)=\underset{k=0}{\overset{N}{\Sigma }}\phi \left(2^{j}x-k\right)f\left(x_k\right)+\underset{k=0}{\overset{N}{\Sigma }}f\left(x_k\right)\left[\underset{n=-L+1}{\overset{-1}{\Sigma }}{a}_{nk}\phi \left(2^{j}x-n\right)\right]\\ +\underset{k=N+1}{\overset{2^j-N-1}{\Sigma }}\phi \left(2^{j}x-k\right)f\left(x_k\right)+\underset{k=2^j-N}{\overset{2^j}{\Sigma }}\phi \left(2^{j}x-k\right)f\left(x_k\right)\\ +\underset{k=2^j-N}{\overset{2^j}{\Sigma }}f\left(x_k\right)\left[\underset{n=2^j+1}{\overset{2^j+L-1}{\Sigma }}{b}_{nk}\phi \left(2^{j}x-n\right)\right]\end{array}---\left(1\right)$当x＝2^j+1,2^j+2,…,2^j+N时，$f_{2^j+k}=2f_{2^j}-f_{2^j-k},k=1,...,N$因此，式1可以写为$\begin{array}{c}f\left(x\right)=\underset{k=-N}{\overset{2^j+N}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j\\ =\underset{k=-N}{\overset{-1}{\Sigma }}\phi \left(2^{j}x-k\right)\left(2f_0-f_{-k}^j\right)+\underset{k=0}{\overset{2^j}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j+\underset{k=2^j+1}{\overset{2^j+N}{\Sigma }}\phi \left(2^{j}x-k\right)\left(2f_{2^j}-f_{2^{j+1}-k}\right)\\ =-\underset{k=1}{\overset{N}{\Sigma }}\phi \left(2^{j}x+k\right)f_{-k}^j+2\underset{k=1}{\overset{N}{\Sigma }}\phi \left(2^{j}x+k\right)f_0+\underset{k=0}{\overset{2^j}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j\\ +2\underset{k=2^j-N}{\overset{-2^j-1}{\Sigma }}\phi \left(2^{j}x+k\right)f_{2^j}-\underset{k=2^j+1}{\overset{2^j+N}{\Sigma }}\phi \left(2^{j}x-k\right)f_{2^{j+1}-k}\\ =-\underset{k=1}{\overset{N}{\Sigma }}\phi \left(2^{j}x+k\right)f_k^j+2\underset{k=-N}{\overset{1}{\Sigma }}\phi \left(2^{j}x-k\right)f_0+\underset{k=0}{\overset{2^j}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j\\ +2\underset{k=2^j+1}{\overset{2^j+N}{\Sigma }}\phi \left(2^{j}x-k\right)f_{2^j}-\underset{k=2^j-N}{\overset{2^j-1}{\Sigma }}\phi \left(2^{j}x-2^{j+1}+k\right)f_k\end{array}$其中$\begin{array}{c}\underset{k=0}{\overset{2^j}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j=\phi \left(2^{j}x\right)f_0^j+\underset{k=1}{\overset{N}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j+\underset{k=N+1}{\overset{2^j-N-1}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j\\ +\underset{k=2^j-N}{\overset{2^j-1}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j+\phi \left(2^{j}x-2^j\right)f_{2^j}^j\end{array}$可以得到以下表达式：$\begin{array}{c}f\left(x\right)=\left(\phi \left(2^{j}x\right)+2\underset{k=-N}{\overset{-1}{\Sigma }}\phi \left(2^{j}x-k\right)\right)f_0^j+\underset{k=1}{\overset{N}{\Sigma }}\left(\phi \left(2^{j}x-k\right)-\phi \left(2^{j}x+k\right)\right)f_k^j\\ +\underset{k=N+1}{\overset{2^j-N-1}{\Sigma }}\phi \left(2^{j}x-k\right)f_k^j+\underset{k=2^j-N}{\overset{2^j-1}{\Sigma }}\left(\phi \left(2^{j}x-k\right)-\phi \left(2^{j}x-2^{j+1}+k\right)\right)f_k^j\\ +\left(\phi \left(2^{j}x-2^j\right)+2\underset{k=2^j+1}{\overset{2^j+N}{\Sigma }}\phi \left(2^{j}x-k\right)\right)f_{2^j}\end{array}$基于差分的区间插值小波可表示为${\phi }_{jk}=\left\{\begin{array}{cc}\phi \left(2^{j}x-0\right)+2\underset{k=1}{\overset{N}{\Sigma }}\phi \left(2^{j}x+k\right),& k=0\\ \phi \left(2^{j}x-k\right)+\phi \left(2^{j}x+k\right),& k=1,2,...,N\\ \phi \left(2^{j}x-k\right),& k=N+1,...,2^j-N-1\\ \phi \left(2^{j}x-k\right)-\phi \left(2^{j}x-2^{j+1}+k\right),& k=2^j-N,...,2^j-1\\ \phi \left(2^{j}x-k\right)+2\underset{k=2^j+1}{\overset{2^j+N}{\Sigma }}\phi \left(2^{j}x+k\right),& k=2^j\end{array}\right.$步骤二，构造自适应插值算子，求解插值小波系数；设φ(x)为插值尺度基函数，定义尺度函数序列为φ_j,k(x)＝φ(2^jx‑k)，k＝0,1,2,…,2^j由此序列构成的L²(0,1)子空间序列为$V_j:=span<{\phi }_{jk},k=0,1,2,...,2^j>⋐L^2(0,1)$根据φ(x)具有插值特性，φ_j,k(n2^‑j)＝δ_n,k；由此可以给出插值算子I_j:C⁰(0,1)→V_j的定义为$I_{j}f=\underset{k=0}{\overset{2^j}{\Sigma }}f\left(x_{jk}\right){\phi }_{jk},x_{jk}=k{2}^{-j}$对应尺度函数空间的小波函数空间定义为W_j:＝span<ψ_jk,k＝0,1,2,…,2^j‑1>其中ψ_jk＝φ_j+1,2k+1令y_jk＝x_j+1,2k+1，小波函数ψ_jk具有以下特性：ψ_jk(y_jn)＝δ_kn${\psi }_{\mathrm{jk}}\left(y_{j^{\prime }n}\right)=0,{\forall j}^{\prime }<j$故，$V_{j+1}=V_j\oplus W_j$V_j构成一多分辨率分析；对于任意函数f∈C⁰(0,1)，总可以找到一个足够大的j，使得f_j(x)∈V_j充分逼近f(x)，即$f\approx f_j=\underset{k=0}{\overset{2^{j_0}}{\Sigma }}{\beta }_{j_{0}k}{\phi }_{j_{0}k}+\underset{j\ge j_0}{\Sigma }\underset{k=0}{\overset{2^j}{\Sigma }}{\alpha }_{jk}{\psi }_{jk}$系数和α_jk分别定义为α_jk${\beta }_{j_{0}k}=f\left(x_{j_{0}k}\right)$α_jk＝f(y_jk)‑I_jf(y_jk)其中插值小波的插值算子的计算公式如下：$I_i\left(x\right)=\underset{k_0=0}{\overset{2^{j_0}}{\Sigma }}{R}_{k_0,i}^{j_0,J}{\phi }_{j_0,k}\left(x\right)+\underset{j=j_0}{\overset{J-1}{\Sigma }}\underset{k\in Z^j}{\Sigma }{C}_{k,i}^{j,J}{\psi }_{j,k}\left(x\right),Z^j=0,1,2,...2^j$步骤三，采用DTW方法计算两个动作序列之间的距离，令输入动作序列为和其中P为参考动作序列，Q为对比动作序列，C₁和C₂分别为P和Q的帧数；参考动作序列P的第r帧为其中为第i个关节方向数据的四元数表示，将所有关节的方向数据级联得到p_r，即该帧的特征向量；令对比动作序列Q的第r'帧为可得两帧之间的距离$dist({\mathrm{kp}}_r,{\mathrm{kq}}_{r^{\prime }})=\underset{i=1}{\overset{T}{\Sigma }}\left|d({\mathrm{kp}}_r^i,{\mathrm{kq}}_{r^{\prime }}^i)\right|---\left(2\right)$循环计算路径距离γ(p_i,q_j)，基于式(1)的帧间距离度量公式和DTW方法，直到动作序列P和Q完全匹配；每个最优匹配的前一个匹配只能为γ(p_i‑1,q_j‑1),、γ(p_i‑1,q_j)和γ(p_i,q_j‑1)其中一个，因此只需要选择其中最小的一个，加上当前距离即可得到路径的最小距离：γ(p_i,q_j)＝dist'(p_i,q_j)+min{γ(p_i‑1,q_j‑1),γ(p_i‑1,q_j),γ(p_i,q_j‑1)}重复步骤三，直到i＝C₁且j＝C₂，得到规整路径W＝w₁,w₂,…,w_k,…,w_K；创建长度C₁的数组MapFrame，记录P中所有帧在Q中的唯一映射关系；遍历路径W，若P中存在与Q中关系为一对多的帧，则选择其中距离最小的一对匹配帧，将其映射关系存入MapFrame；若不存在，则直接将该匹配帧的映射关系存入MapFrame；步骤四，计算关键帧之间的平均距离，并将其进行归一化，得到P和Q的相似度评分。