基于异构特征降维的二维角色卡通生成方法

摘要

本发明公开了一种基于非负风格分解的风格化二维卡通生成方法。本发明利用了机器学的知识，实现了基于非负风格分解的风格化二维卡通生成的功能。首先输入二维卡通动画人物的二维卡通关键帧序列，系统提取对应的二维骨骼特征表达式，并分解成二维卡通动作的风格基向量和隐组件；将得到的风格基向量与异构的隐组件结合来重新生成具有特定卡通动画人物风格的二维骨骼特征表达式，并驱动二维卡通动画人物的形体形成风格化的二维卡通关键帧。本发明通过分解二维卡通动作至风格基向量与隐组件，减少了传统方法分离动作本体与风格带来的实施困难；同时解决了传统非负矩阵分解方法不能保持卡通数据基于语义连贯性的问题，提高了准确性、扩大了应用范围。

主权项

1.一种基于非负风格分解的风格化二维卡通生成方法，其特征在于它的步骤如下：1)从某个二维卡通动画人物的二维卡通视频中提取包含卡通人物完整动作的视频段，对视频段经过视频图像技术处理后，利用自定义的关键帧提取方法提取卡通人物的二维卡通关键帧序列，并对二维卡通关键帧序列进行归一化与中心化处理；对经过处理的二维卡通关键帧序列利用自定义的特征提取方法，获得对应的二维骨骼特征表达式；获得几个二维卡通动画人物对应的二维骨骼特征表达式，并对这些二维骨骼特征表达式按照自定义的动作类别进行分类，建立二维卡通人物的动作数据库；2)针对某个二维卡通动画人物的二维骨骼特征表达式，利用自定义的非负风格分解的目标函数及其解法，通过迭代的求取方法来获得该二维骨骼特征表达式对应的风格基向量和隐组件；利用已获得的隐组件，通过二次函数求导的方式，获得对应的保持基于语义理解的降维矩阵；3)按照用户指定需要进行生成二维卡通动作的二维卡通动画人物，从二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式，用非负风格分解方法获得对应的隐组件，并与别的二维骨骼特征表达式用非负风格分解方法获得的风格基向量进行重合成，形成异构的二维骨骼特征表达式；用异构的二维骨骼特征表达式按照自定义的特征点驱动方法，通过关键点形变技术来获得某二维卡通动画人物风格化的二维卡通关键帧进而获得基于非负风格分解的风格化二维卡通；所述步骤1)包括：从某个二维卡通动画人物的二维卡通视频中，提取包含卡通人物完整动作的视频段V_cart，对V_cart进行傅里叶变化降噪处理，消除背景以及视频噪声对于后面处理的影响；从V_cart中渲染出来的视频帧，利用Hausdorff距离算法获得卡通视频序列中帧与帧之间的距离矩阵M_cart＝R^n×n，其中n为V_cart所渲染出来的帧数量，表示卡通视频帧中第i帧和第j帧之间的Hausdorff距离，矩阵M_cart中的每一项分别乘以系数来完成Hausdorff距离的归一化处理，其中的d_{cart_max}为矩阵M_cart中的最大值，在获得经过归一化的M_cart之后，按照设定的阈值来过滤矩阵中的对角值，分别将得到的所对应的第i帧作为关键帧，由此得到二维卡通关键帧序列其中m为关键帧的数量；针对已经获得的二维卡通关键帧序列定义A_i为每一帧关键帧对应的包含有二维卡通动画人物完整轮廓的区域面积，定义常量C_a，对于二维卡通关键帧序列中的每一帧关键帧经过如下的公式来获得归一化大小至C_a的关键帧：$I_{\mathrm{cart}}^i=I_{\mathrm{cart}}^i\times \frac{A_i}{C_a}---1$通过公式1获得经过归一化的关键帧序列针对序列中的每一帧关键帧利用Sobe1轮廓提取方法获得其对应的A_i中的二维卡通动画人物完整的轮廓边缘，在轮廓边缘随机取样t个点，计算该t个点的几何坐标中心以及该几何坐标中心与图像中心点之间的坐标位移将A_i按照坐标位移进行平移，从而完成的中心化处理，对关键帧依次经过处理，获得经过中心化的关键帧序列针对完成归一化和中心化的二维卡通关键帧序列针对每一帧关键帧按照二维卡通动画人物的肢体体征，在二维卡通动画人物的头部、四肢、躯干各部分取关键点总计17个，获得该关键帧对应的二维骨骼特征表达向量$X_i=[x_i^1,y_i^1,x_i^2,y_i^2,...,x_i^{17},y_i^{17}],$其中和是关键帧第j个关键点的x与y坐标；针对二维卡通关键帧序列获得其对应的二维骨骼特征表达式X＝[X₁，X₂，…X_m]∈R^m×d，其中每一帧关键帧由对应的二维骨骼特征表达向量X_i来表示，d为特征的维度；获得属于不同二维卡通动画人物的二维骨骼特征表达式X，形成二维骨骼表达式集合其中变量char表示二维卡通动画人物的种类，t表示二维卡通动画人物的数量；将二维骨骼表达式集合按照二维卡通人物动作的不同分为r类，从而建立二维卡通人物的动作数据库；所述步骤2)包括：对于某个二维卡通动画人物的二维骨骼特征表达式X，按照如下的目标函数来进行非负风格分解以及求取保持基于语义理解的降维矩阵W：$C(U,V,W)={\min }_{U,V,W}\frac{1}{2}{\left|\right|X-\mathrm{UV}\left|\right|}_F^2+\alpha {\Sigma }_{\mathrm{ij}}{V}_{\mathrm{ij}}+\beta {\left|\right|W\tilde{V}-Y\left|\right|}_F^2---2$其中权值α≥0和β≥0为复杂平衡度系数；矩阵U＝[u₁，u₂，…，u_d]∈R^m×d以它的每个列向量作为风格基向量，矩阵V＝[v₁，v₂，…，v_m]^T∈R^d×d包含每个风格基向量所对应的隐组件，在该目标函数中所要遵循的约束条件是U_ij≥0且V_ij≥0，并且||u_i||＝1；矩阵Y＝[y₁，y₂，…，y_m]^T∈{0，1}^m×r为分类信息真实值矩阵，r为分类的数量，其中当X_i属于第l类的时候，那么Y_il的值为1，否则为0；矩阵为矩阵V＝[v₁，v₂，…，v_m]^T的重构矩阵，重构过程如下：定义矩阵集合为矩阵M的前r个的特征向量，则矩阵为集合按照如下定义方式的线性组合：其中为线性组合中的非负权值；求解最优的U和V的解法需要通过迭代来完成，算法如下：1.初始化：初始U⁰和V⁰，按照前面的约束条件，这里U⁰和V⁰必须保持非负，同时||u_i||＝1；2.迭代：按照下面的步骤迭代U^t和V^t至收敛：a)U′＝U^t-ε(U^tV^t-X)(V^t)^Tb)如果有U′_ij＜0，那么设置U′_ij＝0c)将||u′_i||缩放至1，同时设置U^t+1＝U′d)V^t+1＝V^t.*((U^t+1)^TX)./((U^t+1)^T(U^t+1)V^t+ε)e)自增t算法中运算符号.*和./分别表示分子间乘法和分子间除法；在通过迭代算法获得了最优的V以及对应的重构矩阵以后，通过二次函数求导的方式，获得对应的保持基于语义理解的降维矩阵W，公式如下：$W=Y{\tilde{V}}^T{\left(\tilde{V}{\tilde{V}}^T\right)}^{-1}---4;$所述步骤3)包括：按照用户指定需要进行生成二维卡通动作的二维卡通动画人物char=1，首先按照步骤1)所述的二维卡通动画人物的动作数据库中提取对应的二维骨骼特征表达式X_char＝1，按照步骤2)所述非负风格分解方法获得对应的隐组件V_char＝1；将该隐组件，与别的二维骨骼特征表达式X_char＝2按照步骤2)所述非负风格分解方法获得的风格基向量U_char＝2进行重合成，形成异构的二维骨骼特征表达式${\tilde{X}}_{\mathrm{char}=1}=U_{\mathrm{char}=2}{V}_{\mathrm{char}=1};$获得作为结果的二维骨骼特征表达式后，即获得了前面定义的17个关键点在所定义的m帧关键帧序列中坐标位置；利用如下的公式来基于m帧关键帧中17个关键点的坐标位置来获得在完整的n帧序列中17个关键点的坐标位置：$v_i^{t+1}=v_i^t+\frac{\left|\right|v_i^1-v_i^t\left|\right|}{\left|\right|v_i^1-v_{i+1}^1\left|\right|}\Delta v_i+\frac{\left|\right|v_{i+1}^1-v_{i+1}^t\left|\right|}{\left|\right|v_i^1-v_{i+1}^1\left|\right|}\Delta v_{i+1}---5$$v_j^{t+1}=v_j^t+\frac{\left|\right|v_i^1-v_i^t\left|\right|}{\left|\right|v_i^1-v_{i+1}^1\left|\right|}\Delta v_i+\frac{\left|\right|v_{i+1}^1-v_{i+1}^t\left|\right|}{\left|\right|v_i^1-v_{i+1}^1\left|\right|}\Delta v_{i+1}---6$其中和为第i和第j个关键点在第t帧非关键帧中的坐标位置，其中t＝[1，2，…，(n-m)]为所有的非关键帧的索引值；为第i个关键点在第t和第t+1帧非关键帧之间的坐标位移绝对值，同理为第j个关键点在第t和第t+1帧非关键帧之间的坐标位移绝对值；由此，获得17个关键点在完整的n帧序列中的坐标位置；采用已有的保持刚性不变的形变方法，以17个关键点作为形变的驱动点，利用这些关键点在完整的n帧序列中的坐标位置作为形变的驱动源，进行形变从而获得基于非负风格分解的风格化二维卡通。