发明名称 多种风格人脸卡通样本的统一参数化方法
摘要 本发明公开一种多种风格人脸卡通样本的统一参数化方法。该方法分层表示人脸卡通画样本的构图和绘制,通过绘制实体布局参数(PaintingStyle parameters)--PSP定义卡通画样本的构图,绘制实体参数(PaintingEntity Parameters)--PEP定义卡通画的绘制方法。这种统一的参数化数据组织架构,使绘制算法可以完全根据真实人脸几何特征,学人脸卡通画样本的构图和绘制方法,通过绘制实体布局的序贯优化计算和绘制实体的变形转移,自动生成特定人脸对象的个性化人脸卡通画。并且使计算机可以自动学不同艺术风格的卡通画绘制方法,具有很好的可扩展性和数据独立性。
申请公布号 CN101655985B 申请公布日期 2011.07.27
申请号 CN200910023846.6 申请日期 2009.09.09
申请人 西安交通大学 发明人 刘跃虎;苏远岐;杨旸;吴正旺;邵宇;贾代涛
分类号 G06T13/00(2006.01)I 主分类号 G06T13/00(2006.01)I
代理机构 西安通大专利代理有限责任公司 61200 代理人 徐文权
主权项 1.一种多种风格人脸卡通样本的统一参数化方法,其特征在于:1)建立人脸卡通画样本的参数化模型人脸卡通画样本的参数化模型是将绘制的人脸卡通画样本分为参考形状层和绘制式样层,记为Sample={R,P};参考形状层将人脸对象分为整体结构和五官形状,记为R=(M,S),M表示人脸整体结构,记录五官、配饰物的位置信息;S表示组成人脸对象的部件集,由人脸五官包括左眉、右眉、左眼、右眼、鼻子、嘴巴和脸型的几何形状特征定义;绘制式样层是将人脸对象对应的卡通画分为绘制实体布局和绘制实体集,记为P=(L,E),L记录人脸卡通画的绘制实体布局,表示卡通画的构图和整体风格,E表示人脸卡通画的绘制实体集,与人脸对象的部件集元素一一对应,定义每个部件的绘制形状、绘制元素和绘制规则;2)人脸卡通画样本的部件化将一幅需要绘制的人脸卡通画样本分成七个局部部件:脸庞、左眉毛、右眉毛、左眼、右眼、鼻子和嘴巴做为参考形状,每个部件对应参数化模型中的一个参考形状层的参数和绘制式样层的参数,即在人脸卡通画样本的参数化模型中选取一个与参考形状最匹配的局部部件样本;3)特定人脸绘制实体布局的序贯优化计算(1)利用输入人脸几何特征计算每个五官部件的位置(x,y,w,h,θ),按照平均人脸绘制实体布局参数,估计一个初始值L<sup>estimate</sup>,将选取的每一个局部部件样本放置在相应的位置;(2)设输入的人脸对象参考形状的整体结构M<sup>face</sup>是人脸卡通样本空间所有样本整体结构的线性组合<img file="FSB00000463854200021.GIF" wi="286" he="97" />式中,N为样本库中样本个数,系数a<sub>k</sub>是样本权重并且满足<img file="FSB00000463854200022.GIF" wi="283" he="90" />求解出系数a<sub>k</sub>,利用系数a<sub>k</sub>和对应绘制式样的绘制实体布局{L<sup>k</sup>,k=1...N的自然数}求得输入人脸绘制实体布局的理想值<maths num="0001"><![CDATA[<math><mrow><msup><mi>L</mi><mi>optimal</mi></msup><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>k</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>a</mi><mi>k</mi></msub><msup><mi>L</mi><mi>k</mi></msup><mo>;</mo></mrow></math>]]></maths>(3)将L<sup>estimate</sup>向L<sup>optimal</sup>迭代优化直到收敛,得到输入人脸的绘制实体布局L<sup>face</sup>;4)特定人脸绘制实体的变形转移计算给定特定人脸五官几何特征<img file="FSB00000463854200024.GIF" wi="437" he="46" />和选择的五官部件样本的绘制实体形状特征<img file="FSB00000463854200025.GIF" wi="447" he="45" />在特征点之间存在一一对应关系,采用薄板样条变换找到一个非刚性映射f(x,y)=(f<sub>1</sub>(x,y),f<sub>2</sub>(x,y))<sup>T</sup>,代价函数为E<sub>TPS</sub>(f),<maths num="0002"><![CDATA[<math><mrow><msub><mi>E</mi><mi>TPS</mi></msub><mrow><mo>(</mo><mi>f</mi><mo>)</mo></mrow><mo>=</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>11</mn></mrow><mi>N</mi></munderover><msup><mrow><mo>|</mo><mo>|</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mi>i</mi><mi>t</mi></msubsup><mo>,</mo><msubsup><mi>y</mi><mi>i</mi><mi>t</mi></msubsup><mo>)</mo></mrow><mi>T</mi></msup><mo>-</mo><mi>f</mi><mrow><mo>(</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mi>i</mi><mi>s</mi></msubsup><mo>,</mo><msubsup><mi>y</mi><mi>i</mi><mi>s</mi></msubsup><mo>)</mo></mrow><mi>T</mi></msup><mo>)</mo></mrow><mo>|</mo><mo>|</mo></mrow><mn>2</mn></msup><mo>+</mo><mi>&lambda;</mi><mo>&Integral;</mo><mo>&Integral;</mo><mo>[</mo><msup><mrow><mo>(</mo><mfrac><mrow><msup><mo>&PartialD;</mo><mn>2</mn></msup><mi>f</mi></mrow><msup><mrow><mo>&PartialD;</mo><mi>x</mi></mrow><mn>2</mn></msup></mfrac><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><mn>2</mn><msup><mrow><mo>(</mo><mfrac><mrow><msup><mo>&PartialD;</mo><mn>2</mn></msup><mi>f</mi></mrow><mrow><mo>&PartialD;</mo><mi>x</mi><mo>&PartialD;</mo><mi>y</mi></mrow></mfrac><mo>)</mo></mrow><mn>2</mn></msup><mo>+</mo><msup><mrow><mo>(</mo><mfrac><mrow><msup><mo>&PartialD;</mo><mn>2</mn></msup><mi>f</mi></mrow><msup><mrow><mo>&PartialD;</mo><mi>y</mi></mrow><mn>2</mn></msup></mfrac><mo>)</mo></mrow><mn>2</mn></msup><mo>]</mo><mi>dxdy</mi><mo>-</mo><mo>-</mo><mo>-</mo><mrow><mo>(</mo><mn>1</mn><mo>)</mo></mrow></mrow></math>]]></maths>给定一个λ,min(E<sub>TPS</sub>(f))存在唯一解:<maths num="0003"><![CDATA[<math><mrow><msub><mi>f</mi><mn>1</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><msub><mi>a</mi><mn>11</mn></msub><mo>+</mo><msub><mi>a</mi><mn>12</mn></msub><mi>x</mi><mo>+</mo><msub><mi>a</mi><mn>13</mn></msub><mi>y</mi><mo>+</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>w</mi><mrow><mn>1</mn><mi>i</mi></mrow></msub><mi>U</mi><mrow><mo>(</mo><mo>|</mo><mo>|</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>-</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mi>i</mi><mi>s</mi></msubsup><mo>,</mo><msubsup><mi>y</mi><mi>i</mi><mi>s</mi></msubsup><mo>)</mo></mrow><mi>T</mi></msup><mo>|</mo><mo>|</mo><mo>)</mo></mrow></mrow></math>]]></maths>(2)<maths num="0004"><![CDATA[<math><mrow><msub><mi>f</mi><mn>2</mn></msub><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mo>=</mo><msub><mi>a</mi><mn>21</mn></msub><mo>+</mo><msub><mi>a</mi><mn>22</mn></msub><mi>x</mi><mo>+</mo><msub><mi>a</mi><mn>23</mn></msub><mi>y</mi><mo>+</mo><munderover><mi>&Sigma;</mi><mrow><mi>i</mi><mo>=</mo><mn>1</mn></mrow><mi>N</mi></munderover><msub><mi>w</mi><mrow><mn>2</mn><mi>i</mi></mrow></msub><mi>U</mi><mrow><mo>(</mo><mo>|</mo><mo>|</mo><msup><mrow><mo>(</mo><mi>x</mi><mo>,</mo><mi>y</mi><mo>)</mo></mrow><mi>T</mi></msup><mo>-</mo><msup><mrow><mo>(</mo><msubsup><mi>x</mi><mi>i</mi><mi>s</mi></msubsup><mo>,</mo><msubsup><mi>y</mi><mi>i</mi><mi>s</mi></msubsup><mo>)</mo></mrow><mi>T</mi></msup><mo>|</mo><mo>|</mo><mo>)</mo></mrow></mrow></math>]]></maths>其中U(r)=r<sup>2</sup>lnr,λ用于调整非刚性映射f的扭曲程度,通过最小化E<sub>TPS</sub>(f)求解系数a<sub>11</sub>,a<sub>12</sub>,a<sub>13</sub>,a<sub>21</sub>,a<sub>22</sub>,a<sub>23</sub>,w<sub>1i</sub>,w<sub>2i</sub>,得到样本绘制实体形状与特定人脸五官几何特征之间的映射关系f,将f作为五官匹配得到的样本<img file="FSB00000463854200029.GIF" wi="94" he="51" />的变形函数,即<img file="FSB000004638542000210.GIF" wi="290" he="50" />变形后得到的绘制实体形状<img file="FSB000004638542000211.GIF" wi="73" he="44" />按照整体布局L<sup>face</sup>中确定的五官大小和位置参数,得到特定人脸I<sup>face</sup>的绘制式样P<sup>face</sup>=(L<sup>face</sup>,E<sup>face</sup>)。
地址 710049 陕西省西安市咸宁路28号