用于对脸部运动编码的方法和装置

摘要

提供了一种方法,用于在基于一个三维(3D)模型的编码系统中根据一声音和一个二维(2D)图象信号业对一个新的脸部的脸部运动编码。根据人的一般脸的一基本3D模型从新脸的初始数据生成一个自适应3D模型;并通过2D图形信号和自适应3D模型之间的旋转相关性来产生该2D图象信号的一个基本模式。将来自2D图象信号的新脸的一个或多个特征区与该基本模式进行对比,以便检测多个变形参数。根据该声音信号对此变形参数作修正。

主权项

1、一种方法，用于基于一个三维(3D)模型的编码系统中，根据一声音和一个二维(2D)图象信号来对一个新的脸部的脸部运动编码，其中要么基于逐帧、要么基于逐场来提供新脸部的声音和2D图象信号，该方法包括下列步骤：(a)根据一个基本3D模型从新脸部的原始数据中产生一个自适应3D模型，其中该原始数据代表新脸部的一个或多个2D脸部图象，而该基本3D模型代表人的一般脸的3D模型；(b)根据该自适应3D模型产生该2D图象信号的一基本模式，其中该基本模式代表通过该2D图象信号和该自适应3D模型之间的旋转相关性(rotational correlalionship)而获得的一个2D画面；(c)从该2D图象信号中抽出新脸部的一个或多个特征区，其中该特征区代表一个或多个在其中发生许多变形的区域；(d)将该特征区和该基本模式比较以检测多个变形参数，其中该变形参数代表该比较结果；(e)根据声音信号修改该变形参数以产生经修改的变形参数；及(f)对该原始数据和该修改的变形参数编码。