在基于3维模型的编码系统中产生唇部活动参数的方法及装置

摘要

在基于3维模型的编码系统中，首先，通过将一3维唇部模型匹配至单独个人的基本唇部而生成根据该单独个人的特征化的3维唇部模型。接着，将其转换成一2维唇部模型并根据实际唇部图象而进行转动，如果该人正在讲话，则根据一识别出的音节而被重构。最后，计算该2维唇部模型与该实际唇部图象之间的差别。由于只传送该所述差别而非整个实际唇部图象，传输数据量可被减少。

主权项

1、一种用于在基于3维模型的编码系统中通过使用声音信号及图象信号产生唇部活动参数的方法，其中每个唇部活动参数是一实际唇部模型与一变换后的2维唇部模型之间的差别，该实际唇部图象是一被显示的一人连续变化的唇部图象，该方法包括有步骤：(a)根据该人的一基本唇部的位置从该人的基本脸部图象来提供该人的基本唇部图象，并根据该人的该基本唇部图象修改一通用的3维唇部模型以提供一特征化的3维唇部模型，其中该基本脸部图象是该人的无表情且沉默的正面脸部图象；(b)从该人的声音信号中识别出音节，并在该音节的沿一时间轴和一频率轴的活动量大于一预定阈值时提供一第一选择信号，并在该音节的活动量开始低于该预定阈值时提供一第二选择信号；(c)从这些图象信号中抽取该人的实际唇部图象；(d)给出一根据一转动角度和该音节的一重构的2维唇部模型，其中该转动角度是通过比较该实际唇部图象和由该特征化的3维唇部模型转换得到的一特征化的2维唇部模型来计算的；及(e)将该唇部活动参数、声音信号和转动角度发送给一解码器，其中该唇部移动参数是根据该实际唇部图象和该重构的2维唇部模型之间的移动量来计算的。