发明名称 画像编码方法及解码方法、该等方法之装置,及该等方法之电脑程式产品以及记录有程式之记忆媒体
摘要
申请公布号 申请公布日期 2011.08.01
申请号 TW096134798 申请日期 2007.09.19
申请人 电信电话股份有限公司 发明人 志水信哉;北原正树;上仓一人;八岛由幸
分类号 H04N7/32 主分类号 H04N7/32
代理机构 代理人 洪武雄 台北市中正区博爱路35号9楼;陈昭诚 台北市中正区博爱路35号9楼
主权项 一种画像编码方法,系在将以复数台摄影机所摄影的多视点画像进行编码时,系利用已编码完成的参照画像、和从前述复数台摄影机之中的将前述参照画像予以摄影的摄影机至被摄体为止的距离,于摄影机之间一边预测画像一边进行编码,该画像编码方法系具有:视差向量设定步骤,根据对于前述参照画像之各像素所给予的前述距离、和将前述参照画像摄影的摄影机与将编码对象画像摄影的各摄影机之间的位置关系,而求出对应于前述参照画像之各像素的各编码对象画像上之对应点,且算出从前述参照像素之像素位置朝向前述编码对象画像上之对应点的像素空间上之视差向量;预测对象向量设定步骤,藉由将前述视差向量之各成分的小数部分舍去或选择最接近各成分之值的整数值,算出与前述视差向量具有相同的起点,且具有将前述视差向量之各成分整数化为整数值后的值作为向量之各成分的预测对象向量;参照对象向量设定步骤,算出与前述视差向量具有相同起点,且具有与前述预测对象向量与前述视差向量之间的差分向量相同之大小与方向的参照对象向量;以及摄影机间画像预测步骤,将藉由前述参照对象向量所示的参照画像上之整数或小数像素位置的像素值,设为藉由前述预测对象向量所示的编码对象画像上之像素的预测值,藉此进行摄影机之间的画像预测。如申请专利范围第1项之画像编码方法,其中,系具有:拟似距离设定步骤,对于前述参照画像之各像素,根据极线几何限制,设定用以表示从前述参照画像中预测编码对象画像时之对应点的拟似距离;以及拟似距离编码步骤,将在前述拟似距离设定步骤设定好的拟似距离进行编码;而且于前述视差向量设定步骤中,系将前述拟似距离作为对于前述参照画像之各像素所给予的距离而使用。如申请专利范围第2项之画像编码方法,其中,前述拟似距离设定步骤系具有:以根据推定出可取得的值而决定的推定疑似距离与摄影机之间的位置关系而求得的在编码对象画像上之对应点为终点,且以被给予了该推定疑似距离的参照画像中之像素为起点,而设定像素空间上之推定视差向量的过程;设定将前述推定视差向量之终点整数化成整数像素所得的推定预测对象向量的过程;设定与前述推定视差向量具有相同起点,且具有与前述推定预测对象向量与前述推定视差向量之间的差分向量相同的大小与方向的推定参照对象向量的过程;以及在对于将完全相同状态的被摄体摄影所得的各编码对象画像,进行使用前述推定预测对象向量、与前述推定参照对象向量进行的摄影机之间的画像预测之处理时,将预测误差之合计为最小之情形时的前述推定拟似距离设定为前述拟似距离的过程。如申请专利范围第3项之画像编码方法,其中,前述拟似距离设定步骤系以使前述预测误差之合计值、和将前述推定疑似距离编码所需的编码量附上加权后的值之和所表示的比率-失真成本成为最小的方式来设定前述拟似距离。如申请专利范围第2项之画像编码方法,其中,系具有:已编码拟似距离解码步骤,将在前述拟似距离编码步骤编码后的拟似距离之编码资料进行解码;而且前述视差向量设定步骤系将在前述已编码拟似距离解码步骤中解码所得的解码疑似距离作为对于前述参照画像之各像素所给予的距离而使用。如申请专利范围第2项之画像编码方法,其中,系具有:区域分割设定步骤,用以设定参照画像的区域分割;且于前述拟似距离设定步骤中,系按以前述区域分割设定步骤所设定的每个区域设定前述拟似距离;于前述拟似距离编码步骤中,则按以前述区域分割设定步骤所设定的每个区域编码前述拟似距离。如申请专利范围第6项之画像编码方法,其中,复具有:区域分割编码步骤,将用以表示以前述区域分割设定步骤所设定的区域分割的资讯进行编码。如申请专利范围第6项之画像编码方法,其中,在前述参照画像的全体画像被区域分割,且各区域系与其区域分割资讯一起被编码的情形中,前述区域分割设定步骤系依循被包含于参照画像之编码资料的区域分割资讯而设定同样的区域分割。如申请专利范围第7项之画像编码方法,其中,在前述参照画像的全体画像被区域分割,且各区域系与其区域分割资讯一起被编码的情形中,前述区域分割编码步骤系仅将表示与被包含于参照画像之编码资料的区域分割资讯所示的区域分割之间之差异的资讯予以编码。如申请专利范围第2项之画像编码方法,其中,前述拟似距离编码步骤系于已编码完成的拟似距离之中选择1个参照拟似距离,且将表示该参照拟似距离的资讯、以及在前述拟似距离设定步骤中所设定的拟似距离与该参照拟似距离之间的差异予以编码。如申请专利范围第2项之画像编码方法,其中,前述拟似距离编码步骤系将对于1个参照画像所设定的拟似距离群视为画像,且将该等拟似距离之集合使用预定之画像编码方法进行编码。如申请专利范围第1项之画像编码方法,其中,前述预测对象向量设定步骤中,各成分系以具有最接近于前述视差向量之各成分的编码处理区块大小之整数倍的值的向量作为预测对象向量。一种画像解码方法,系在将以复数台摄影机所摄影的多视点画像进行解码时,利用已解码完成的参照画像、和从前述复数台摄影机之中的将前述参照画像予以摄影的摄影机至被摄体为止的距离,于摄影机之间一边预测画像一边进行解码者,该画像解码方法系具有:视差向量设定步骤,根据对于前述参照画像之各像素所给予的前述距离、和将前述参照画像摄影的摄影机与将解码对象画像摄影的各摄影机之间的位置关系,而求出各解码对象画像上之对应点,且算出从前述参照像素之像素位置朝向前述解码对象画像上之对应点的像素空间上之视差向量;预测对象向量设定步骤,藉由将前述视差向量之各成分的小数部分舍去或选择最接近各成分之值的整数值,算出与前述视差向量具有相同的起点,且具有将前述视差向量之各成分整数化成整数值后的值作为向量之各成分的预测对象向量;参照对象向量设定步骤,算出与前述视差向量具有相同起点,且具有与前述预测对象向量与前述视差向量之间的差分向量相同之大小与方向的参照对象向量;以及摄影机间画像预测步骤,将藉由前述参照对象向量所示的参照画像上之整数或小数像素位置的像素值,设为藉由前述预测对象向量所示的解码对象画像上之像素的预测值,藉此进行摄影机之间的画像预测。如申请专利范围第13项之画像编码方法,其中,系具有:拟似距离解码步骤,从编码资料之中,解码出将由前述参照画像预测解码对象画像时之对应点根据极线几何限制而示的拟似距离;而且前述视差向量设定步骤系将前述疑似距离作为对于前述参照画像之各像素所给予的距离而使用。如申请专利范围第14项之画像解码方法,其中,系具有:区域分割解码步骤,从编码资料中将表示参照画像的区域分割的资讯进行解码;而且前述拟似距离解码步骤系将以前述区域分割解码步骤解码的资讯所示的每个区域之被给予的拟似距离予以解码。如申请专利范围第15项之画像解码方法,其中,在前述参照画像的全体画像被区域分割,且各区域系与其区域分割资讯一起被编码的情形中,前述区域分割解码步骤系将包含于参照画像之编码资料中的区域分割资讯予以解码。如申请专利范围第15项之画像解码方法,其中,在前述参照画像的全体画像被区域分割,且各区域系与其区域分割资讯一起被编码的情形中,前述区域分割解码步骤系将表示与被包含于参照画像之编码资料的区域分割资讯所示的区域分割之间之差异的资讯予以解码,且利用包含于参照画像之编码资料的区域分割资讯与前述表示差异的资讯而设定区域分割。如申请专利范围第14项之画像解码方法,其中,前述拟似距离解码步骤系从编码资料中解码出表示已编码完成的复数个拟似距离之中的1个参照拟似距离的资讯、以及表示解码对象之拟似距离与前述参照拟似距离之间之差异的资讯,而解码前述拟似距离。如申请专利范围第14项之画像解码方法,其中,前述拟似距离解码步骤系将对于1个参照画像所设定的拟似距离群视为画像,且从编码资料中将前述拟似距离群以预定之画像解码方法进行解码。如申请专利范围第13项之画像编码方法,其中,前述预测对象向量设定步骤中,各成分系以具有最接近于前述视差向量之各成分的编码处理区块大小之整数倍的值的向量作为预测对象向量。一种画像编码装置,系在将以复数台摄影机所摄影的多视点画像进行编码时,系利用已编码完成的参照画像、和从前述复数台摄影机之中的将前述参照画像予以摄影的摄影机至被摄体为止的距离,于摄影机之间一边预测画像一边进行编码,该画像编码装置系具有:视差补偿画像产生部,具有:视差向量设定单元,根据对于前述参照画像之各像素所给予的前述距离、和将前述参照画像摄影的摄影机与将编码对象画像摄影的各摄影机之间的位置关系,而求出对应于前述参照画像之各像素的各编码对象画像上之对应点,且算出从前述参照像素之像素位置朝向前述编码对象画像上之对应点的像素空间上之视差向量;预测对象向量设定单元,藉由将前述视差向量之各成分的小数部分舍去或选择最接近各成分之值的整数值,算出与前述视差向量具有相同的起点,且具有将前述视差向量之各成分整数化为整数值后的值作为向量之各成分的预测对象向量;参照对象向量设定单元,算出与前述视差向量具有相同起点,且具有与前述预测对象向量与前述视差向量之间的差分向量相同之大小与方向的参照对象向量;以及视差补偿像素值设定单元,将藉由前述参照对象向量所示的参照画像上之整数或小数像素位置的像素值,设为藉由前述预测对象向量所示的编码对象画像上之像素的预测值,藉此产生视差补偿画像;以及编码对象画像编码部,系具有摄影机间画像预测单元,该摄影机间画像预测单元系将前述视差补偿画像做为摄影机之间的预测画像来使用。如申请专利范围第21项之画像编码装置,其中,系具有:距离画像产生部,对于前述参照画像之各像素,根据极线几何限制,设定用以表示从前述参照画像中预测编码对象画像时之对应点的拟似距离;以及距离画像编码部,将在前述距离画像产生部设定好的拟似距离进行编码;而且于前述视差向量设定单元中,系将前述拟似距离作为对于前述参照画像之各像素所给予的距离而使用。一种画像编码电脑程式产品,用以使电脑执行如申请专利范围第1项之画像编码方法中的各步骤。一种画像编码电脑程式产品,用以使电脑执行如申请专利范围第2项之画像编码方法中的各步骤。一种记忆媒体,系可供电脑读取,且纪录有用以使电脑执行如申请专利范围第1项之画像编码方法中的各步骤的画像编码程式。一种画像解码装置,系在将以复数台摄影机所摄影的多视点画像进行解码时,利用已解码完成的参照画像、和从前述复数台摄影机之中的将前述参照画像予以摄影的摄影机至被摄体为止的距离,于摄影机之间一边预测画像一边进行解码者,该画像解码装置系具有:视差补偿画像产生部,系具有:视差向量设定单元,根据对于前述参照画像之各像素所给予的前述距离、和将前述参照画像摄影的摄影机与将解码对象画像摄影的各摄影机之间的位置关系,而求出各解码对象画像上之对应点,且算出从前述参照像素之像素位置朝向前述解码对象画像上之对应点的像素空间上之视差向量;预测对象向量设定单元,藉由将前述视差向量之各成分的小数部分舍去或选择最接近各成分之值的整数值,算出与前述视差向量具有相同的起点,且具有将前述视差向量之各成分整数化成整数值后的值作为向量之各成分的预测对象向量;参照对象向量设定单元,算出与前述视差向量具有相同起点,且具有与前述预测对象向量与前述视差向量之间的差分向量相同之大小与方向的参照对象向量;以及视差补偿像素值设定单元,将藉由前述参照对象向量所示的参照画像上之整数或小数像素位置的像素值,设为藉由前述预测对象向量所示的解码对象画像上之像素的预测值,藉此产生视差补偿画像;以及编码对象画像解码部,系具有摄影机间画像预测单元,该摄影机间画像预测单元系将前述视差补偿画像做为摄影机之间的预测画像来使用。一种画像解码电脑程式产品,用以使电脑执行如申请专利范围第13项之画像解码方法中的各步骤。一种记忆媒体,系可供电脑读取,且纪录有用以使电脑执行如申请专利范围第13项之画像解码方法中的各步骤的画像解码程式。
地址 日本