发明名称 可调整位元流大小的影像编解码装置
摘要 一种可调整位元流大小的影像编码装置,包含一基层编码器和一加强层编码器。经由比较原始影像与基层编码器和加强层编码器中具运动补偿之预测影像产生运动补偿差异影像。以渗漏预测和部份预测为基础,在加强层建造高品质参考影像以改进时间上的预测。在高品质参考影像的建造中,参数β控制使用的加强层差异系数的位元平面数,而另一个参数α控制预测渗漏的量。空间的可调整大小模组允许基层和加强层处理的图形具有相同或不同的空间解析度。
申请公布号 TWI233306 申请公布日期 2005.05.21
申请号 TW091134745 申请日期 2002.11.29
申请人 国立交通大学 发明人 黄项群;王俊能;蒋迪豪;杭学鸣
分类号 H04N7/32 主分类号 H04N7/32
代理机构 代理人 欧奉璋 台北市信义区松山路439号3楼
主权项 1.一种可调整位元流大小的影像编码装置,包含有:一基层编码器,用来接收一原始视讯影像和一基层参考影像以产生基层位元流;以及一加强层编码器,用来接收该原始的视讯影像、一运动估算向量、一基层重建影像和已编码的基层离散余弦转换系数以产生一加强层位元流;其中该基层参考影像系由该加强层编码器或该基层编码器所产生,且该基层重建影像、运动估算向量和已编码的基层离散余弦转换系数系从该基层编码器产生。2.如申请专利项第1项所述之可调整位元流大小的影像编码装置,该基层编码器更包含:一运动估算器,用来接收该原始的视讯影像和该基层参考影像以估算一运动向量;一运动补偿器,用来接收该基层参考影像和该运动向量以产生一基层预测的影像;一减法单元,将该原始的视讯影像减去该基层预测的影像并且产生一运动补偿基层画面差异影像;一离散余弦转换单元,将该运动补偿基层画面差异影像转换成运动补偿基层差异系数;一量化器,将该运动补偿基层差异系数量化成量化的基层差异系数;以及一可变长度的编码单元,用来接收该运动向量和该量化的基层差异系数以产生该基层位元流。3.如申请专利项第2项所述之可调整位元流大小的影像编码装置,该基层编码器更包含:一反量化器,用来接收该量化的基层差异系数并且产生该已编码的基层离散余弦转换系数;一反离散余弦转换单元,用来接收该已编码的基层离散余弦转换系数并且产生一已编码的基层差异影像;一加总单元,将该已编码的基层差异影像加至该基层预测的影像,以产生一无修剪的基层重建影像;一修剪单元,用来接收该无修剪的基层重建影像并且产生该基层重建影像;以及一基层影像缓冲器,用来缓冲该基层重建影像。4.如申请专利项第3项所述之可调整位元流大小的影像编码装置,该加强层编码器更包含:一运动补偿器,用来接收该运动向量和一缓冲的加强层重建影像以产生一加强层预测的影像;一减法单元,将该原始的视讯影像减去该加强层预测的影像并且产生一运动补偿加强层差异影像;一离散余弦转换单元,将该运动补偿加强层差异影像转换成运动补偿加强层差异系数;一减法单元,将该运动补偿加强层差异系数减去该已编码的基层离散余弦转换系数并且产生第一残余系数;一减法单元,将该运动补偿基层差异系数减去该已编码的基层离散余弦转换系数并且产生第二残余系数;一位元平面编码单元,用来接收该第一或第二残余系数并且产生加强层差异系数;以及一可变长度的编码单元,用来接收该加强层差异系数并且产生一加强层位元流。5.如申请专利项第4项所述之可调整位元流大小的影像编码装置,该加强层编码器更包含:一加总单元,将该已编码的基层离散余弦转换系数加至该加强层差异系数的前个位元平面,以产生加强层部份差异系数;一反离散余弦转换单元,将该加强层部份差异系数转换成一加强层部份差异影像;一加总单元,将该加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的加强层部份重建影像;一修剪单元,用来接收该无修剪的加强层部份重建影像并且产生一加强层部份重建影像;一减法单元,将该加强层部份重建影像减去该基层重建影像并且产生一加强层重建差异影像;一大小调整器,将该加强层重建差异影像乘上一因子并且产生一已改变大小的加强层重建差异影像;一加总单元,将该已改变大小的加强层重建差异影像加至该基层重建影像并且产生一加强层重建影像;以及一加强层影像缓冲器,用来缓冲该加强层重建影像。6.如申请专利项第5项所述之可调整位元流大小的影像编码装置,其中该基层参考影像系选自缓冲在该基层影像缓冲器或该加强层影像缓冲器内的一个影像。7.如申请专利项第5项所述之可调整位元流大小的影像编码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。8.如申请专利项第5项所述之可调整位元流大小的影像编码装置,其中系大于等于0且小于等于1。9.如申请专利项第5项所述之可调整位元流大小的影像编码装置,更包括一高品质基层预测模组,该高品质基层预测模组包含有:一加总单元,将该已编码的基层离散余弦转换系数加至该加强层差异系数的前个位元平面,以产生预测的高品质加强层部份差异系数;一反离散余弦转换单元,将该预测的高品质加强层部份差异系数转换成一高品质加强层部份差异影像;一加总单元,将该预测的高品质加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的高品质加强层部份重建影像;一修剪单元,用来接收该无修剪的预测的高品质加强层部份重建影像并且产生一高品质加强层部份重建影像;一减法单元,将该预测的高品质加强层部份重建影像减去该基层重建影像并且产生一高品质加强层重建差异影像;一大小调整器,将该预测的高品质加强层重建差异影像乘上一因子并且产生一已改变大小的高品质加强层重建差异影像;以及一加总单元,将该已改变大小的高品质加强层重建差异影像加至该基层重建影像并且产生一高品质基层参考影像;其中,该基层参考影像有一选取开关,用来选取该基层重建影像或该高品质基层参考影像。10.如申请专利项第9项所述之可调整位元流大小的影像编码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。11.如申请专利项第9项所述之可调整位元流大小的影像编码装置,其中系大于等于0且小于等于1。12.一种可调整位元流大小的影像编码装置,包含有:一基层编码器,用来接收一原始视讯影像和一基层参考影像以产生基层位元流;一加强层编码器,用来接收该原始的视讯影像、一运动估算向量、一基层重建影像和已编码的基层离散余弦转换系数以产生一加强层位元流;以及一编码器空间可调大小的模组,该编码器空间可调大小的模组包含复数个取样器、复数个内插器和复数个开关;其中该基层参考影像系由该加强层编码器或该基层编码器所产生,该基层重建影像系由该基层编码器所产生,且当该加强层编码器产生该基层参考影像时,该编码器空间可调大小的模组控制该基层参考影像是否已被取样,且控制该基层重建影像是否已被内插。13.如申请专利项第12项所述之可调整位元流大小的影像编码装置,该基层编码器更包含:一运动估算器,用来接收该原始的视讯影像和该基层参考影像以估算一运动向量;一运动补偿器,用来接收该基层参考影像和该运动向量以产生一基层预测的影像;一减法单元,将该原始的视讯影像减去该基层预测的影像并且产生一运动补偿基层画面差异影像;一离散余弦转换单元,将该运动补偿基层画面差异影像转换成运动补偿基层差异系数;一量化器,将该运动补偿基层差异系数量化成量化的基层差异系数;以及一可变长度的编码单元,用来接收该运动向量和该量化的基层差异系数以产生该基层位元流。14.如申请专利项第13项所述之可调整位元流大小的影像编码装置,该基层编码器更包含:一反量化器,用来接收该量化的基层差异系数并且产生该已编码的基层离散余弦转换系数;一反离散余弦转换单元,用来接收该已编码的基层离散余弦转换系数并且产生一已编码的基层差异影像;一加总单元,将该已编码的基层差异影像加至该基层预测的影像,以产生一无修剪的基层重建影像;一修剪单元,用来接收该无修剪的基层重建影像并且产生该基层重建影像;以及一基层影像缓冲器,用来缓冲该基层重建影像。15.如申请专利项第14项所述之可调整位元流大小的影像编码装置,该加强层编码器更包含:一运动补偿器,用来接收该运动向量和一缓冲的加强层重建影像以产生一加强层预测的影像;一减法单元,将该原始的视讯影像减去该加强层预测的影像并且产生一运动补偿加强层差异影像;一离散余弦转换单元,将该运动补偿加强层差异影像转换成运动补偿加强层差异系数;一减法单元,将该运动补偿加强层差异系数减去该已编码的基层离散余弦转换系数并且产生第一残余系数;一减法单元,将该运动补偿基层差异系数减去该已编码的基层离散余弦转换系数并且产生第二残余系数;一位元平面编码单元,用来接收该第一或第二残余系数并且产生加强层差异系数;以及一可变长度的编码单元,用来接收该加强层差异系数并且产生一加强层位元流,该可变长度的编码单元备有一输入用以接收该加强层运动向量。16.如申请专利范围第15项所述之可调整位元流大小的影像编码装置,该加强层编码器更包含:一加总单元,将该已编码的基层离散余弦转换系数加至该加强层差异系数的前个位元平面,以产生加强层部份差异系数;一反离散余弦转换单元,将该加强层部份差异系数转换成一加强层部份差异影像;一加总单元,将该加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的加强层部份重建影像;一修剪单元,用来接收该无修剪的加强层部份重建影像并且产生一加强层部份重建影像;一减法单元,将该加强层部份重建影像减去该基层重建影像并且产生一加强层重建差异影像;一大小调整器,将该加强层重建差异影像乘上一因子并且产生一已改变大小的加强层重建差异影像;一加总单元,将该已改变大小的加强层重建差异影像加至该基层重建影像并且产生一加强层重建影像;以及一加强层影像缓冲器,用来缓冲该加强层重建影像。17.如申请专利项第16项所述之可调整位元流大小的影像编码装置,更包括一空间可调大小的模组,该空间可调大小的模组包含:一个取样器,用来取出一个缓冲在加强层影像缓冲器里的影像,使其成为一个基层参考影像;一内插器,用来内插该基层重建影像,使其成为一个内插后的基层重建影像;一内插器,用来内插该已解码的基层差异影像,使其成为一个内插后的基层差异影像;一离散余弦转换单元,将该内插后的基层差异影像转换成内插后的基层离散余弦转换系数;以及一运动估算器,用来估算缓冲在加强层影像缓冲器里之影像的该加强层运动向量。18.如申请专利范围第16项所述之可调整位元流大小的影像编码装置,其中该基层参考影像系由一个缓冲在该基层影像缓冲器的影像产生的,或是由一个缓冲在该加强层影像缓冲器的影像产生的,或是由一个缓冲在该加强层影像缓冲器的取样后的影像产生的。19.如申请专利范围第16项所述之可调整位元流大小的影像编码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。20.如申请专利范围第16项所述之可调整位元流大小的影像编码装置,其中系大于等于0且小于等于1。21.如申请专利范围第17项所述之可调整位元流大小的影像编码装置,更包括一高品质基层预测模组,该高品质基层预测模组包含有:一加总单元,将该已编码的基层离散余弦转换系数加至该加强层差异系数的前个位元平面,以产生预测的高品质加强层部份差异系数;一反离散余弦转换单元,将该预测的高品质加强层部份差异系数转换成一高品质加强层部份差异影像;一加总单元,将该预测的高品质加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的高品质加强层部份重建影像;一修剪单元,用来接收该无修剪的预测的高品质加强层部份重建影像并且产生一高品质加强层部份重建影像;一减法单元,将该预测的高品质加强层部份重建影像减去该基层重建影像并且产生一高品质加强层重建差异影像;一大小调整器,将该预测的高品质加强层重建差异影像乘上一因子并且产生一已改变大小的高品质加强层重建差异影像;以及一加总单元,将该已改变大小的高品质加强层重建差异影像加至该基层重建影像并且产生一高品质基层参考影像;其中,该基层影像缓冲器有一选取开关,用来选取该基层重建影像,该高品质基层参考影像或是一取样后的高品质基层参考影像。22.如申请专利范围第21项所述之可调整位元流大小的影像编码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。23.如申请专利范围第21项所述之可调整位元流大小的影像编码装置,其中系大于等于0且小于等于1。24.如申请专利范围第21项所述之可调整位元流大小的影像编码装置,其中该编码器空间可调大小的模组包含一个取样器,用来取出一个高品质基层参考影像,使其成为一个取样后的高品质基层参考影像。25.一种可调整位元流大小的影像解码装置,包含有:一基层解码器,用来接收一基层位元流和一基层参考影像以产生基层显示视讯影像;以及一加强层解码器,用来接收一加强层位元流、一运动估算向量、一基层重建影像和已编码的基层离散余弦转换系数以产生一加强层显示视讯影像;其中该基层参考影像系由该加强层解码器或该基层解码器所产生,且该基层离散余弦转换系数、运动估算向量和基层重建影像系从该基层解码器产生。26.如申请专利范围第25项所述之可调整位元流大小的影像解码装置,该基层解码器更包含:一可变长度的解码器,用来接收该该基层位元流并且产生一运动向量和一量化的基层差异系数;一反量化器,用来接收该量化的基层差异系数并且产生该已编码的基层离散余弦转换系数;一反离散余弦转换单元,用来接收该基层离散余弦转换系数并且产生一基层差异影像;一运动补偿器,用来接收该基层参考影像和该运动向量以产生一基层预测的影像;一加总单元,将该基层差异影像加至该基层预测的影像,以产生一无修剪的基层视讯影像;一修剪单元,用来接收该无修剪的基层视讯影像并且产生该基层视讯影像;以及一基层影像缓冲器,用来缓冲该基层重建影像。27.如申请专利范围第25项所述之可调整位元流大小的影像解码装置,该加强层解码器更包含:一可变长度的解码单元,用来接收该加强层位元流并且产生加强层差异系数;一位元平面解码单元,用来解码该加强层差异系数;一加总单元,将来自该位元平面解码单元的以已解码加强层差异系数加至基层差异系数,并且产生加强层离散余弦转换系数;一反离散余弦转换单元,用来接收该加强层离散余弦转换系数,并且产生一加强层差异影像;一加总单元,将该加强层差异影像加至一加强层预测的影像,并产生一无修剪的显示视讯影像;以及一修剪单元,用来接收该无修剪的显示视讯影像并且产生一显示视讯影像。28.如申请专利范围第27项所述之可调整位元流大小的影像解码装置,该加强层解码器更包含:一加总单元,将来自该位元平面解码单元的该已解码的加强层差异系数的前个位元平面加至该基层差异系数,并且产生加强层部份差异系数;一反离散余弦转换单元,将该加强层部份差异系数转换成一加强层部份差异影像;一加总单元,将该加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的加强层部份重建影像;一修剪单元,用来修剪该无修剪的部份重建影像并且产生一部份显示视讯影像;一减法单元,将该部份显示视讯影像减去该基层视讯影像并且产生一加强层重建差异影像;一大小调整器,将该加强层重建差异影像乘上一因子并且产生一已改变大小的加强层重建差异影像;一加总单元,将该已改变大小的加强层重建差异影像加至该基层视讯影像并且产生一加强层重建影像;一加强层影像缓冲器,用来缓冲该加强层重建影像;以及一运动补偿器,用来接收该运动向量和在该加强层影像缓冲器里已缓冲的加强层重建影像,并且产生该加强层预测的影像。29.如申请专利范围第28项所述之可调整位元流大小的影像解码装置,其中该基层参考影像系选自缓冲在该基层影像缓冲器或该加强层影像缓冲器内的一个影像。30.如申请专利范围第28项所述之可调整位元流大小的影像解码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。31.如申请专利范围第28项所述之可调整位元流大小的影像解码装置,其中系大于等于0且小于等于1。32.如申请专利范围第28项所述之可调整位元流大小的影像解码装置,更包括一高品质基层预测模组,该高品质基层预测模组包含有:一加总单元,将该基层离散余弦转换系数加至该加强层差异系数的前个位元平面,以产生预测的高品质加强层部份差异系数;一反离散余弦转换单元,将该预测的高品质加强层部份差异系数转换成一预测的高品质加强层部份差异影像;一加总单元,将该预测的高品质加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的高品质加强层部份重建影像;一修剪单元,用来接收该无修剪的预测的高品质加强层部份重建影像并且产生一高品质加强层部份重建影像;一减法单元,将该预测的高品质加强层部份重建影像减去该基层重建影像并且产生一高品质加强层重建差异影像;一大小调整器,将该预测的高品质加强层重建差异影像乘上一因子并且产生一已改变大小的高品质加强层重建差异影像;以及一加总单元,将该已改变大小的高品质加强层重建差异影像加至该基层重建影像并且产生一高品质基层参考影像;其中,该基层影像缓冲器有一选取开关,用来选取该基层视讯影像或该高品质基层参考影像。33.如申请专利范围第32项所述之可调整位元流大小的影像解码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。34.如申请专利范围第32项所述之可调整位元流大小的影像解码装置,其中系大于等于0且小于等于1。35.一种可调整位元流大小的影像解码装置,包含有:一基层解码器,用来接收一基层位元流和一基层参考影像以产生基层显示视讯影像;一加强层解码器,用来接收一加强层位元流、一运动估算向量、一基层重建影像和已编码的基层离散余弦转换系数以产生一加强层显示视讯影像;以及一解码器空间可调大小的模组,该解码器空间可调大小的模组包含复数个取样器、复数个内插器和复数个开关;其中该基层参考影像系由该加强层解码器或该基层解码器所产生,且该基层离散余弦转换系数、运动估算向量和基层重建影像系从该基层解码器产生,且当该加强层解码器产生该基层参考影像时,该解码器空间可调大小的模组控制该基层参考影像是否已被取样,且控制该基层离散余弦转换系数是否已被内插。36.如申请专利范围第35项所述之可调整位元流大小的影像解码装置,该基层解码器更包含:一可变长度的解码器,用来接收该该基层位元流并且产生一运动向量和一量化的基层差异系数;一反量化器,用来接收该量化的基层差异系数并且产生该已编码的基层离散余弦转换系数;一反离散余弦转换单元,用来接收该基层离散余弦转换系数并且产生一基层差异影像;一运动补偿器,用来接收该基层参考影像和该运动向量以产生一基层预测的影像;一加总单元,将该基层差异影像加至该基层预测的影像,以产生一无修剪的基层视讯影像;一修剪单元,用来接收该无修剪的基层视讯影像并且产生该基层视讯影像;以及一基层影像缓冲器,用来缓冲该基层重建影像。37.如申请专利范围第35项所述之可调整位元流大小的影像解码装置,该加强层解码器更包含:一可变长度的解码单元,用来接收该加强层位元流并且产生加强层差异系数,该可变长度的解码单元备有一输出用以产生该加强层运动向量;一位元平面解码单元,用来解码该加强层差异系数;一加总单元,将来自该位元平面解码单元的以已解码加强层差异系数加至基层差异系数,并且产生加强层离散余弦转换系数;一反离散余弦转换单元,用来接收该加强层离散余弦转换系数,并且产生一加强层差异影像;一加总单元,将该加强层差异影像加至一加强层预测的影像,并且产生一无修剪的显示视讯影像;以及一修剪单元,用来接收该无修剪的显示视讯影像并且产生一显示视讯影像。38.如申请专利范围第37项所述之可调整位元流大小的影像解码装置,该加强层解码器更包含:一加总单元,将来自该位元平面解码单元的该已解码的加强层差异系数的前个位元平面加至该基层差异系数,并且产生加强层部份差异系数;一反离散余弦转换单元,将该加强层部份差异系数转换成一加强层部份差异影像;一加总单元,将该加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的加强层部份重建影像;一修剪单元,用来修剪该无修剪的部份重建影像并且产生一部份显示视讯影像;一减法单元,将该部份显示视讯影像减去该基层视讯影像并且产生一加强层重建差异影像;一大小调整器,将该加强层重建差异影像乘上一因子并且产生一已改变大小的加强层重建差异影像;一加总单元,将该已改变大小的加强层重建差异影像加至该基层视讯影像并且产生一加强层重建影像;一加强层影像缓冲器,用来缓冲该加强层重建影像;以及一运动补偿器,用来接收该运动向量和在该加强层影像缓冲器里已缓冲的加强层重建影像,并且产生该加强层预测的影像。39.如申请专利项第38项所述之可调整位元流大小的影像解码装置,其中该解码器空间可调大小的模组更包含:一个取样器,用来取出一个缓冲在加强层影像缓冲器里的影像,使其成为一个基层参考影像;一内插器,用来内插该基层重建影像,使其成为一个内插后的基层重建影像;一内插器,用来内插该已解码的基层差异影像,使其成为一个内插后的基层差异影像像;以及一离散余弦转换单元,将该内插后的基层差异影像转换成内插后的基层离散余弦转换系数。40.如申请专利范围第38项所述之可调整位元流大小的影像解码装置,其中该基层参考影像系选自缓冲在该基层影像缓冲器内的一个影像,或该加强层影像缓冲器内的一个影像,或该加强层影像缓冲器内的影像经过取样后的一个影像之其中一个影像。41.如申请专利范围第38项所述之可调整位元流大小的影像解码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。42.如申请专利范围第38项所述之可调整位元流大小的影像解码装置,其中系大于等于0且小于等于1。43.如申请专利范围第38项所述之可调整位元流大小的影像解码装置,更包括一高品质基层预测模组,该高品质基层预测模组包含有:一加总单元,将该基层离散余弦转换系数加至该加强层差异系数的前个位元平面,以产生预测的高品质加强层部份差异系数;一反离散余弦转换单元,将该预测的高品质加强层部份差异系数转换成一预测的高品质加强层部份差异影像;一加总单元,将该预测的高品质加强层部份差异影像加至该加强层预测的影像并且产生一无修剪的高品质加强层部份重建影像;一修剪单元,用来接收该无修剪的预测的高品质加强层部份重建影像并且产生一高品质加强层部份重建影像;一减法单元,将该预测的高品质加强层部份重建影像减去该基层重建影像并且产生一高品质加强层重建差异影像;一大小调整器,将该预测的高品质加强层重建差异影像乘上一因子并且产生一已改变大小的高品质加强层重建差异影像;以及一加总单元,将该已改变大小的高品质加强层重建差异影像加至该基层重建影像并且产生一高品质基层参考影像;其中,该基层影像缓冲器有一选取开关,用来选取该基层视讯影像,该高品质基层参考影像或是一取样后的高品质基层参考影像。44.如申请专利范围第43项所述之可调整位元流大小的影像解码装置,其中系一个介于0和该加强层差异系数的最大位元平面数之间的整数。45.如申请专利范围第43项所述之可调整位元流大小的影像解码装置,其中系大于等于0且小于等于1。图式简单说明:图1a说明使用在MPEG-4中的一个FGS编码器结构。图1b说明使用在MPEG-4中的一个FGS解码器结构。图2说明本发明之利用RFGS编码架构,用来在加强层编码位元平面的部份内部预测模式。图3说明定义于MPEG文件之动态测试用的一个频宽变化图案。图4a为根据本发明之RFGS编码器之方块示意图。图4b为详细说明图4a中之每一方块示意图。图5为根据本发明之RFGS解码器之方块示意图。图6列出并定义本发明之RFGS编码架构在图4-5中的所有符号。图7说明加强层e和b的近似最佳化组合和以PSNR表示基层影像品质间的线性相关性。
地址 新竹市东区大学路1001号