发明名称 供视频物件平面之时间及空间可定标编码
摘要 本发明提供一种包括输入数值视频次序中视频物件平面(VOPS)的视频影像之时间及空间定标。编码效率经由适当压缩定标栏模式视频获得改善,增强层中向上取样VOP经重排而获得与直线规范为基础的输入视频次序之间较大的关系。最后余数使用空间转换如DCT加以编码。增强层 VOPS的编码使用一种由定标移动向量决定基层VOPS的移动补偿设计,提供缩小的搜寻范围,其中心由定标移动向量决定。移动补偿设计适合定标框模式或栏模式视频使用。各种不同处理机构造都会达成特别的可定标编码结果,可定标编码的应用包括立体视频,图中图,预览存取频道及ATM通信。
申请公布号 TW406512 申请公布日期 2000.09.21
申请号 TW087107902 申请日期 1998.05.21
申请人 通用仪器公司 发明人 陈修明;亚杰露莎;甘尼栩雷正;曼黛扬娜拉辛汉
分类号 H04N5/14 主分类号 H04N5/14
代理机构 代理人 陈长文 台北巿敦化北路二○一号七楼
主权项 1.一种输入视频序列之定标方法,包括在对应基层及增强层中通信的视频物件平面(VOP),该VOP在该输入视频序列中含有一相关空间解析度及时间解析度,包括的步骤为:向下取样该输入视频序列VOP的第一特别平面的图素资料,以提供一第一基层VOP具有减少的空间解析度;向上取样该第一基层VOP最少一部份的图素资料,以提供该增强层中第一向上取样VOP;及使用该输入视频序列第一特别VOP微分编码该第一向上取样VOPs供在该增强层中对应该第一基层VOP暂时位置通信。2.如申请专利范围第1项之方法,其中该VOPs在该输入视频序列中为栏模式VOPs,及该微分编码步骤包括另外的步骤为:如果图素资料线符合重排规范,重排该栏模式第一向上取样VOP的图素资料线;根据该第一向上取样VOP图素资料与该输入视频序列的该第一特别VOP图素资料之间差数决定余数;及空间转换该余数以提供转换系数。3.如申请专利范围第2项之方法,其中:该第一向上取样VOP之图素资料线符合重排规范,而相对栏线亮度値差之和大于同栏线亮度资料差及偏斜値之和。4.如申请专利范围第1项之方法,包括其他步骤为:向下取样该输入视频序列之第二特别VOP图素资料,以提供一第二基层VOP具有一减少空间解析度;向上取样该第二基层VOP最少一部份图素资料,以提供该增强层第二向上取样VOP,并对应于该第一取样VOP;使用该第一及第二基层VOPs之至少一个,以预测一对应于该第一及第二向上取样VOPs的中间VOP;及编码该中间VOP供在该增强层中该第一及第二向上取样VOPs中间暂时位置通信。5.如申请专利范围第4项之方法,其中:该增强层具有比该基层高的时间解析度;及该基层及增强层都适合提供最少下列之一:(a)图中图(PIP)能力,其中PIP影像在该基层中传送,及(b)预览存取频道能力,其中预览存取影像在该基层中传送。6.如申请专利范围第1项之方法,其中:该基层适合传送较高优先序列,较低位元率资料,及该增强层适合传送较低优先序列,较高位元率资料。7.一种输入视频序列包括视频物件平面(VOPs)定标方法,供在对应基层及增强层中通信,该输入视频序列中该VOPs具有一相关空间解析度及时间解析度,包括步骤为:提供一该输入视频序列之第一特别VOP作为第一基层VOP在该基层中通信;向下取样该第一基层VOP最少一部份图素资料供在该增强层中通信,并作为在对应该第一基层VOP暂时位置的第一向下取样VOP;向下取样该第一特别VOP的对应图素资料以提供一比较VOP;及使用该比较VOP微分编码该第一向下取样VOP。8.如申请专利范围第7项之方法,包括其他步骤为:使用该第一特别VOP微分编码该第一基层VOP;由:根据该第一基层VOP图素资料与该第一特别VOP图素资料之间差数决定余数;空间转换该余数以提供转换系数。9.如申请专利范围第8项之方法,其中在该输入视频序列中VOPs为栏模式VOPs,及微分编码该第一基层VOP,其步骤为:在决定步骤之前如果该图素资料线符合重排规范,重排该栏模式第一基层VOP图素资料线。10.如申请专利范围第9项之方法,其中:该第一基层VOP图素资料线合该重排规范,而相对栏线亮度値差之和大于同栏线亮度资料差及偏斜値之和。11.如申请专利范围第7项之方法,包括其他步骤为:提供该输入视频序列一第二特别VOP作为第二基层VOP在该基层中通信;向下取样该第二基层VOP最少一部份图素资料供在该增强层通信,并作为在对应该第二基层VOP暂时位置的第二向下取样VOP;向下取样该第二特别VOP的对应图素以提供一比较VOP;使用该第一及第二基层VOPs,至少其中之一以预测对应该第一及第二向下取样VOP之中间VOP;及编码第一及第二向下取样VOPs的中间暂时位置通信。12.如申请专利范围第7项之方法,其中:基层及增强层都适合提供一立体视频能力,其中在增强层中影像具有比基层中影像低的空间解析度。13.一种双向预测视频物件平面(B-VOP)编码方法,包括步骤为:定标输入视频序列包括视频物件平面(VOP)供在一对应基层及增强层中通信;提供在对应该输入视频序列VOP的基层中第一及第二基层VOPs;根据移动向量MVP从该第一基层及第二基层VOP中间暂时位置;及至少使用下列之一编码该B-VOP:(a)前进移动向量MVf及(b)后退移动向量MVb,由定标该移动向量MVP获得。14.如申请专利范围第13项之方法,其中:一时间距离TRP隔开该第一及第二基层VOP;一时间距离TRB隔开该第一基层VOP及该B-VOP;m/n为第一及第二基层VOP空间解析度与b-VOP空间解析度之比;及最少下列之一:(a)根据公式MVf=(m/n)TRBMVP/TRP决定该前进移动向量MVf;(b)根据公式MVb=(m/n)(TRB-TRP)MVP/TRP决定后退移动向量MVb。15.如申请专利范围第13项之方法,包括其他步骤为:使用最少下列之一编码该B-VOP:(a)该第一基层VOP搜寻区域,其中心系根据该前进移动向量MVf决定;及(b)该第二基层VOP搜寻区域,其中心系根据该后退移动向量MVb决定。16.一种恢复输入视频序列之方法,该序列包括在对应基层及增强层中定标及通信的视频物件平面(VOPs),该VOP在该输入视频序列中,具有相关空间解析度及时间解析度,其中:该输入视频序列的第一特别VOP图素资料系向下取样及传送,并作为第一基层VOP具有减少空间解析度;该第一基层VOP最少一部份图素资料系向上取样及传送,并于该增强层中对应该第一基层VOP暂时位置上作为第一向上取样VOP;该第一向上取样VOP使用该输入视频序列第一特别VOP微分编码;该方法包括步骤为:向上取样该第一基层VOP图素资料以恢复该相关空间解析度;及处理该第一向上取样VOP及包括该恢复相关空间解析度之第一基层VOP以提供一输出视频信号包括该相关空间解析度。17.如申请专利范围第16项之方法,其中:在该输入视频序列中VOPs都为栏模式VOPs;及在栏模式中如果该图素资料线符合重排规范,利用重排该第一向上取样VOP图素资料线微分编码该第一向上取样VOP,然后,根据该第一向上取样VOP图素资料与该输入视频序列第一特别VOP图素资料之间差数决定余数,并空间转换该余数以提供转换系数。18.如申请专利范围第17项之方法,其中:该第一向上取样VOP图素资料线符合重排规范,而相对栏线亮度値差之和大于同栏线亮度资料差及偏斜値之和。19.如申请专利范围第16项之方法,其中:该输入视频序列第二特别VOP系向下取样以提供一第二基层VOP具有一减少空间解析度;该第二基层VOP最少一部份图素资料系向上取样以提供第二向上取样VOP于该增强层中对应该第一向上取样VOP;使用该第一及第二基层VOP之至少一个以预测一对应于该第一及第二向上VOPs的中间VOP;编码该中间VOP供在该增强层中第一及第二向上取样VOP中间的暂时位置通信。20.如申请专利范围第19项之方法,其中:该增强层具有比该基层高的时间解析度;及该基层及增强层都适合提供最少下列之一:(a)一种图中图(PIP)能力,其中PIP影像在该基层中传送,及(b)一种预览存取频道能力,其中预览存取影像在该基层中传送。21.如申请专利范围第16项之方法,其中:该基层适合传送较高优先序列,较低位元率资料,及该增强层适合传送较低优先序列,较高位元率资料。22.一种恢复输入视频序列之方法,该视讯序列包括在对应基层及增强层中定标及通信的视频物件平面(VOPs),该等VOP在该输入视频序列中具有相关空间解析度及时间解析度,其中:该输入视频序列之第一特别VOP提供在该基层中作为第一基层VOP;该第一基层VOP最少一部份图素资料系向下取样及传送,并于该增强层中对应该第一基层VOP暂时位置上作为第一向下取样VOP;该第一特别VOP对应图素资料系向下取样以提供一比较VOP;及使用该比较VOP微分编码该第一向下取样VOP;该方法包括步骤为:向下取样该第一向下取样图素资料以恢复该相关空间解析度;及处理该第一向下取样VOP包括该恢复相关空间解析度及该第一基层VOP以提供一输出视频信号包括该相关空间解析度。23.如申请专利范围第22项之方法,其中:该第一基层VOP使用该第一特别VOP微分编码,并根据该第一基层VOP图素资料与该第一特别VOP图素资料之间差数决定余数,及空间转换该余数以提供转换系数。24.如申请专利范围第23项之方法,其中:该VOPs在该输入视频序列中都为栏模式,在栏模式中决定余数之前如果图素资料线符合重排规范,利用重排该第一基层VOP图素资料线微分编码该第一基层VOP。25.如申请专利范围第24项之方法,其中:该第一基层VOP图素资料线符合重排规范,而相对栏线亮度値差之和大于同栏线亮度资料差及偏斜値之和。26.如申请专利范围第22项之方法,其中:在该基层中提供该输入视频序列第二特别VOP作为第二基层VOP;该第二基层VOP最少一部份图素资料系向下取样及传送,并于该增强层中对应该第二基层VOP暂时位置上作为第二向下取样VOP;该第二特别VOP对应图素资料系向下取样以提供一比较VOP;使用该比较VOP微分编码该第二向下取样VOP;使用该第一及第二基层VOP之的至少一个以预测一对应该第一及第二向下取样VOP之中间VOP;及编码该中间VOP供在该增强层中该第一及第二向下取样VOP中间暂时位置通信。27.如申请专利范围第22项之方法,其中:该基层及增强层都适合提供一立体视频能力,其中在该增强层中影像资料具有比在该基层中影像资料低的空间解析度。28.一种恢复输入视频序列方法,包括在对应基层及资料流增强层中定标及通信的视频物件平面(VOPs),该VOP在该输入视频序列中具有一相关空间解析度及时间解析度,其中:在该基层中提供对应该输入视频序列VOP的第一及第二基层VOP;该第二基层VOP系根据移动向量MVP从该第一基层VOP预测;在该增强层中第一及第二基层VOP中间暂时位置提供一双向预测视频物件平面(B-VOP);及使用前进移动向量MVf及后退移动向量MVb编码该B-VOP,其中移动向量由定标该移动向量MVP获得;该方法包括步骤为:从该资料流恢复该前进移动向量MVf及后退移动向量MVb;及使用该前进移动向量MVf及该后退移动向量MVb解码该B-VOP。29.如申请专利范围第28项之方法,其中:时间距离TRP隔离该第一及第二基层VOPs;时间距离TRB隔离该第一基层VOP及该B-VOP;m/n为第一及第二基层VOP空间解析度与B-VOP空间解析度之比;及最少下列之一:(a)根据公式MVf=(m/n)TRBMVP/TRP决定该前进移动向量MVf;(b)根据公式MVb=(m/n)(TRB-TRP)MVP/TRP决定后退移动向量MVb。30.如申请专利范围第28项之方法,其中:使用最少下列之一编码该B-VOP:(a)该第一基层VOP搜寻区域,其中心根据该前进移动向量MVf决定;及(b)该第二基层VOP搜寻区域,其中心根据该后退移动向量MVb决定。31.一种恢复输入视频序列之解码装置,包括在对应基层及增强层中定标及通信视频物件平面(VOPs),该VOP在该输入视频序列中具有一相关空间解析度及时间解析度,其中:该输入视频序列之第一特别VOP图素资料系向下取样及传送,并作为第一基层VOP具有减少空间解析度;该第一基层VOP最少一部份图素资料系向上取样及传送,并于该增强层中对应该第一基层VOP暂时位置作为第一向上取样VOP;使用输入视频序列第一特别VOP微分编码该第一向上取样VOP;该装置包括:向上取样该第一基层VOP图素资料以恢复该相关空间解析度之装置;处理该第一向上取样VOP及该第一基层VOP包括该恢复相关空间解析度以提供一输出视频信号包括该相关空间解析度之装置。32.如申请专利范围第31项之装置,其中:该VOPs在该输入视频序列中都为栏模式VOPs;及在栏模式中,如果该图素资料符合重排规范,利用重排该第一向上取样VOP图素资料线微分编码该第一向上取样VOP,然后根据该第一向上取样VOP图素资料与该输入视频序列第一单VOP图素资料之间差数决定余数,及空间转换该余数以提供转换系数。33.如申请专利范围第32项之装置,其中:该第一向上取样VOP之图素资料线符合重排规范,而相对栏线亮度値差之和大于同栏线亮度资料差及偏斜値之和。34.如申请专利范围第31项之装置,其中:该输入视频序列第二特别VOP系向下取样提供一第二基层VOP具有减少空间解析度;该第二基层VOP最少一部份图素资料系向上取样以提供一第二向上取样VOP在该增强层中对应于该第一向上取样VOP;最少使用该第一及第二基层VOP之一,以提供一中间VOP对应于第一及第二向上取样VOP;及编码该中间VOP供在该增强层中该第一及第二向上取样VOP中间暂时位置通信。35.如申请专利范围第34项之装置,其中:该增强层具有比该基层高时间解析度;及该基层及增强层都适合提供最少下列之一:(a)图中图(PIP)能力,其中PIP影像在该基层中传送,及(b)预览存取频道能力,其中预览存取影像在该基层中传送。36.如申请专利范围第31项之装置,其中:该基层适合传送较高优先序列,较低位元率资料,及该增强层适合传送较低优先序列,较高位元率资料。37.一种恢复输入视频序列之编码器装置,包括在对应基层及增强层中定标及通信的视频物件平面(VOPs),该VOP在该输入视频序列中具有相关空间解析度及时间解析度,其中:在该基层中提供该输入视频序列第一特别VOP作为第一基层VOP;该第一基层VOP最少一部份图素资料系向下取样及传送,并于该增强层对应该第一基层VOP暂时位置上作为第一向下取样VOP;该第一特别VOP对应图素资料系向下取样以提供一比较VOP;及使用该比较VOP微分编码该第一向下取样VOP;该装置包括:向下取样该第一向下取样VOP图素资料以恢复该相关空间解析度之装置;及处理该第一向下取样层VOP包括该恢复相关空间解析度及该第一基层VOP以提供一输出视频信号包括该相关空间解析度之装置。38.如申请专利范围第37项之装置,其中:该第一向下取样VOP微分编码,并根据该第一向下取样VOP图素资料与该输入视频序列第一特别VOP图素资料之差数决定余数,及空间转换该余数以提供转换系数。39.如申请专利范围第38项之装置,其中:该VOPs在该输入视频序列中都为栏模式VOPs,在栏模式中决定余数之前如前该图素资料线符合重排规范,利用重排该第一基层VOP图素资料线微分编码该第一基层VOP。40.如申请专利范围第39项之装置,其中:该第一基层VOP图素资料线符合重排规范,而相对栏线亮度値差之和大于同栏线亮度资料差及偏斜値之和。41.如申请专利范围第37项之装置,其中:提供一该输入视频序列第二特别VOP供在该基层中作为第二基层VOP通信;该第二基层VOP最少一部份图素资料向下取样以提供一第二向下取样VOP在该增强层中对应该第一向上取样VOP;及编码该中间VOP供在该增强层中该第一及第二向下取样VOP中间暂时位置通信。42.如申请专利范围第37项之装置,其中:该基层及增强层都适合提供一立体视频能力,其中影像资料在该增强层中具有比该基层中影像资料低的空间解析度。43.一种恢复输入视频序列之解码器装置,包括在对应基层及增强层中资料中定标及通信的视频物件平面(VOPs),该VOP在该输入视频序列中具有相关空间解析度及时间解析度,其中:在该基层中提供对应该输入视频序列VOP的第一及第二基层VOPs;从第一基层VOP根据移动向量MVP预测该第二基层VOP;在该增强层中第一及第二基层VOP中间暂时位置提供一双向预测视频物件平面(B-VOP);及使用前进移动向量MVf及后退移动向量MVb编码该B-VOP,其中向量由定标该移动向量MVP获得;该装置包括:从该资料流恢复该前进移动向量MVf及后退移动向量MVb之装置;及使用该前进移动向量MVf及后退移动向量MVb解码该B-VOP之装置。44.如申请专利范围第43项之装置,其中:时间距离TRP隔离于第一及第二基层VOPs;时间距离TRB隔离该第一基层VOP及该B-VOP;m/n为第一及第二基层VOPs空间解析度与B-VOP空间解析度之比;及最少下列之一:(a)根据公式MVf=(m/n)TRBMVP/TRP决定该前进移动向量MVf;及(b)根据公式MVb=(m/n)(TRB-TRP)MVP/TRP决定后退移动向量MVb。45.如申请专利范围第43项之装置,其中:最少使用下列之一编码之该B-VOP:(a)该第一基层VOP搜寻区域,其中心根据该前进移动向量MVf决定;及(b)该第二基层VOP搜寻区域,其中心根据该后退移动向量MVb决定。图式简单说明:第一图系根据本发明之视频物件平面(VOP)之编码及解码过程图示。第二图系根据本发明之VOP编码器及解码器之方块图。第三图系根据本发明之图素向上取样图示。第四图为基层及增强层VOP之间预测过程的范例图示。第五图系根据本发明之VOP时间及空间定标之图示。第六图系根据本发明之图素线从框模式至栏模示重排列图示。第七图系根据本发明之图中图(PIP)或预览频道存取应用含空间及时间定标图示。第八图系根据本发明之立体视频应用图示。
地址 美国