发明名称 用于有效率的视讯处理之方法及装置
摘要 一种视讯压缩的方法及装置系被揭示。本发明系包含一种“智慧型”或是主动的解码器,其系执行许多原本篇编码器所必须之传输上以及指令上的负担,因此大大地降低架空并且产生非常小的编码后之位元资料流。因此,本发明之对应的(亦即,相容的)编码器能够产生一具有大为减少的架空之编码后的位元资料流。这是藉由根据影像固有之结构上的资讯(例如,影像分割、几何、色彩、以及/或是亮度)来编码一张参考帧,并且按着相对于该结构上的资讯以预测其它的帧来加以达成的。典型地,被预测的帧之描述将会包含运动的资讯(例如,片段的运动资料以及/或是代表先前被阻挡的区域之资讯以及/或是不精确的相符以及新的资讯之出现、与未被运动本身所捕捉之部分的片段旋转等等之相关的残余)。由于该解码器能够独立地判断出构成被预测的帧之基础的结构上的资讯(以及其间的关系),因此此种资讯不需要明确地被传送到解码器。而是,该编码器只需要传送其所知道的解码器所无法靠其本身判断出之资讯。
申请公布号 TW515199 申请公布日期 2002.12.21
申请号 TW089107313 申请日期 2000.07.10
申请人 薄森公司 发明人 阿狄提欧 普拉卡什;伊尼可 普拉卡什
分类号 H04N5/262 主分类号 H04N5/262
代理机构 代理人 林镒珠 台北市长安东路二段一一二号九楼
主权项 1.一种用于编码视讯资讯并且解码该视讯资讯的编解码器,其中该视讯资讯系包括至少复数个帧,其中每个帧系代表该视讯资讯的一张影像,该编解码器系包括:一个编码器,其系包括:a)一个输入,其系用以接收包含至少一个第一帧以及一个第二帧的视讯资讯;b)一个分割器,其系产生至少该第一帧的分割,其中分割系代表一个帧根据至少是像素値或是影像内容之片段的像素之结合;c)一个运动的资讯产生器,其系产生代表在该第一帧与第二帧之间的片段之相对运动之运动的资讯,其中相对运动系有关于在该第一与第二帧之间的片段位置上之改变;d)编码该第一帧以形成一个第一编码后的帧之逻辑线路;以及e)编码该第二帧以形成一个第二编码后的帧之逻辑线路,其中该第二编码后的帧系包含至少某些该运动的资讯;以及一个解码器,其系包括:a)一个输入,其系接收该第一编码后的帧以及该第二编码后的帧;b)解码该第一编码后的帧以形成一个第一重新建构后的帧之逻辑线路;c)一个分割器,其系产生至少该第一重新建构后的帧之分割;以及d)使用至少某些该解码器的分割器所产生之分割并且使用至少某些被编码在该第二编码后的帧中之运动的资讯,以解码该第二编码后的帧以形成一个第二重新建构后的帧之逻辑线路。2.如申请专利范围第1项之编解码器,其中该编码器的分割器以及该解码器的分割器系为使得两者对于一个特定的影像帧均产生相同的分割。3.如申请专利范围第1项之编解码器,其中该编码器系包含产生相关该第一帧的分割扩增资讯之逻辑线路,并且其中该解码器系包含解码该分割扩增资讯之逻辑线路,以用于产生至少该第一重新建构后的帧之分割。4.该如申请专利范围第1项之编解码器,其中该编码器的分割器以及该解码器的分割器系为使得两者都产生片段之有序的串列,并且对于一个特定的影像帧都产生相同的有序的串列。5.如申请专利范围第1项之编解码器,其中该编码器的分割器以及该解码器的分割器系为使得两者都分组片段,并且对于一个特定的影像帧都产生相同的分组。6.如申请专利范围第1项之编解码器,其中该运动的资讯系包含与一个群组之复数个片段相关的一个群组运动向量以及与在该群组中之一个片段相关的至少一个运动向量偏移量,其中该至少一个运动向量偏移量系代表该片段相对于该群组的运动之运动。7.一种用于编码视讯资讯之编码器,其中该视讯资讯系包括至少复数个帧,其中每个帧系代表该视讯资讯的一张影像,该编码器系包括:一个输入,其系接收包含至少一个第一帧以及一个第二帧的视讯资讯;编码该第一帧以形成一个第一编码后的帧之逻辑线路;决定出一个第一重新建构后的帧之逻辑线路,其中该第一重新建构后的帧是一个将会产生自该第一编码后的帧之解码的帧;一个分割器,其系产生至少该第一重新建构后的帧之分割,其中分割系代表一个帧根据至少是像素値或是影像内容之片段的像素之结合;一个运动的资讯产生器,其系产生代表在该第一重新建构后的帧以及该第二帧之间的片段之相对运动之运动的资讯,其中相对运动系有关于在该第一重新建构后的帧以及该第二帧之间的片段位置上之改变;以及编码该第二帧以形成一个第二编码后的帧之逻辑线路,其中该第二编码后的帧系包含至少某些该运动的资讯,并且其系被编码使得该第二帧是可使用至少该第一重新建构后的帧之分割的至少一部分,而从该第二编码后的帧来加以重新建构的。8.如申请专利范围第7项之编码器,其更包括:一个命令输入,其系被组态设定来获得嵌入的资讯,其中该嵌入的资讯系包括将被嵌入在该视讯资讯中并且与一个帧的片段相关之命令;以及用于结合差异资讯以及嵌入的资讯到该视讯资讯中之机构。9.如申请专利范围第7项之编码器,其中该编码该第一帧之逻辑线路是被组态设定来根据一或多种静态影像的压缩技术编码。10.如申请专利范围第7项之编码器,其中该编码该第一帧之逻辑线路系包含编码有关该第一帧的分割之扩增资讯的逻辑线路,该扩增资讯是可被一个解码器使用以其分割器来产生该重新建构后的第一帧之分割。11.如申请专利范围第7项之编码器,其中该分割器是被组态设定来分割一个群集的片段,在该等片段之间系具有一个片段次序。12.如申请专利范围第7项之编码器,其更包括一个差异资讯产生器,该差异资讯产生器是被组态设定来编码从一个相关于基础函数之适应性转换所导出的一个差异,其中该基础是藉由该第一重新建构后的帧之分割来决定出。13.如申请专利范围第7项之编码器,其更包括一个差异资讯产生器,该差异资讯产生器是被组态设定来根据运动的资讯编码一个差异。14.如申请专利范围第7项之编码器,其更包括一个包括一个被组态设定来传送该视讯资讯至一个解码器之传送器。15.如申请专利范围第7项之编码器,其更包括一个被组态设定来传送该视讯资讯至一个储存单元之传送器。16.如申请专利范围第7项之编码器,其更包括在该逻辑线路内以编码该第二帧之差异逻辑线路,其中该差异逻辑线路系使用在该第一帧以及该第一重新建构后的帧之间的一个差异以及在该第一重新建构后的帧之分割以及该第二帧的分割之间的一个差异。17.一种用于解码视讯资讯之解码器,其中该视讯资讯系包括至少复数个帧,其中每个帧系代表该视讯资讯之一张影像,该解码器系包括:一个输入,其系接收一个第一编码后的帧以及一个第二编码后的帧;解码该第一编码后的帧以形成一个第一重新建构后的帧之逻辑线路;一个分割器,其系产生至少该第一重新建构后的帧之分割;以及使用该解码器的分割器所产生之分割以及在该第二编码后的帧中所编码之差异资讯,以解码该第二编码后的帧以形成一个第二重新建构后的帧之逻辑线路。18.如申请专利范围第17项之解码器,其中该分割器是被组态设定来分割一个群集的片段,在该等片段之间系具有一个片段次序。19.如申请专利范围第17项之解码器,其中该第一编码后的帧系包含有关该第一重新建构后的帧之分割的扩增资讯,并且该解码器系包含逻辑线路来使用该资讯,与其分割器一起产生至少该第一重新建构后的帧之分割。20.如申请专利范围第17项之解码器,其中该分割器系为使得其根据一个片段次序来产生片段,其中该片段次序系与藉由一个编码器来编码该视讯资讯所使用之一个编码后的片段次序一致。21.如申请专利范围第17项之解码器,其中该差异资讯是从一个相关于基础函数的适应性转换所导出之资讯,其中该基础的选择系依据该分割而定。22.如申请专利范围第17项之解码器,其中该差异资讯是根据运动的资讯之资讯。23.如申请专利范围第17项之解码器,其系包括用于从该视讯资讯取出嵌入的指令之机构。24.如申请专利范围第17项之解码器,其中解码该第二编码后的帧之逻辑线路是被组态设定来根据一或多种静态影像的压缩技术解码。25.一种用于编码视讯资讯之方法,其中该视讯资讯系包括至少复数个帧,其中每个帧系对于该视讯资讯的一张影像编码,该方法系包括:获得该复数个帧之一个第一帧;编码该第一帧以形成一个第一编码后的帧;判断出一个第一重新建构后的帧,其中该第一重新建构后的帧是一个将会产生自该第一编码后的帧之解码的帧:获得有关该第一帧的分割资讯,其中该分割资讯系有关于根据该第一帧的影像内容来分割该第一帧的影像;获得该复数个帧之一个第二帧;计算出该第一以及第二帧之差异资讯,其中该差异资讯系有关于该第一以及第二帧之片段;并且产生编码后的视讯资讯,其系包含至少某些该差异资讯,并且系使得该第二帧是可以藉由一个解码器来根据由该解码器对于该第一帧所产生之分割资讯,从该编码后的视讯资讯来加以重新建构的。26.如申请专利范围第25项之方法,其中该编码后的视讯资讯系包含有关该第一帧之分割的扩增资讯。27.如申请专利范围第25项之方法,其中该编码后的视讯资讯系包含至少一个关键帧,其中一个关键帧是一个不需参考该复数个帧之另外的帧所编码之帧。28.如申请专利范围第25项之方法,其中产生该编码后的视讯资讯之步骤系包含适应性地编码帧的影像内容,以适配于该编码后的影像内容相对于在获得分割资讯之步骤中所决定出的片段边界之位置的步骤。29.如申请专利范围第25项之方法,其更包括:结合该第一帧之复数个片段成为至少一个群组的一个群组结合,其中该结合是根据在该等片段之间共同的特征;并且将该群组结合的表示包含在该编码后的视讯资讯中。30.如申请专利范围第25项之方法,其中至少一个群组结合是根据运动的资讯以及来自复数个解析度等级的资讯中之至少一个。31.如申请专利范围第25项之方法,其更包括:结合一个群组运动向量与该至少一个群组;结合至少一个运动向量偏移量与在该至少一个群组中之至少一个片段,其中该至少一个运动向量偏移量系代表该至少一个片段相对于该至少一个群组的运动之运动;并且一或多个群组运动向量以及一或多个运动向量偏移量之表示包含在该编码后的视讯资讯中。32.如申请专利范围第25项之方法,其更包括:判断出代表影像资料在该第一帧以及该第二帧之间的差异之差异资讯;并且在产生该编码后的视讯资讯中使用该差异资讯。33.如申请专利范围第32项之方法,其中判断出差异资讯系包括从先前的帧之差异资讯来预测差异资讯。34.如申请专利范围第33项之方法,其中预测差异资讯系包括使用z-排列顺序的资讯之预测。35.如申请专利范围第33项之方法,其更包括在产生该编码后的视讯资讯时,编码在该预测出的差异资讯以及实际的差异资讯之间的差异。36.如申请专利范围第32项之方法,其中该差异资讯系包含:z-排列顺序的资讯,其可被使用来在该第二帧中执行片段之z-排列顺序。37.如申请专利范围第25项之方法,其更包括:对于该第一帧的片段判断出z-排列顺序;并且在产生该编码后的视讯资讯中使用该z-排列顺序。38.如申请专利范围第25项之方法,其更包括:判断出对应于分割资讯的残余资讯;并且在产生该编码后的视讯资讯中使用该残余资讯。39.如申请专利范围第25项之方法,其更包括将指令在该编码后的视讯资讯中,其中至少某些该嵌入的指令是与有关该第一帧的分割资讯相关。40.一种用于解码视讯资讯之方法,其中该视讯资讯系包括至少复数个帧,其中每个帧系对于该视讯资讯的一张影像编码,该复数个帧包含被指定为一个关键帧之至少一个帧,该方法系包括:获得一个编码后的关键帧;从该编码后的关键帧重新建构一个关键帧;从该重新建构后的关键帧计算出有关该关键帧的分割资讯,其中该分割资讯系有关于根据该关键帧的影像内容来分割该关键帧的影像;获得一个编码后的中间帧,其系包含有关在该关键帧以及该中间帧之间的片段之差异资讯;并且使用至少某些该差异资讯以及至少某些该分割资讯,从该编码后的中间帧来重新建构一个中间帧。41.如申请专利范围第40项之方法,其中该编码后的关键帧系包含有关该关键帧的分割扩增资讯,该关键帧之分割系考量该分割扩增资讯而被计算出。42.如申请专利范围第40项之方法,其中该等片段系为非简单多边形。43.如申请专利范围第40项之方法,其中该等片段系为非正多边形。44.如申请专利范围第40项之方法,其中该编码后的中间帧系包含由运动的资讯以及一系列的基础函数中之至少一个所表示的差异资讯。45.如申请专利范围第40项之方法,其更包括:结合该第一帧的复数个片段成为至少一个群组的一个群组结合,其中该结合是根据在该等片段之间共同的特征;并且将该群组结合的表示包含在该视讯资讯中。46.如申请专利范围第45项之方法,其中至少一个群组结合是根据运动的资讯以及来自复数个解析度等级的资讯中之至少一个。47.如申请专利范围第40项之方法,其中该差异资讯系包含复数个运动向量。48.如申请专利范围第47项之方法,其中该复数个运动向量系代表复数个片段群组的运动。49.如申请专利范围第48项之方法,其中该复数个运动向量系包含对应于在该群组中之至少一个片段的至少一个运动向量偏移量。50.如申请专利范围第40项之方法,其更包括:预测该差异资讯;获得在该预测出的差异资讯以及该实际的差异资讯之间的差异;并且在重新建构该中间帧中,使用在预测出以及实际的差异资讯之间的差异。51.如申请专利范围第50项之方法,其更包括使用z-排列顺序的资讯来预测该预测出的差异资讯。52.如申请专利范围第40项之方法,其更包括接收在该编码后的视讯资讯中之嵌入的指令,其中至少某些该嵌入的指令是与有关该关键帧的分割资讯相关。53.如申请专利范围第52项之方法,其中至少一个嵌入的指令是与在超过一个帧中之一个片段相关。54.一种体现在一载波中之信号,其系包括:视讯资讯的一个第一帧之编码,其中该视讯资讯系包括至少复数个帧,其中每个帧系代表该视讯资讯之一张影像;以及该视讯资讯的一个第二帧之编码,其中该第二帧之编码系包括代表至少一张影像在该第一帧以及该第二帧之间的片段位置上之差异的差异资讯,其中该影像的片段是藉由该影像内容来决定出,并且是可从该第一帧在一个解码器的重新建构来决定出的片段。55.如申请专利范围第54项之信号,其中该差异资讯是根据基础函数的适应性转换以及运动的资讯中之至少一个。56.一种体现在一载波中之信号,其系包括:视讯资讯的一个第一帧之编码,其中该视讯资讯系包括至少复数个帧,其中每个帧系代表该视讯资讯之一张影像;以及该视讯资讯的一个第二帧之编码,其中该第二帧之编码系包括一组描绘该第二帧相对于该第一帧之影像内容的基础函数之系数,并且其中该组基础函数系有关于分割。图式简单说明:图1是根据本发明之一实施例的编码器之方块图。图2是描绘根据本发明之一实施例的编码器之动作的流程图。图3是根据本发明之一实施例的解码器之方块图。图4是描绘根据本发明之一实施例的解码器之动作的流程图。图5是描绘根据本发明之一实施例的编解码器之动作的流程图。图6是一张参考帧的图示。图7是描绘根据本发明之一实施例的编码器最初处理一张参考帧所藉由的程序之流程图。图8是描绘根据本发明之一实施例的编码器分割一张重新建构后的参考帧所藉由的程序之流程图。图9是根据本发明之一实施例的分割的图示。图10是根据本发明之一实施例的运动比对的图示。图11是描绘根据本发明之一实施例的编码器判断分组(grouping)是否被进行所藉由之程序的流程图。图12是描绘根据本发明之一实施例的运动向量分组之流程图。图13是描绘根据本发明之一实施例的运动预测之流程图。图14是描绘根据本发明之一实施例的多种刻度的分组之流程图。图15是由于片段运动而使得先前被隐藏的区域变为可见的图示。图16是描绘根据本发明之一实施例的预测先前被隐藏的资讯之结构的程序之流程图。图17是本地残余的图示。图18是描绘根据本发明之一实施例的本地残余之编码的流程图。图19是描绘根据本发明之一实施例的嵌入命令之程序的流程图。图20是描绘根据本发明之一实施例的传送一张帧之程序的流程图。图21是描绘根据本发明之一实施例的解码器接收一张参考帧所藉由之程序的流程图。图22是描绘根据本发明之一实施例的藉由解码器之分割的流程图。图23是描绘根据本发明之一实施例的解码器用于接收运动相关的资讯之程序的流程图。图24是描绘根据本发明之一实施例的解码器用以判断分组是否将被进行之程序的流程图。图25是描绘根据本发明之一实施例的解码器进行运动向量分组之程序的流程图。图26是描绘根据本发明之一实施例的解码器处理背景残余之程序的流程图。图27是描绘根据本发明之一实施例的解码器处理本地残余之程序的流程图。图28是描绘根据本发明之一实施例的嵌入命令之程序的流程图。图29是描绘根据本发明之一实施例的处理使用者所驱动的事件之程序的流程图。
地址 美国