发明名称 用于处理影像资料之方法及设备以及半导体储存装置
摘要 本发明揭示一种影像处理装置及一种影像处理方法,其利用少量的计算来计算运动向量。一讯框记忆体储存第一及第二影像资料,一记忆体包括多个元件及一控制单元。每个元件包括一用于储存该第一影像资料的一第一像素之第一像素值的像素,及一用于储存该第二影像资料的一第二像素之第二像素值的像素,一用于储存一第一差异值的最小像素差异储存单元,一用于储存相位资讯的运动向量储存单元、一用于比较储存在该最小像素差异储存单元中的第一差异值与该第一像素与该第二像素之间的一第二差异值之比较更新单元,根据该比较的结果来以该第二差异值更新该第一差异值,并根据该更新来输出更新资讯,及一用于根据该更新资讯来更新该相位资讯的更新单元。
申请公布号 TWI260509 申请公布日期 2006.08.21
申请号 TW092122124 申请日期 2003.08.12
申请人 新力股份有限公司 发明人 近藤哲二郎;白木寿一;奥村明弘
分类号 G06F15/76;G06T7/20 主分类号 G06F15/76
代理机构 代理人 陈长文 台北市松山区敦化北路201号7楼
主权项 1.一种半导体储存装置,其包括: 一具有一资料结构之记忆体,其包括: 第一像素资讯部份,其配置用来保持代表一影像区 块的第一像素之资料, 第二像素资讯部份,其配置用来保持代表另一个影 像区块之一搜寻区域的第二像素之资料, 一估计部份,其配置用来保持代表该第一像素与该 第二像素之间的一运动估计値的资料,及 一运动向量资讯部份,其配置用来保持该第一像素 与一该第二像素之间的一运动向量之资料。 2.如申请专利范围第1项之半导体储存装置,其中: 该估计部份系配置用来当该运动估计値的一绝对 値小于该另一个差异値时,以该运动估计値来取代 另一个差异値。 3.如申请专利范围第1项之半导体储存装置,其中: 该运动估计値为该第一像素与第二像素之间一差 异的一绝对値。 4.如申请专利范围第1项之半导体储存装置,其中: 该运动估计値为复数个像素之差异总和的一绝对 値之加总。 5.如申请专利范围第1项之半导体储存装置,进一步 包含: 一配置用于计算该运动估计値的估计値计算机制; 一配置用于比较该运动估计値之比较机制,其由储 存在该第二储存部份中具有一储存的估计値之该 估计値计算机制来计算;及 一配置用于改变一第一运动资讯到一第二运动资 讯之机制,当藉由该比较机制的一预定比较结果来 指示如此进行时。 6.如申请专利范围第1项之半导体储存装置,其中: 该第二运动资讯为一最小估计値。 7.如申请专利范围第5项之半导体储存装置,其中: 该估计値计算机制包括: 一配置用于计算该第一像素资讯及该第二像素资 讯之间的一差异绝对値之第一计算机制, 一配置用于计算该第一像素资讯及该第三像素资 讯之间的一差异绝对値之第二计算机制,及 一配置用于加上由具有由一选择机制所选择的其 它元件之差异的绝对値之第一及第二计算机制所 产生的差异之绝对値之加总机制,其中 该估计値为复数个像素之差异的一绝对値之加总 。 8.如申请专利范围第1项之半导体储存装置,其中该 记忆体之该资料结构进一步包含: 一平面资讯部份,其配置用于保持关于一物件之平 面资讯。 9.如申请专利范围第8项之半导体储存装置,其中: 该运动估计値系由该平面资讯来计算。 10.如申请专利范围第9项之半导体储存装置,进一 步包括: 一配置用于根据一预定公式来计算该运动估计値 的估计値计算机制; 一配置用于比较由该估计値计算机制所计算的该 运动估计値与储存在该记忆体中的该运动估计値 之比较机制;及 一配置用于和已决定由该比较机制移动的一像素 相关之改变一像素値的机制。 11.如申请专利范围第10项之半导体储存装置,其中: 该估计値计算机制包括: 一配置用于计算该第一像素値及该第二像素値之 间的一差异绝对値之第一计算区段, 一配置用于根据该平面资讯选择另一个记忆体元 件之选择机制,及 一配置用于加入一第一记忆体元件之差异绝对値 与由该选择机制所选择的另一个记忆体元件之差 异绝对値的一加总区段,且其中该运动估计値为复 数个记忆体元件之差异绝对値的加总。 12.一种半导体储存装置,其包括: 一具有部份之资料储存单元,该等部份包括: 一用于保持像素运动资讯的第一储存部份, 一用于保持运动估计値的第二储存部份, 代表像素之间一讯框到讯框之运动, 一用于保持第一像素资讯的第三储存部份,及 一用于保持第二像素资讯的第四储存部份, 其中 一包括第一像素之第一讯框系不同于包括该第二 像素之第二讯框。 13.如申请专利范围第12项之半导体储存装置,进一 步包含: 一配置用于计算该运动估计値的估计値计算机制; 一配置用于比较由该估计値计算机制所计算的该 运动估计値与储存在该第二储存部份中的该运动 估计値之比较机制,及 一配置用于和已决定由该比较机制移动的一像素 相关之改变一像素値的机制。 14.如申请专利范围第13项之半导体储存装置,其中: 储存在该第二储存部份中的该运动估计値为一最 小运动估计値。 15.如申请专利范围第14项之半导体储存装置,进一 步包括: 一配置用于保持第三像素资讯的第五储存部份,其 中 一第三讯框包括该第三像素资讯,该第三讯框不同 于该第一讯框及该第二讯框。 16.如申请专利范围第9项之半导体储存装置,进一 步包含: 一配置用于加入一杂讯成份到一输入影像之杂讯 加入机制,该输入影像包含该第一像素资讯。 17.如申请专利范围第16项之半导体储存装置,进一 步包含: 一配置用于对于不同讯框的个别元件输出相对应 像素之读出单元,该等不同的讯框系在时间中彼此 分离; 一配置用于接收该相对应像素及侦测该输入影像 的该杂讯成份,及提供一类别码输出之类别码产生 单元;及 一配置用于接收该输入影像之正常等式加入单元, 该等来自该读出单元及该类别码输出的相对应像 素,并决定由该类别码产生单元所输出的该类别码 之系数,并输出该系数到一系数储存装置。 18.如申请专利范围第17项之半导体储存装置,进一 步包含: 一配置用于控制要由在该等不同讯框中参考区域 读出的一序列的影像资料之控制单元。 19.如申请专利范围第9项之半导体储存装置,进一 步包含: 一配置用于对于不同讯框的个别元件输出相对应 像素之读出单元,该等不同的讯框系在时间中彼此 分离; 一配置用于接收该等相对应像素及提供用于决定 该类别码之一预测系数的一类别码输出之类别码 产生单元;及 一配置用于估计来自该预测系数的一预测値及来 自该等不同讯框之个别元件的像素之估计运算单 元。 20.如申请专利范围第12项之半导体储存装置,进一 步包括: 一配置用于接收该等相对应像素及提供用于决定 该类别码之一预测系数的一类别码输出之类别码 产生单元;及 一配置用于估计来自该预测系数的一预到値及来 自该等不同讯框之个别元件的像素之估计运算单 元。 21.如申请专利范围第15项之半导体储存装置,其中: 该估计运算单元包括: 一配置用于计算该第一像素资讯及该第二像素资 讯之间的一差异绝对値之第一计算机制, 一配置用于计算该第一像素资讯及该第三像素资 讯之间的一差异绝对値之第二计算机制, 一配置用于根据平面资讯来选择其它像素资讯的 选择机制,及 一配置用于加上由具有向一选择机制所选择的其 它元件之差异的绝对値之第一及第二计算机制所 产生的差异之绝对値之加总机制,及其中 该估计値为复数个元件之差异的一绝对値之加总 。 22.如申请专利范围第21项之半导体储存装置,其中: 一记忆体像素搜寻区域及记忆体像素参考区域中 至少一个为一55区域。 23.如申请专利范围第22项之半导体储存装置,进一 步包含: 一配置基于要读出的运动向量之频率来校正一运 动向量的运动向量校正单元。 24.如申请专利范围第23项之半导体储存装置,其中: 该运动向量校正单元系配置用来藉由选择一具有 最高频率之运动向量来决定用于特征化像素运动 之运动向量。 25.一种用于处理影像资料来便于估计一运动向量 的方法,其包括以下步骤: 储存在一记忆体元件之第一像素部份中一第一像 素资讯,其配置用于保持代表一影像区块的一第一 像素之资料; 储存在该记忆体元件之第二像素部份中一第二像 素资讯,其配置用于保持代表另一影像区块的一搜 寻区域之第二像素的资料; 储存该记忆体元件的一估计部份中的一估计资讯, 其配置用来保持代表该第一像素与该第二像素之 间的一运动估计値的资料,及 储存运动向量资讯在该记忆体元件的一运动向量 部份中,其配置用来保持代表该第一像素与该第二 像素之间的一运动向量的资料。 26.如申请专利范围第25项之方法,进一步包括: 当该运动估计値的绝对値小于该另一个差异値时, 利用在该运动向量部份中该运动估计値来取代另 一个差异値。 27.如申请专利范围第25项之方法,进一步包括: 藉由采用该第一像素与第二像素之间的一差异绝 对値来决定该运动估计値。 28.如申请专利范围第25项之方法,其中: 藉由采用复数个像素之差异总和的绝对値之加总 来决定该运动估计値。 29.如申请专利范围第25项之方法,进一步包括: 计算该运动估计値; 比较在该计算步骤中所计算的该运动估计値与储 存在该第二储存部份中一储存的估计値;及 当在该比较步骤的一比较结果有指示时,改变一运 动资讯。 30.如申请专利范围第29项之方法,其中: 该改变步骤包括改变该运动资讯到一最小估计値 。 31.如申请专利范围第29项之方法,其中: 该计算步骤包括: 计算该第一像素资讯与该第二像素资讯之间一差 异的绝对値, 计算该第一像素资讯与一第三像素资讯之间一差 异的绝对値,及 加上由该等计算步骤所产生的差异绝对値与由一 选择机制所选择的其它元件之差异绝对値,其中 该估计値为复数个像素之差异的一绝对値之加总 。 32.如申请专利范围第25项之方法,进一步包括: 储存关于一物件的平面资讯在该记忆体的一平面 资讯部份。 33.如申请专利范围第32项之方法,进一步包括: 由该平面资讯计算该运动估计値。 34.如申请专利范围第33项之方法,进一步包括: 根据一预定的公式来计算该运动估计値; 比较由该估计値计算机制所计算出的该运动估计 値与储存在该记忆体中的该运动估计値,及 改变和在该比较步骤中决定出已经移动的一像素 相关之像素値。 35.如申请专利范围第34项之方法,其中: 该计算该运动估计値步骤包括: 计算该第一像素与第二像素之间一差异绝对値, 根据该平面资讯选择另一个记忆体元件,及 加上一第一元件之差异的绝对値与在该选择步骤 中所选择的另一个记忆体元件之差异的绝对値,且 其中该运动估计値为复数个记忆体元件之差异绝 对値的加总。 36.一种用于处理影像资料来便于估计一运动向量 的方法,其包括以下步骤: 储存像素运动资讯在一第一储存部份中; 储存一运动估计値在一第二储存部份中,以代表像 素之间的一讯框到讯框运动, 储存第一像素资讯在一第三储存部份中,及 储存第二像素资讯在一第四储存部份,其中 一包括第一像素之第一讯框系不同于包括该第二 像素之第二讯框。 37.如申请专利范围第36项之方法,进一步包括: 利用一估计値计算机制来计算该运动估计値; 比较由该估计値计算机制所计算出的该运动估计 値与储存在该第二储存部份中的该运动估计値;及 改变和在该比较步骤中决定出已经移动的一像素 相关之像素値。 38.如申请专利范围第37项之方法,其中: 储存在该第二储存部份中的该运动估计値为一最 小运动估计値。 39.如申请专利范围第38项之方法,进一步包括: 储存第三像素资讯在该记忆体的一第五储存部份, 其中 一第三讯框包括该第三像素资讯,该第三讯框不同 于该第一讯框及该第二讯框。 40.如申请专利范围第36项之方法,进一步包括: 加入一杂讯成份到一输入影像,该输入影像包括该 第一像素资讯。 41.如申请专利范围第40项之方法,进一步包括: 读出不同讯框之个别元件之相对应的像素,该不同 讯框在时间上彼此分离; 在一类别码产生单元处接收该相对应的像素,侦测 该杂讯成份,并提供一类别码输出;及 决定该类别码的一系数,并输出该系数到一系数储 存装置。 42.如申请专利范围第41项之方法,进一步包括: 控制一序列的影像资料要由在该不同讯框中的参 考区域读出。 43.如申请专利范围第36项之方法,进一步包括: 输出不同讯框的个别元件之相对应像素,该不同讯 框在时间上彼此分离; 在一类别码产生单元处接收该相对应的像素,并提 供用于决定该类别码的一预测系数之一类别码输 出;及 由该预测系数估计一预测値,及由该等不同讯框的 个别元件之像素。 44.如申请专利范围第37项之方法,进一步包括: 在一类别码产生单元处接收该相对应的像素,并提 供用于决定该类别码的一预测系数之一类别码输 出;及 由该预测系数估计一预测値,及由该等不同讯框的 个别元件之像素。 45.如申请专利范围第44项之方法,其中: 该估计步骤包括: 计算该第一像素资讯与该第二像素资讯之间一差 异的绝对値, 计算该第一像素资讯与第三像素资讯之间一差异 的绝对値, 根据该平面资讯选择其它像素资讯, 加上由该等计算步骤所产生的差异绝对値与在该 选择步骤中所选择的其它元件之差异绝对値,且其 中 该估计値为复数个元件之差异的一绝对値之加总 。 46.如申请专利范围第45项之方法,其中: 一像素搜寻区域及一像素参考区域中至少一个为 一55区域。 47.如申请专利范围第46项之方法,进一步包括: 一配置基于要读出的运动向量之频率来校正一运 动向量的运动向量校正单元。 48.如申请专利范围第47项之方法,进一步包括: 藉由选择一具有一最高频率的运动向量来决定使 用于特征化像素运动之运动向量。 49.一种用于处理影像资料来便于估计一运动向量 的设备,其包括: 用于计算运动向量之构件;及 一具有一资料结构之记忆体,其包括: 第一像素资讯部份,其配置用来保持代表一影像区 块的第一像素之资料, 第二像素资讯部份,其配置用来保持代表另一个影 像区块之一搜寻区域的第二像素之资料, 一估计部份,其配置用来保持代表该第一像素与该 第二像素之间的一运动估计値的资料,及 一运动向量资讯部份,其配置用来保持该第一像素 与该第二像素之间的一运动向量之资料。 图式简单说明: 图1所示为一通用影像处理装置。 图2所示为说明图1所示之通用影像处理装置的运 作流程图。 图3(包括图3a及3b)所示为说明一运作的特定范例, 其由具有相位偏移来读出一相位区块开始,直到储 存在一评估表记忆体中的步骤。 图4所示为根据本发明一第一具体实施例之影像处 理装置的功能方块图。 图5(a)所示为根据该第一具体实施例之影像处理装 置的记忆体,而图5(b)所示为在图5(a)所示之影像处 理装置的记忆体内一元件的功能方块图。 图6(包括图6(a)及6(b))所示为说明更新像素匹配的 相位,及读出一搜寻区域tP,其由图4所示之影像处 理装置所执行。图6(a)所示为在该搜寻区域内的相 位。图6(b)所示为该相位与该搜寻区域tp之间的关 系图。 图7所示为图1所示之影像处理装置1之运作流程图 。 图8所示为根据本发明一第二具体实施例之影像处 理装置的功能方块图。 图9(a)所示为图8所示之影像处理装置1之记忆体。 图9(b)所示为图8所示之记忆体结构的特定范例。 图9(c)所示为用于储存图8所示之影像处理装置1的 运动向量之记忆体结构。 图10(包括图10(a)及10(b))所示为说明图8所示之影像 处理装置的运作,特别是用于执行该相位更新与该 搜寻区域tp的读出之运作。图10(a)所示为在该搜寻 区域sp内的相位。 图10(b)所示为该相位与该搜寻区域tp之间的关系图 。 图11所示为图8所示之影像处理装置1a之运作流程 图。 图12所示为由图8所示之影像处理装置之讯框的一 参考区域tr所撷取的区块。 图13所示为说明撷取根据本发明一第三具体实施 例的一影像处理装置之相对应像素的概念图。 图14所示为根据本发明该第三具体实施例的影像 处理装置之功能方块图。 图15(a)所示为图14所示之影像处理装置1b的记忆体2 b。图15(b)所示为用于储存该相对应像素之记忆体 。图15(c)所示为图15(a)所示之记忆体2b之元件20b的 功能方块图。 图16(a)所示为该讯框T+2的搜寻区域spT+2(99)及该搜 寻区域tpT+2之相位。图16(b)所示为该讯框T+1之搜寻 区域spT+l(77)及该搜寻区域tpT+1的相位。图16(c)所 示为该讯框T-1之搜寻区域spT-1(77)及该搜寻区域tpT -1之相位。图16(d)所示为该讯框T-2之搜寻区域spT-2( 99)及该搜寻区域tpT-2之相位。图16(e)所示为说明 该搜寻区域tp之相位更新及读出处理,其由图14所 示之影像处理装置1b所执行。 图17所示为图14所示之影像处理装置之运作流程图 。 图18所示为本发明一第四具体实施例之影像处理 装置的功能方块图。 图19所示为图18所示之影像处理装置1c之杂讯加入 单元的第一特定范例之功能方块图。 图20所示为图18所示之影像处理装置1c之杂讯加入 单元的第二特定范例之功能方块图。 图21所示为图18所示之影像处理装置1c之杂讯加入 单元的第三特定范例之功能方块图。 图22所示为在图18所示之影像处理装置1c之类别码 产生单元中产生一类别码(侦测杂讯成份)之原理 。 图23所示为用于读出该参考区域tr到类别分类调适 处理之记忆体的程序,其由图18所示之影像处理装 置1c所执行。图23(a)所示为在偏移之前的状态。图 23(b)所示为该偏移之后的状态。 图24所示为根据本发明一第五具体实施例之影像 处理装置的功能方块图。 图25所示为根据本发明一第六具体实施例之影像 处理装置的功能方块图。 图26(a)所示为图25中所示之影像处理装置的记忆体 之组态图;图26(b)所示为图26(a)中所示之记忆体元 件,用于储存一预测像素,而图26(c)所示为图26(a)中 所示之记忆体元件的功能方块图。 图27(a)及27(b)所示为根据本发明一第七具体实施例 之影像处理装置的运作之概念图。 图28(a),28(b)及28(c)所示为根据本发明第七具体实施 例之影像处理装置所执行的平面匹配运作的概念 图。 图29所示为根据本发明第七具体实施例之影像处 理装置的功能方块图。 图30(a)所示为图29所示之影像处理装置的记忆体之 架构图。图30(b)为图30(a)之部份放大图。图30(c)所 示为图30(b)所示之记忆体之元件的功能方块图。 图31所示为说明图29所示之影像处理装置之平面分 离单元的运作图。 图32所示为该影像处理装置1f之平面分离单元的特 定范例之功能方块图。 图33所示为图32中该影像处理装置1f之平面分离单 元的长条图运算单元所产生的一长条图之特定范 例。 图34所示为用于说明图32中该影像处理装置之平面 分离单元的消除单元之运作的长条图特定范例。 图35所示为在由图32所示之影像处理装置之低谷整 合单元的整合之前,一长条图的低谷。 图36所示为在由图32所示之影像处理装置之低谷整 合单元的整合之后,该长条图的低谷。 图37所示为图32所示之影像处理装置之平面分离单 元的运作流程图。 图38所示为图29所示之影像处理装置之运作流程图 。 图39所示为根据本发明一第八具体实施例之影像 处理装置的功能方块图。 图40所示为根据本发明一第九具体实施例之影像 处理装置的功能方块图。 图41所示为图40所示之影像处理装置之运动向量校 正单元的运作图。
地址 日本