发明名称 以机械显像技术于生产线上测量、监控及管理产品的方法
摘要 一种利用多变量影像分析(MIA)而从产品影像析取特征资讯的方法,据以开发出各种有关成像产品之感官与其它特征内容与分布的预测模型。成像系统系用于监视线上制造环境中的各种产品品质变数。该方法亦可被整合到自动化系统的一闭环反馈控制系统内。
申请公布号 TWI281024 申请公布日期 2007.05.11
申请号 TW094113223 申请日期 2005.04.26
申请人 弗瑞多雷北美股份有限公司 发明人 沃夫德 马摄林 柏格;史帝夫 安卓 柏雷史拿亨;保罗 艾尔伦 马丁
分类号 G01N21/00(2006.01) 主分类号 G01N21/00(2006.01)
代理机构 代理人 张秀瑜 台中市南屯区东兴路2段186号7楼之1
主权项 1.一种在特质化产品的生产期间用以监视该产品 某个感官特性的方法,其中已撷取该特质化产品一 连串不只一个的多变量影像,各该影像系由一含有 若干图素元件的影像阵列构成,该等图素元件则具 有在至少三个用以定义该影像阵列之维数的波长 范围内的测定密度値;其中该方法系由下列各步骤 组成: 确认该特质化产品的某个感官特性; 产生一个感官特征向量; 利用一种回归法而使该感官特征向量与感官特性 相关连;和 产生该感官特征向量的输出。 2.如申请专利范围第1项所述之方法,其中特质化产 品的多变量影像在可见光谱内撷取。 3.如申请专利范围第2项所述之方法,其中影像阵列 的图素元件具有一般为红、绿和蓝之颜色的各种 变动密度。 4.如申请专利范围第1项所述之方法,其中特质化产 品的多变量影像系在近红外线光谱内撷取。 5.如申请专利范围第1项所述之方法,其中感官特征 向量系由所称至少三个波长范围各自的平均値组 成。 6.如申请专利范围第1项所述之方法,其中是将一个 以上的其它物理过程量测与感官特征向量中所含 的资讯结合,据以使该等物理过程量测与该感官特 性发生关连。 7.如申请专利范围第1项所述之方法,其中物理过程 量测是从下列构成之群组中选用的一种:芋片含水 量,芋片含油量,每十片芋片之芋片重量,团料水分 。 8.如申请专利范围第1项所述之方法,其中系将特质 化产品的一项以上声讯量测与感官特征向量中所 含的资讯结合,据以使声讯量测与感官特性发生关 连。 9.如申请专利范围第1项所述之方法,其中系将特质 化产品的一项以上声讯量测和一项以上的其它物 理过程量测与感官特征向量中所含的资讯结合,据 以使该等声讯量测和物理过程量测与该感官特性 发生关连。 10.如申请专利范围第6项所述之方法,其中是在产 生感官特性的输出之前先对物理过程量测执行回 归法。 11.如申请专利范围第8项所述之方法,其中是在产 生感官特性的输出之前先对声讯量测执行回归法 。 12.如申请专利范围第1项所述之方法,其中食品的 感官特性系从下列构成之群组中所选用者:气泡等 级(blister level),烘烤点(toast point),风味,质地,脆度( crispness),酥度(crunchiness),和最大断裂力。 13.如申请专利范围第1项所述之方法,其中系将一 种多变量统计投射法应用到影像阵列,使维数减低 到一个由少数计分向量所定义的低维数计分空间, 和从该低维数计分空间影像数据产生该感官特征 向量。 14.如申请专利范围第13项所述之方法,其中多变量 统计投射法系从下列构成之群组中所选用者:多向 主成分分析法(PCA),多向部份最小平方法(PLS),投射 追踪法(projection pursuit),独立成分分析法。 15.如申请专利范围第13项所述之方法,其中应用到 影像阵列的多变量统计投射法会将该影像阵列的 维数减低到一个t1-t2计分空间。 16.如申请专利范围第15项所述之方法,其中特征向 量是个第一负载向量t1。 17.如申请专利范围第15项所述之方法,其中是将t1-t 2计分图分成若干区块,再合计各区块内的密度値, 据以求取特征向量。 18.如申请专利范围第15项所述之方法,其中感官特 征向量的产生方式系由下列各步骤组成: 对一控制过程的影像阵列应用多变量统计投射法, 据以将维数减低到一个具有重要负载向量的低维 数计分空间; 沿着该重要负载向量所定义的方向投射t1-t2计分 空间,据以产生一投射向量;和 从该投射向量产生一直方图,据以定义出感官特征 向量。 19.如申请专利范围第15项所述之方法,其中感官特 征向量的产生方式系由下列各步骤组成: 对一控制过程的影像阵列应用多变量统计投射法, 据以将维数减低到一个具有重要负载向量的低维 数计分空间; 沿着该重要负载向量所定义的方向投射t1-t2计分 空间,据以产生一投射向量;和 从该投射向量产生一累积直方图,据以定义出感官 特征向量。 20.如申请专利范围第15项所述之方法,其中感官特 征向量的产生方式系由下列各步骤组成: 从二个个别特征Z1和Z2的t1-t2计分空间影像数据来 计算直方图元件之间的共变异数矩阵COV1和COV2; 从共变异数矩阵COV1和COV2来计算一个角矩阵; 将t1-t2计分空间影像数据置于角矩阵之上;和 计算一累积直方图,据以定义出特征向量。 21.如申请专利范围第15项所述之方法,其中感官特 征向量的产生方式系由下列各步骤组成: 从一控制过程的二个个别特征Z1和Z2的t1-t2计分空 间影像数据来计算直方图元件之间的共变异数矩 阵COV3和COV4; 将共变异数矩阵COV3和COV4相加并显示出和,作为第 一t1-t2计分空间的色码影像和显示(sum display); 选择一光罩,以描述在第一t1-t2计分空间中所称和 显示内与一产品区对应的区域; 将多变量影像投射到第一t1-t2计分空间和去除位 在所称区域之外的图素,据以产生纯产品影片; 对该等纯产品影像应用多变量统计投射法,据以将 该等纯产品影像的维数减低到一个第二t1-t2计分 空间; 从二个个别特征Z1和Z2的第二t1-t2计分空间来计算 直方图元件之间的共变异数矩阵COV5和COV6; 从共变异数矩阵COV5和COV6来计算一个角矩阵; 将第二t1-t2计分空间影像数据置于角矩阵之上;和 计算一累积直方图,据以定义出感官特征向量。 22.如申请专利范围第1项所述之方法,其中回归法 系从下列构成之群组中所选用者:主成分回归法( PCR);部份最小平方法(PLS);多变量线性回归法(MLR); 类神经网路法(ANN)。 23.如申请专利范围第1项所述之方法,其中输出系 被显示作为一色码影像,以供视觉监视过程的操作 条件。 24.一种在多变操作条件下监视食品过程的方法,其 中食品已曝露于一电磁辐射源,另已撷取一连串不 只一个在电磁光谱内的多变量影像,各该影像系由 一含有若干图素元件的影像阵列构成,各该图素元 件则具有电磁光谱内至少一个用以定义该影像阵 列至少三个维数之波长的密度値;此外也已对该影 像阵列应用多向主成分分析,据以将该影像阵列的 维数减低到一个t1-t2计分空间;其中该方法系由下 列各步骤组成: 从t1-t2计分空间产生一个感官特征向量; 执行一种回归法而使该感官特征向量与食品的一 感官特性发生关连;和 产生该感官特征向量的输出,以便连续监视及反馈 控制该过程的操作条件。 25.如申请专利范围第24项所述之方法,其中是将一 个以上的其它物理过程量测与感官特征向量中所 含的资讯结合,据以使该等物理过程量测与该感官 特性发生关连。 26.如申请专利范围第25项所述之方法,其中是在产 生感官特性的输出之前先对物理过程量测执行回 归法。 27.如申请专利范围第24项所述之方法,其中物理过 程量测是从下列构成之群组中选用的一种:芋片含 水量,芋片含油量,每十片之芋片重量,团料水分。 28.如申请专利范围第24项所述之方法,其中系将特 质化产品的一项以上声讯量测与感官特征向量中 所含的资讯结合,据以使声讯量测与感官特性发生 关连。 29.如申请专利范围第28项所述之方法,其中是在产 生感官特性的输出之前先对声讯量测执行回归法 。 30.如申请专利范围第24项所述之方法,其中系将特 质化产品的一项以上声讯量测和一项以上的其它 物理过程量测与感官特征向量中所含的资讯结合, 据以使该等声讯量测和物理过程量测与该感官特 性发生关连。 31.如申请专利范围第24项所述之方法,其中食品的 感官特性系从下列构成之群组中所选用者:气泡等 级,烘烤点,风味,质地,脆度,酥度,和最大断裂力。 32.一种在多变操作条件下监视食品过程的方法,其 中食品已曝露于一电磁辐射源,另已撷取一连串不 只一个在可见光谱内的多变量影像,各该影像系由 一含有若干图素元件的影像阵列构成,各该图素元 件则具有用以定义该影像阵列的三个维数,一般为 红、绿和蓝之颜色的密度値;此外也已对该影像阵 列应用多向主成分分析,据以将该影像阵列的维数 减低到一个第一t1-t2计分空间;又已用光罩将第一t 1-t2计分空间的一个区域掩蔽,以便把背景从该影 像阵列排除;再者还已将该等多变量影像投射到第 一t1-t2计分空间,并把位在该区域之外的图素去除, 以产生纯产品影像;另已对该等纯产品应用多向主 成分分析法,据以将该等纯产品影像的维数减低到 一个第二t1-t2计分空间;其中该方法系由下列各步 骤组成: 从第二t1-t2计分空间产生一个感官特征向量; 执行一种回归法而使该感官特征向量与食品的一 感官特性发生关连;和 产生该感官特征向量的输出,以便连续监视及反馈 控制该过程的操作条件。 33.如申请专利范围第32项所述之方法,其中是将一 个以上的其它物理过程量测与感官特征向量中所 含的资讯结合,据以使该等物理过程量测与该感官 特性发生关连。 34.如申请专利范围第32项所述之方法,其中物理过 程量测是从下列构成之群组中选用的一种:芋片含 水量,芋片含油量,每十片之芋片重量,团料水分。 35.如申请专利范围第32项所述之方法,其中系将特 质化产品的一项以上声讯量测与感官特征向量中 所含的资讯结合,据以使声讯量测与感官特性发生 关连。 36.如申请专利范围第32项所述之方法,其中系将特 质化产品的一项以上声讯量测和一项以上的其它 物理过程量测与感官特征向量中所含的资讯结合, 据以使该等声讯量测和物理过程量测与该感官特 性发生关连。 37.如申请专利范围第33项所述之方法,其中是在产 生感官特性的输出之前先对物理过程量测执行回 归法。 38.如申请专利范围第35项所述之方法,其中是在产 生感官特性的输出之前先对物理过程量测执行回 归法。 39.如申请专利范围第32项所述之方法,其中食品的 感官特性系从下列构成之群组中所选用者:气泡等 级,烘烤点,风味,质地,脆度,酥度,和最大断裂力。 40.一种在线上环境监视食品感官特性的方法,其中 该食品系曝露于一电磁辐射源,该方法则由下列各 步骤组成: 使具有至少一个感官特性的产品成像; 从影像析取背景特征; 从影像析取产品的任何涂布特征; 产生一个意欲感官特性的影像计分图; 利用统计回归而使该产品的感官特性与一训练样 本计分图发生关连;和 预测成像产品之感官特性的发生情形。 41.如申请专利范围第40项所述之方法,其中产品感 官特性系成像产品之产品感官特性的发生情形( occurrence),数量,变异(variance),特质(characteristic),等 级(level)或程度(degree)。 42.如申请专利范围第40项所述之方法,其中成像产 品之产品感官特征发生情形、浓度或等级的预测 是在整个影像的若干分段(subsection)范围内予以计 算。 43.如申请专利范围第40项所述之方法,其中发生情 形的预测系用于预测是否存有感官产品特征。 44.如申请专利范围第40项所述之方法,其中感官产 品特征系以下列构成之群组中的至少一种予以成 像:可见光谱成像,红外光谱成像,紫外光谱成像,可 闻声波检测(audible sound wave detection),不可闻声波检 测,质量频谱法和色谱法。 45.如申请专利范围第40项所述之方法,其中用于影 像处理的影像取得装置,电脑处理器及电脑程式系 用以使方法变成产品制程的线上实务。 46.如申请专利范围第40项所述之方法,另包括以闭 环控制(closed loop control)来自动调整线上制程。 47.如申请专利范围第40项所述之方法,另包括以产 品制程之可视化软体来提供品管影像,据以提供下 列构成之群组中的一个以上:过程监视,过程控制, 过程警示,或瑕疵品中止(aborting)。 48.如申请专利范围第40项所述之方法,其中特征产 品系被置于或未置于基床上。 49.如申请专利范围第48项所述之方法,其中预测的 特定基床深度系用于增大会受可变基床深度以及 与成像装置相隔距离影响之其它产品特征的量测 。 50.如申请专利范围第40项所述之方法,其中特定基 床深度模型系用于预测产品的基床深度。 51.如申请专利范围第40项所述之方法,其中是将一 个以上的其它物理过程量测与感官特征向量中所 含的资讯结合,据以使该等物理过程量测与该感官 特性发生关连。 52.如申请专利范围第51项所述之方法,其中是在产 生感官特性的输出之前先对物理过程量测执行回 归法。 53.如申请专利范围第40项所述之方法,其中物理过 程量测是从下列构成之群组中选用的一种:芋片含 水量,芋片含油量,每十片之芋片重量,团料水分。 54.如申请专利范围第40项所述之方法,其中系将特 质化产品的一项以上声讯量测与感官特征向量中 所含的资讯结合,据以使声讯量测与感官特性发生 关连。 55.如申请专利范围第54项所述之方法,其中是在产 生感官特性的输出之前先对声讯测执行回归法。 56.如申请专利范围第40项所述之方法,其中系将特 质化产品的一项以上声讯量测和一项以上的其它 物理过程量测与感官特征向量中所含的资讯结合, 据以使该等声讯量测和物理过程量测与该感官特 性发生关连。 57.如申请专利范围第40项所述之方法,其中食品的 感官特性系从下列构成之群组中所选用者:气泡等 级,烘烤点,风味,质地,脆度,酥度,和最大断裂力。 图式简单说明: 第一图系一图解图,显示出依本发明的一方法而整 合到一线上食品制造环境内的一较佳实施例; 第二图系一图解图,其中显示出依本发明的一方法 而让食品成像,析取影像特征,和进行统计回归以 确定涂料浓度的基本模型; 第三a和三b图所示者分别是产品调味料浓度对产 品平均颜色以及第一主成分负载向量之间关系的 图形说明; 第四A,四B和四C图所示者分别是依本发明的一方法 而对未涂布、低涂布和高涂布食品的三张个别的 影像; 第五图所示者系依本发明的一方法而选取一影像 计分图,和将其分成32x32区块以供用于开发各影像 之特征向量而建立的一维直方图; 第六及七图所示者系依本发明的一方法而根据向 量投射来产生一累积直方图,据以分割一影像计分 图的另一方式; 第八a和八b图所示者系依本发明的一方法而分别 对各个已分析未调味影像,低调味影像和高调味影 像取得之一维直方图和累积直方各点的视图; 第九图所示者系依本发明的一方法而经堆叠以便 确定共变异数之成像数据的计分图; 第十A及十B图所示者系依本发明的一方法而从样 本影像训练数据集和对应的实验室涂料浓度所获 得的二个色码图形共变异数图; 第十一图所示者系依本发明的一方法而具有以各 种角値为基础之32图格(bin)的图形色码角图,其系 根据成像产品之特性区段的相关连性而用于建立 一个累积直方图; 第十二A,十二B及十二C图所示者系依本发明的一方 法而分别置于一个分成32图格之色码角图上的未 调味、低调味及高调味产品的影像计分图; 第十三a和十三b图所示者系依本发明的一方法而 分别对第十二A,十二B及十二C图所示之三种产品样 本影像计分图所获得的直方图与累积直方图; 第十四图所示者系依本发明的一方法,在有关所取 样及建立模型的食品训练数据集与测试数据集方 面,显示出模型预测涂料浓度对该涂料浓度之实验 室分析的图解图; 第十五A及十五B图所示者系表示输送皮带与操作 人员手指的背景与异物图素,该等图素系依发明的 一方法而在分割(segmentation)步骤期间被去除; 第十六A到十六D图所示者分别是依本发明所实施 之方法3,4,5和6计算出的各直方图图格的估算涂料 浓度的视图; 第十七A到十七B图所示者系依本发明的一方法而 计算出,用以去除含有背景与异物等不合适图素之 产品光罩的图形影像; 第十八a及十八b图所示者分别是利用依本发明所 实施之方法6而获得的重新取样与平滑化的未调味 、低调味和高调味产品的累积调味浓度图解图; 第十九图系一色码图形显示,其显示出依本发明一 实施例而对食品计算出的调味浓度; 第二十图所示者系依本发明一实施例而采用小型 视窗策略,就产品C的三个样本影像所获得的涂料 分布图解图; 第二一A,二一B和二一C图所示者分别是依本发明一 实施例对10x10,20x20和32x32小型视窗尺寸加以计算之 彩色产品影像的不同部分; 第二二图所示者系依本发明一实施例而使用10x10, 20x20和32x32小型视窗尺寸所求出的涂料分布图解图 ; 第二三图系一色码产品影像,显示出依本发明一实 施例而在食品上呈现的涂布与未涂布的调味部分; 第二四图系一流程图,显示出本发明之产品特征确 认方法的实施过程; 第二五a及二五b图所示者系依本发明的一实施例, 与侦知之调味漏斗填充讯号做比较的调味浓度等 级对时间的视图; 第二六a及二六b图所示者系依本发明一实施例,使 调味位准偏差改变(受控变数)而对该调味位准引 起的开环回应; 第二七图所示者系依本发明一实施例,有关产品A 之预测调味位准,已观察未调味产品重量,调味料 进给速率,和倾斜闸使不良品转向之讯号的视图; 第二八图所示者系依本发明一实施例,有关产品B 之预测调味位准,已观察未调味产品重量,调味料 进给速率,和预测调味分布变异的视图; 第二九A到二九H图所示者系依本发明一实施例,具 有各种不同调味涂料且与第28图参照号码对应的 产品彩色影像; 第三十图所示者系依本发明一实施例,有关第29图 中影像5的调味分布图; 第三一图所示者系依本发明一实施例,有关调味位 准设定点、预测调味位准,未调味产品重量及调味 进给速率的视图; 第三二图系一图解图,显示出依本发明之方法而整 合到一蒸气锅炉内的火焰分析实施例; 第三三a及三三b图所示者系案例I经过一段时间之 液态燃料(A)流率与蒸气流率的图例; 第三四a及三四b图所示者系案例II经过一段时间之 液态燃料(B)流率与蒸气流率的图例; 第三五图系一连串的火焰影像,显示出使用主计分 影像而将原始火焰影像转变成一重建影像的情形; 第三六图系第三五图所示重建火焰影像之t1-t2计 分图的彩色平面影像; 第三七A及三七C图所示者系样本火焰影像,而第三 七B图所示者则为对应的t1-t2计分图,其中包括一个 所应用且在第三七B图中以绿色三角区域显示的光 罩; 第三八A及三八B图所示者分别为(60多个连续影像) 平均影像及对应的计分图; 第三九图所示者系第三八A图之火焰影像在t1-t2计 分空间中的平均计分图; 第四十A到四十I图所示者系案例I的一连串的特征 变数图,其中淡色线条代表过滤数値,暗色区则代 表原始数据数値; 第四一A到四一I图所示者系案例II的一连串的特征 变数图,其中淡色线条代表过滤数値,暗色区则代 表原始数据数値; 第四二图系一条状图,显示出案例I之PCA模型的预 测能力; 第四三图所示者系案例I之PCA模型第一成分的负载 图; 第四四图系一条状图,显示出案例II前半部数据之 PCA模型的预测能力; 第四五图所示者系案例II前半部数据之PCA模型第 一成分的负载图; 第四六图系一条状图,显示出案例II所有数据之PCA 模型的预测能力; 第四七图所示者系案例II所有数据之PCA模型第一 成分的负载图; 第四八图所示者系案例I及II之PCA模型的t1-t2计分 图; 第四九图所示者系预测蒸气流率对测定蒸气流率 的图例; 第五十a及五十b图所示者分别是案例I及II之蒸气 流率经过一段时间后的预测数値与测定数値的比 较图; 第五一A到五一I图所示者分别是具有各种调味涂 布程度之三种不同食品的彩色影像; 第五二图所示者系依本发明的一实施例,有关在一 零食品(芋片)之表面的气泡与烘烤点的彩色影像; 第五三A到五三D图所示者分别是具有二种不同调 味涂布程度及二种不同气泡与烘烤点等级(感官特 性)之零食品的影像; 第五四A到五四D图所示者分别是在已去除涂料资 讯时,关于具有二种不同调味涂布程度及二种不同 气泡与烘烤点等级(感官特性)之零食品的影像; 第五五A到五五F图所示者系依本发明之方法,用以 在各种与第三三a和三三b,以及第三四a和三四b图 相关者对应之情况下,作为本发明一实施例的蒸气 锅炉火焰的各组彩色影像; 第五六A到五六F图所示者分别是第五五图所示样 本影像的各组彩色计分图;和 第五七a到五七d图是预测对观察图,其中各图分别 代表气泡等级,烘烤点等级,风味特性,和最大断裂 力。
地址 美国