近红外光谱奇异样本剔除方法研究.pdf

第32卷第5期
食品科学技术学报
Vol 32 No
2014年9月
journal of Food Science and Technology
Sep.2014
doi:10.3969/j,isn.2095-6002.2014.05.014
文章编号:2095-6002(2014)05-0074-06
引用格式:刘翠玲,胡玉君,吴胜男,等.近红外光谱奇异样本剔除方法研究.食品科学技术学报,2014,32(5):74-79.
AO LIU Cuiling, HU Yujun, WU Shengnan, et al. Outlier sample eliminating methods for building calibration model of near
infrared spectroscopy analysis. Journal of Food Seience and Technology, 2014, 32(5): 74-79
近红外光谱奇异样本剔除方法研究
刘翠玲,胡玉君,吴胜男,孙晓荣,窦森磊,苗雨晴,窦颖
(北京工商大学计算机与信息工程学院,北京100048)
摘要:米用近红外光谱分析技术建立面粉校正模型,对面粉中灰分含量进行定量分析,并对异常
样本进行别除.试验中采用马氏距离法和蒙特卡洛采样法分别对异常样本进行了别除,结果表明
用马氏距离法别除异常样本,当权重系数为1.5,别除样本数为3时,得到最好结果,相关系数(R2
为92.67,交互验证均方差 RMSECV为0.0485;MCCV法别除异常样本,别除样本数为3,得到最
好结果,相关系数(R2)为94.64,交互验证均方差 RMSECV为0.0411.故马氏距离法别除异常样
本能在一定程度上提高校正模型的精度和预测精度,但MCV法别除异常样本后模型精度和预测
精度优于马氏距离法
关键词:近红外光谱;异常样本;马氏距离法;MCCV;灰分
中图分类号:TS211.7;TS207.3;TP391.9
文献标志码:
人们的日常生活离不开面粉,面粉的品质问题需要对异常样本进行判别和处理.王建义等人对
随着生活水平的提高而得到普遍关注,食品监管部产生异常样品的原因进行了详细的介绍,本文主要
了对面粉品质的控制尤为重要.目前对面粉的评价探讨马氏距离法以及蒙特卡洛交叉验证法对别除异
指标主要有水分、灰分以及面筋等“.传统的面常样本后的数据建立近红外光谱分析模型,通过测
粉品质检测方法(物理化学法)存在多种缺陷,不仅定模型的准确度对两种方法进行比较,从而提高近
耗费时间,而且容易对面粉造成二次污染,而被红外光谱面粉品质检测模型的精确性和可靠性
广泛应用于农作物品种检测和分析的近红外光谱分
析技术能够在不破坏样品的前提下对样品进行准1试验材料、仪器与方法
确、迅速的檢测,在一定程度上克服了传统检测方法
1.1样品的准备
的缺陷
试验所用面粉样本,是从合作单位古船面粉厂
近红外光谐分析技术是一种物理测试技术,主取得的不同日期、不同生产线生产的不同种类的面
要通过建立近红外光谱分析模型对未知的面粉样品粉,共计60个
进行预测,分析模型的准确程度能够直接影响对未1.2样品化学值的测量
知样品的预测精度°.在建立面粉的近红外光谱
试验采用国标法850℃乙酸镁法,准确测量面
分析模型时要求面粉的近红外光谱图和化学值之间粉样本的灰分含量,所测值作为建模时的化学值.
存在一定的相关性,异常样品的存在能够降低谱图1.3样品近红外光谱的采集
与化学值之间的相关性,降低模型的预测精度,因此
本次试验使用傅里叶变换近红外光谱仪VER
收稿日期:2014-03-06
基金项目:北京市科技创新平台资助项目(pxm_2012_014213-000023);北京市教委科技发展重点资助项目(KZ201310011012);北京市
优秀人才基金资助项目(2012D005003000007
作者简介;刘翠玲,女,教授,博十,主要从事检测技术及智能信息处理方面的研究
万方数据
第32卷第5期
刘翠玲等:近红外光谱奇异样本别除方法研究
75
TEX70,将上述面粉样品放置在漫反射样品台的样
D=D+e xop
(5)
品杯中,进行近红外光谱采集大样品杯旋转采样,式(5)中,D代表马氏距离的平均值;a。代表马氏距
环境温度23-~25℃,扫描次数64次,波数范围离的标准差;e代表调整闭值范围的参数
12000~4000cm,分辨率8cm.对60个面粉样
当样品i与样品的平均光谱十分相近时,即存
本进行近红外漫反射扫描后的光谱图如图
在D,≤D,则称之为平均样品的邻近样品.陈
斌0-等人详细介绍了如何通过设置不同的阈值
范围参数e,调节样品的临近样品个数,并采用F
建模进行回归预测,根据预测结果选取最佳e值.
0.0
4.2蒙特卡洛交叉验证算法
蒙特卡洛交叉验证算法( Monte Carlo cross vali-
dation,MCCV)又称为统计模拟方法,能够用于解决
-0.02
复杂统计模型和矩阵高维问题“-.蒙特卡洛交
1100010000900080007000600050004000
叉验证算法的核心是对样本的抽取,如何从给定的
目标函数分布中进行高效抽样成为关键所在.蒙特
图1面粉样本的近红外漫反射光谱图
卡洛随机取样( Monte Carlo sampling,MCS)法提出
Fi
NIR diffuse reflectance spectra of flour samples
4马氏距离与蒙特卡洛交又验证算法
选取一定的校正集(占样品量的80%)建立偏最小
4.1马氏距离算法
二乘模型,剩余的20%作预测集对模型进行验证,
将面粉的光谱图转换成数据矩阵后将成为一个经过多次循环后能够得到一组预测残差,通过预测
n×k的矩阵A
残差计算出预测残差的均值(MEAN)与方差
计算n个样品的平均光谱:
(STD),从而判断异常样本
通过校正集相关系数(R2)、交叉验证均方差
A=∑A,/n
(1) RMSECV、预测均方差 RMSEP对模型进行评价,从
式(1)中,A为样品光谱矩阵元素;n为样品的个数
而验证别除异常样本是否有利于模型精度的提高.
为波长序号;A样品光谱的平均值
将光谱数据减去平均值做光谱数据中心化处理
2结果与讨论
A=A-A
(2)
含异常样品的面粉近红外光谱分析
式(2)中,A,代表中心化处理后的光谱矩阵,A代表
将60个样本应用于近红外定量分析,通过
原光谱矩阵,A代表光谱的平均值阵
Kennard- Stone(KS)方法,确定校正集50个样本,剩
然后计算出原标准光谱数椐集的协方差阵:
余10个样本用于模型验证.通过OPUS6.5软件的
M=AA./(n-1),
分析和优化,选择最优处理算法,寻找面粉的吸收光
式(3)中,M代表标准光谱数据集的协方差阵,A谱较丰富的波段.分析表明,面粉对光谱信息贡献
代表中心化处理后的光谱矩阵的转置,A.代表中心量最大的谱区范围是4848,4~4246.7cm-,维数
化后的光谱阵,n代表样品数
为6,利用PLS方法