MLR建模意义的困惑与新解

  全日程公布∣ACCSI2024 之“人工智能赋能光谱仪器新产业论坛”相约苏州

  插上AI翅膀 光谱仪器产业向“新”而行 ——ACCSI 2024之人工智能赋能光谱仪器新产业论坛亮点提前看

  嘉宾更新∣人工智能赋能光谱仪器新产业——ACCSI 2024第五届光谱产业化论坛第二轮通知

  借助“国产替代”的东风，国产天平将再次腾飞——访上海天美天平仪器有限公司总经理练达

  近红外光谱分析技术起源于实践，理论相对滞后，有待加强完善；能解决实际问题、不能清楚解释的案例司空见惯，这也许是近红外光谱分析技术不同于其他技术的特殊所在。

  受仪器信息网叶编辑的再三约稿，为再次庆祝近红外光谱分会成立十周年，感谢学会领导及专家同仁们一直以来的热忱关心关爱关照，感谢仪器信息网的多年全力支持和为近红外搭建的一个畅所欲言的平台，我十分用心地撰写了此文，以此深表谢意。

  笼统粗放地说，MLR多用于基础研究，PLS常用于实际应用。基础是根本，是永恒不变的，而应用方法随时都有可能推陈出新。就目前而言，在解决实际问题时，特别是只追求结果时，PLS是建模最佳选择，这是定论，我是赞成的。要想知道一些成分与波长间的相互关系，MLR是首选，这也是定论，我无异议。除此之外，今天想赋予其新意，特此撰写此文，与各位同仁共同磋商。

  一次偶然的机会，在整理查看K款水果品质专用便携仪MLR模型信息时发现了一个至今还没得到其解的现象，那就是有四组看似毫不相干的不一样的种类的水果，竟然能共享一个模型(其中，猕猴桃的系数不同)进行预测，如表1所示。我们对多种水果共用一个模型进行预测并不陌生，曾经对苹果梨桃三种水果采用最大包容性波长共建一个模型进行过研究

  ，针对840-918 nm波段建立PLS模型，取得了良好效果。我们曾经认为苹果桃梨的理化性质相近，光谱波形相似，所以才能共享一个模型。例如，苹果梨桃的形状大小相当、薄皮、果肉均匀、有果核等相似的物理性质和种类间水分含量及SSC相近，可溶性固形物成分相似等化学性质类似。很明显，我们的推测在此没有正真获得验证。我请教过果蔬生理专家，询问共享吸收波长的四组果实的生理特征，答复是日韩梨、猕猴桃和枇杷三者都有明显的后熟软化过程，后熟后才适宜食用；番茄和李子都是呼吸跃变型果实；西瓜和甜瓜都是由胎座形成可食果肉，内部有籽；苹果和柿子无明显生理共性。生理共性应体现在光物性上，仅凭生理共性难以诠释。理化特性，生理特征与光物性之间有何种关系，遗憾地是，这些基础性的研究至今为止暂时无解，这是我的困惑。

  破解这个困惑的意义不言而喻，可以以此类推，建立一系列的同类物料的模型，大幅度减少建模工作量。例如，探索小麦粉、大米粉、糯米粉等三粉是否可共享一个模型，等等。

  近红外光谱分析技术起源于实践，理论相对滞后，有待加强完善；能解决实际问题、不能清楚解释的案例司空见惯，这也许是近红外光谱分析技术不同于其他技术的特殊所在。

  近红外光谱分析过程不论是代表性样品的选择，还是光谱预处理、建模、验证、预测等均有严格的程序，依规定程序得出的结果也许不是很理想，但结论一般难以推翻。这是严谨的一面。近红外分析的结果，甚至是结论可谓代表一种趋势。例如，不伤害原有设备的检测哈密瓜糖度，预测数值误差也许较大，谈不上理想，但是糖度高的哈密瓜肯定比糖度低的甜，这就是一种趋势和结论。相对结果有问题，绝对趋势很正确，这是近红外分析技术粗放的一面。

  实际上，对于K款仪器，上文是事实，也是规律，但并不全是普遍规律。曾经有人把苹果的4个波长代入不同仪器中，得出完全不一样的结论。很明显，仪器不同，光谱形状不相同，直接代入是不符合逻辑的。在新的仪器中，也许部分规律能够再现，也许难以重复。下文讲的结论也是一种趋势。

  早在1985年和1995年学者们就发现了水果建模两个关键波长，一个是904nm附近的碳水化合物吸收波长

  ，一个是880nm周边的辅助波长3)。如果把904nm±2nm均归纳为904nm，880nm±4nm归纳为880nm，对表1中的波长出现次数进行统计，则发现波长904nm除草莓外，用于12种水果，频率最高。其次是波长880nm在8种水果中出现，如表2所示。由此可知，880nm和904nm是果实建模时最为优先选用的特征波长。在多数情况下，830nm和856nm左右的波长与糖度无关，常用于物料温度和光程的修正4)，其选取原则是吸光度谱二阶导趋于0的位置，最终以预测结果最佳进行每个波长微调。

  K是一款果实品质不伤害原有设备的检测专用仪器，已得到业界公认，该仪器所选用的13种果实波长具有一定的代表性和重要的参考意义。

  关于MLR建模波长的选择，解释的比较全面有代表性的案例应该是小麦粉蛋白质Cp的计算

  )，log(1/R2100)，log(1/R1680)分别是2180，2100，1680 nm处的吸光度。2180nm是蛋白质特征波长，2100nm是淀粉特征波长，1680 nm是与成分无关的中立特征上波长，反映小麦粉粉碎粒度信息，如图1所示。第一个变量是预测成分的特征波长，其它后续各项多为互补或修正。小麦粉是混合物，成分间相互影响。淀粉是小麦粉的主要成分，故淀粉是修正项；颗粒对光谱有影响，所以也是修正项。

  由上述13种果实可知，光谱分布范围最短波长是766nm，最长为920nm。假设以此为果实近红外吸收波段的话，那么，在选择或研发检测器时，波长范围不需太宽，700nm-950nm段的灵敏度越高越好，而通用光谱仪很难照顾到此处。上述K款仪器之所以获得业界好评，就是因为提高了光谱仪850nm-950nm之间的灵敏度，使得仪器输出能量增大，错开了非线性区间。同理，在选择光源时应尽可能地选择700nm-950nm范围内强度高，且稳定，避免图2所示的结果。只看数据，图2所示LED光源波长范围400nm-1000nm适合果实糖度不伤害原有设备的检测，而看具体光谱特性则一目了然，750nm以后能量迅速下降，根本不适合上述果实的无损检测。

  LED连续光源已经问世，且光谱特性可根据自身的需求进行特殊设计，满足规定的要求。在知晓特殊波长的情况下，更加有助于未来专用仪器的开发。

  滤光片型光谱仪多数伴随着MLR建模，即使上述K款仪器也是在连续光谱上取四五个波长后进行MLR运算的。现实中，滤光片仪器慢慢的变少，究其原因是台间差大，没有办法进行光谱预处理。日本有一A款手持仪已经停产，C款仅限日本国内销售。同时，也有非常成功的案例。Process Sensors公司的MCT460就是这里面一例。该仪器是水分专用近红外在线检测仪。根据网上仅有的资料及个人理解，工作原理大致归纳如下，一些细节知之甚少。

  以选用水的吸收波长1940nm为例。共用三个波长，一个是水的吸收波长λw1940nm，一个参考波长λ1小于1940nm，一个参考波长λ2大于1940nm，这两个参考波长选用原则一是与水吸收无关，二是与物料吸收无关。我认为，影响在线测量水分的因素有两个，一个是物料的高低不平，一个是物料的温度。所以，这两个参考波长一个与距离有关，一个与温度有关。再有就是两个参考波长对光谱影响程度有别，权重不一。

  仪器结构如图3所示。光源被分为External和Internal两束光，分别依次通过1100 r/min旋转圆盘上的三个滤光片。由物料反射回来的λw光能量经反射镜、透镜以及聚光镜进入检测器。两个参考波长的能量以同样的原理进入检测器。

  原始信号由External和Internal之比获得。External信号受物料和反射光的影响，而Internal只受反射光的影响。Internal信号消除由光源辉度变化引起的漂移。检测器收集了3个反射波长能量，能量大小用λw1940nm反射能量与两个参考波长能量之比进行评价。

  由该公式可知，物料水分与参考波长能量和水分波长能量之比成正比。其中R为加权之后的λ1能量和λ2能量之和。λ1、λ2和λw又是External / Internal之比，具体表述如下：

  由此可知，该仪器在线测量水分时，无需参比测量，无需模型修正，无需吸光度计算，只需计算各个相对能量值就能获得结果。

  我已经拜读了邵学广老师的理论研究氛围浓厚的“近红外水光谱组学：一种新的分析手段”、褚小立老师的高度、广度、深度俱全的“从两句话浅述分子光谱技术的应用进展”、彭黔荣、张辞海老师的全面系统地概述了“近红外技术在烟草行业中的应用进展”、迅杰光远阎巍总经理的雄心大志篇“近红外新技术的探索与应用”。字里行间，充足表现了各位专家对近红外技术的深厚感情。我受益颇多，提升了认知水平。特别是褚小立老师的”纪念诺贝尔奖级科学家：近红外光谱技术之父Karl Norris”一文，让我们重温了一次现代近红外技术的发明史，回归原点，重新出发，踏上新的征程。我还会持续关注后续专家有待上网刊登的文章。