最近在学习高光谱成像技术检测鱼肉，有没有哪位大佬可以指教一下？

笑看风云

作为一个小白真的不清楚高光谱成像技术整套流程是什么，目前看文献了解到的就是照高光谱，然后预处理一堆方法，特征波长处理一堆方法，建立模型一堆方法，但是中间有些细节的东西文献中也没提到，比如说，照完光谱后提取的数据去哪找，具体需要什么数据，数据提取出来下一步干嘛，太难啦！有没有大佬知道比较细节的流程，或者是有没有比较推荐的书或者文献，拯救一下无知的孩子吧，实在是不知道怎么办啦

原文地址：https://www.zhihu.com/question/1911779892036601248

长长的路

可以看看这篇文章对你是否有帮助
智能光学计算成像技术与应用

清风寡欲

。高光谱成像是一个多学科交叉的领域，融合了光学、图像处理、光谱分析和化学计量学（或机器学习）。高光谱成像检测鱼肉的完整流程，整套流程可以大致分为以下几个核心阶段：

• 前期准备与实验设计
  
• 高光谱图像数据采集
  
• 数据提取与预处理
  
• 特征波长选择/降维
  
• 模型建立与验证
  
• 结果可视化与应用
  

下面我们来详细聊聊每个阶段的具体内容，特别是你提到的“数据去哪找”、“具体需要什么数据”和“数据提取出来下一步干嘛”。
<hr/>1. 前期准备与实验设计

这是非常重要但常被忽视的一步，它决定了你的数据质量和模型效果。

• 明确检测目标： 你想检测鱼肉的什么属性？是新鲜度（如K值、TVB-N）、水分含量、脂肪含量、蛋白质含量，还是是否掺假（如掺水、掺杂其他肉）？不同的目标决定了你需要采集的样本和参考数据。
  
• 样品准备：
  
  
  
  • 种类： 选择你感兴趣的鱼肉种类（如三文鱼、鳕鱼、草鱼等）。
    
  • 数量： 足够多的样本量是建立稳健模型的基础，通常需要几十到几百个样本。
    
  • 状态： 确保样本涵盖你想要检测的属性范围（如新鲜度从极新鲜到腐败，脂肪含量从低到高）。对于新鲜度检测，需要追踪鱼肉在不同存放时间下的变化。
    
  • 处理： 样本是否需要切片？是否需要去除鱼皮？如何摆放才能保证成像质量？这些都需要考虑。
    
  • 参考数据： 这是你问的“具体需要什么数据”的关键！ 如果你想预测鱼肉的理化指标（比如K值、TVB-N来评估新鲜度），那么你采集完高光谱图像后，必须对每个样本进行相应的实验室理化指标测定。这些理化指标就是你的“真值”（Ground Truth）或“参考值”，它们将与高光谱数据一一对应，用于训练你的预测模型。
    
  
  
• 硬件设备准备：
  
  
  
  • 高光谱成像仪： 相机、镜头。
    
  • 光源： 卤素灯或LED灯，要求稳定、均匀、无闪烁，且覆盖你的相机波长范围。
    
  • 暗箱/支架： 确保成像环境稳定，没有杂散光。
    
  • 位移平台： 如果是推扫式相机（line-scan），需要样品在相机下方匀速移动。
    
  • 计算机： 用于采集和处理数据，通常需要配置较高。
    
  
  

• 实验环境： 避免环境光干扰，保持稳定的温度和湿度。
  

<hr/>2. 高光谱图像数据采集

这一步就是你说的“照高光谱”。

• 数据格式： 高光谱相机采集的数据通常是一个“高光谱立方体”（Hypercube）。你可以把它想象成一个三维的数据魔方：
  
  
  
  • X轴和Y轴： 是图像的平面维度（空间信息），就像一张普通照片。
    
  • Z轴（或波长轴）： 是每个像素点对应的光谱信息（光谱维度），每个像素都包含其在数百个连续波长下的反射率（或吸光度）值。
    
  
  
• 图像采集过程：
  

• 设置参数： 曝光时间、积分时间、扫描速度（如果是推扫式相机）、光照强度、镜头焦距等。这些参数需要根据你的相机和样品特性进行调试，以获得最佳图像质量（无饱和、无过暗）。
  
• 白板校正与暗电流校正： 这是非常关键的步骤，用于将原始的数字信号（Digital Number, DN）转换为具有物理意义的反射率（Reflectance）或吸光度（Absorbance）数据。
  

• 白板校正（White Reference）： 采集一块标准白板（通常是聚四氟乙烯材料）的高光谱图像。白板近似100%反射率，用于消除光源不均匀性和相机响应不均。
  
• 暗电流校正（Dark Current Reference）： 盖住镜头，在无光照条件下采集一张图像。用于消除相机自身的暗电流噪声。
  
• 计算公式（反射率）： $R = \frac{I_{sample} - I_{dark}}{I_{white} - I_{dark}}$，其中 $I_{sample}$ 是样品原始图像， $I_{white}$ 是白板图像，$I_{dark}$ 是暗电流图像。
  

• 样品成像： 将鱼肉样品放置在视野中，进行扫描或拍照。
  

• 数据去哪找？
  
  
  
  • 相机配套软件： 大多数高光谱相机都配有自己的采集软件（如Specim的SpectraWiz/Cube，Headwall的HyperspecIII等）。这些软件通常会直接将采集到的高光谱立方体数据保存到你指定的电脑文件夹中。
    
  • 文件格式： 最常见的是 .hdr 和 .dat 文件对（ENVI格式）。.hdr 是头文件，记录了图像的尺寸、波长信息、数据类型等元数据；.dat 文件则包含了原始的图像数据。有些软件也可能保存为 .tiff 堆栈或其他私有格式。
    
  • 打开方式： 这些数据通常需要用专业的高光谱图像处理软件打开，如 ENVI（最常用且功能强大）、Specim Cube（Specim相机自带）、HISSuite（Headwall相机自带），或者用 MATLAB 和 Python（使用Spectral Python等库）进行编程读取。
    
  
  

<hr/>3. 数据提取与预处理

现在你有了高光谱立方体数据，“数据提取出来下一步干嘛” 的问题就从这里开始解答了！

• 数据提取（从图像到光谱）：
  
  
  
  • 为什么要提取？ 高光谱立方体包含大量的空间和光谱信息。对于鱼肉检测，我们通常更关注光谱信息，即鱼肉在不同波长下的反射率或吸光度曲线。图像中的背景、鱼肉边缘不规则区域、鱼骨等可能不是我们关心的。
    
  • 怎么提取？ 这一步叫做 ROI（Region of Interest，感兴趣区域）选择。
    
  
  

• 打开高光谱图像： 使用ENVI或其他软件打开你的.hdr/.dat文件。你会看到类似一张彩色照片，但你可以选择查看任何一个波长下的灰度图。
  
• 选择感兴趣区域： 在图像上用鼠标框选出你想要分析的鱼肉区域。选择时要尽量避开鱼骨、血液、鱼皮残留、容器边缘等非目标区域。
  
• 提取光谱： 软件通常提供功能，可以提取所选ROI内的所有像素光谱，然后计算它们的平均光谱。为什么要平均？因为单个像素的光谱可能噪声较大，区域平均光谱更具代表性和稳定性。
  

• 结果： 经过这一步，你就从一张高光谱图像（三维立方体）中，得到了一个或多个代表鱼肉样本的二维光谱曲线（波长 vs. 反射率/吸光度）。每个样本都对应一条这样的曲线。
  


• 数据预处理：
  
  
  
  • 为什么需要预处理？ 原始光谱数据会受到各种物理和化学因素的干扰，如光照不均、样品表面散射、基线漂移、仪器噪声等。这些干扰会掩盖样品本身的真实光谱信息，影响模型精度。预处理的目的是消除或减少这些干扰，突出与目标属性相关的光谱特征。
    
  • 常用预处理方法（一堆方法）：
    
  
  

• 去噪（平滑）：
  

• Savitzky-Golay (SG) 卷积平滑： 最常用，在平滑的同时能保留光谱的形状特征。
  
• 移动平均平滑： 简单但可能导致光谱特征模糊。
  

• 散射校正：
  

• SNV (Standard Normal Variate，标准正态变换)： 消除颗粒大小、表面散射等物理效应引起的基线平移和倾斜。
  
• MSC (Multiplicative Scatter Correction，多元散射校正)： 消除散射效应，但需要一个“理想”光谱作为参考。
  

• 基线校正：
  

• 一阶/二阶导数： 可以消除基线漂移，同时能够放大光谱中微小的吸收峰，但会增加噪声。
  
• 偏最小二乘基线校正 (PLS Baseline Correction)。
  

• 标准化： 比如最大值归一化、均值归一化，将光谱数据缩放到特定范围，消除不同样本间光谱强度差异。
  

• 选择方法： 没有普适的最佳方法，通常需要尝试不同的组合，通过模型验证来判断哪种预处理效果最好。
  

<hr/>4. 特征波长选择/降维

光谱数据通常有数百个波长点，数据维度非常高，这会带来以下问题：

• 数据冗余： 很多波长之间存在高度相关性，包含重复信息。
  
• 计算量大： 处理高维数据需要更多计算资源。
  
• 过拟合风险： 维度过高容易导致模型在训练集上表现好，但在新数据上表现差。
  

因此，我们需要从这数百个波长中找出与我们检测目标最相关、信息最丰富的波长，或者将高维数据映射到低维空间。

• 降维方法：
  
  
  
  • PCA (Principal Component Analysis，主成分分析)： 将高维数据投影到新的正交坐标轴上，保留主要方差，得到少数几个“主成分”，每个主成分是原始波长的线性组合。
    
  • PLS (Partial Least Squares，偏最小二乘)： 既能降维又能兼顾与目标变量的相关性，常用于高光谱数据的回归和分类。
    
  
  
• 特征波长选择方法（一堆方法）：
  
  
  
  • SPA (Successive Projections Algorithm，连续投影算法)： 从光谱中选择出共线性最小的波长组合。
    
  • UVE (Uninformative Variable Elimination，非信息变量消除)： 剔除光谱中与目标变量无关的变量。
    
  • VIP (Variable Importance in Projection，投影变量重要性)： 在PLS模型中，通过VIP值评估每个波长对模型的贡献度。
    
  • GA (Genetic Algorithm，遗传算法)： 通过模拟自然选择过程，搜索最佳波长组合。
    
  • 随机森林 (Random Forest) 的特征重要性： 评估每个波长对模型预测的贡献。
    
  • 相关系数法： 计算每个波长与目标变量之间的相关系数，选择相关性高的波长。
    
  
  

• 结果： 这一步的产物是降维后的数据（如PCA主成分得分）或选定的一小部分波长点（如20个特征波长）。这些数据将作为模型的输入。
  

<hr/>5. 模型建立与验证

有了处理好的光谱数据（和对应的理化参考值），现在就可以建立预测模型了。

• 数据划分： 你的所有样本数据必须划分为三个部分：
  
  
  
  • 训练集： 用于训练模型，让模型学习光谱与目标属性之间的关系（约60-70%样本）。
    
  • 验证集： 用于在训练过程中调整模型参数，避免过拟合（约15-20%样本）。
    
  • 测试集： 用于独立评估最终模型的性能和泛化能力，在模型训练过程中绝不能接触到（约15-20%样本）。
    
  
  
• 模型选择：
  
  
  
  • 回归模型（预测连续值，如K值、脂肪含量）：
    
    
    
    • PLS-R (Partial Least Squares Regression，偏最小二乘回归)： 高光谱领域最常用，尤其适合高维、共线性数据。
      
    • MLR (Multiple Linear Regression，多元线性回归)。
      
    • SVR (Support Vector Regression，支持向量回归)。
      
    • ANN (Artificial Neural Network，人工神经网络)。
      
    • RF (Random Forest Regression，随机森林回归)。
      
    
    
  
  

• 分类模型（判断类别，如新鲜/不新鲜、是/否掺假）：
  
  
  
  • PLS-DA (Partial Least Squares Discriminant Analysis，偏最小二乘判别分析)。
    
  • SVM (Support Vector Machine，支持向量机)。
    
  • kNN (k-Nearest Neighbors，k近邻)。
    
  • RF (Random Forest Classification，随机森林分类)。
    
  • ANN (Artificial Neural Network)。
    
  • CNN (Convolutional Neural Network，卷积神经网络)： 如果你想直接利用高光谱图像（三维数据）进行分类或回归，而非仅提取平均光谱，CNN是深度学习中非常强大的工具。
    
  
  


• 模型训练： 将训练集数据输入所选模型，通过算法学习光谱数据与理化值/类别之间的映射关系。
  
• 模型验证与评估：
  
  
  
  • 回归模型评估指标：
    
    
    
    • 决定系数 ($R^2$)： 越接近1，说明模型解释方差的能力越强。
      
    • 均方根误差 (RMSE)： 预测值与真实值之间的偏差，越小越好。
      
    • 相对分析误差 (RPD)： 常用指标，通常RPD > 2.0 认为模型预测能力较好。
      
    
    
  
  

• 分类模型评估指标：
  
  
  
  • 准确率 (Accuracy)： 正确分类的样本比例。
    
  • 精确率 (Precision)、召回率 (Recall)、F1-score： 对不平衡数据集更具参考价值。
    
  • 混淆矩阵 (Confusion Matrix)： 直观显示各类别的分类情况。
    
  
  




• 交叉验证： 常用K折交叉验证（如5折、10折），在训练集内部进行多次训练和验证，提高模型鲁棒性。
  

<hr/>6. 结果可视化与应用

• 图像化： 模型训练好后，你可以将模型应用到整幅高光谱图像的每个像素点上。
  
  
  
  • 伪彩色图像/热力图： 根据模型预测的结果（如新鲜度高低、脂肪含量多少），将不同数值区域用不同颜色显示出来。例如，新鲜度高的区域显示绿色，腐败的区域显示红色。这样就能直观地看到鱼肉在空间上的质量分布。
    
  
  
• 实际应用：
  
  
  
  • 在线检测与分选： 将训练好的模型部署到生产线上的高光谱检测设备中，实现鱼肉的快速无损检测和自动分级、分选。
    
  • 品质控制： 帮助企业对鱼肉产品进行快速质量评估。
    
  • 研究分析： 深入了解鱼肉品质变化的机制。
    
  
  

<hr/>推荐的书籍和文献

对于小白来说，直接看顶级期刊的论文可能会比较吃力。建议从综述性文章和国内教材入手。
书籍推荐：

• 《现代光谱分析与化学计量学》 (王惠、张玉芝等)：这本是国内化学计量学领域的经典教材，虽然可能不是专门讲高光谱，但化学计量学是高光谱数据分析的理论基础，对理解数据预处理、降维和模型建立非常有帮助。
  
• 《Principles of Instrumental Analysis》 (Skoog, Holler, Crouch)：这是仪器分析领域的圣经，对各种光谱学原理（包括反射、吸收）讲解非常详细，理解原理有助于你更好地选择波长和预处理方法。
  
• 高光谱图像处理软件的用户手册：
  

• ENVI用户指南： 如果你主要用ENVI，它的官方文档非常详细，会教你如何导入数据、进行辐射定标、ROI选择、光谱提取、预处理等。
  
• MATLAB的hyperspectral工具箱文档： 如果你熟悉MATLAB，这个工具箱提供了很多高光谱数据处理函数。
  
• Python库文档： Spectral Python、scikit-learn、numpy、scipy、matplotlib 等库的官方文档。
  

文献推荐：

文献是学习最新进展最重要的方式。但建议先从综述性文章开始，再深入到具体研究。

• 关键词搜索：
  

• 在 Web of Science, Scopus, Google Scholar, 中国知网 (CNKI) 等数据库中，使用以下关键词组合进行搜索：
  
  
  
  • "Hyperspectral imaging fish freshness" (高光谱成像 鱼肉 新鲜度)
    
  • "Hyperspectral imaging fish quality" (高光谱成像 鱼肉 品质)
    
  • "Hyperspectral imaging fish authentication/adulteration" (高光谱成像 鱼肉 掺假)
    
  • "Chemometrics hyperspectral food" (化学计量学 高光谱 食品)
    
  • "Review hyperspectral imaging food" (综述 高光谱成像 食品)
    
  
  

• 选择近期（近3-5年）的高被引综述文章：
  

• 这些综述文章会系统梳理该领域的研究进展、常用方法和未来趋势，是快速入门的最佳选择。
  
• 例如，搜索 "Review hyperspectral imaging fish" 可能会找到相关综述，从中可以学习到常用的预处理、特征选择和建模方法。
  

• 关注经典期刊：
  

• Food Chemistry
  
• Journal of Food Engineering
  
• Computers and Electronics in Agriculture
  
• Analytical Chemistry
  
• Sensors and Actuators B: Chemical
  
• Journal of Food Science and Technology
  
• Spectrochimica Acta Part A: Molecular and Biomolecular Spectroscopy
  

一些具体的建议（从小做起）：

• 从简单开始： 刚开始可以只做鱼肉的分类问题，比如区分“新鲜”和“不新鲜”两类，或者“真鱼肉”和“假鱼肉”。这样避免了复杂的理化指标测定。
  
• 一步步练习：
  
  
  
  • 先学会用软件（ENVI或MATLAB/Python）导入数据，查看高光谱图像。
    
  • 然后练习ROI选择和光谱提取。
    
  • 再尝试不同的预处理方法，观察光谱曲线的变化。
    
  • 最后才去尝试降维和建模。
    
  
  
• 找导师或师兄师姐求助： 如果学校有相关实验室，这是最快获得帮助的方式。他们可以手把手教你软件操作，并分享实际经验。
  

高光谱成像是一个充满挑战但也非常有前景的领域。作为小白，你的困惑是完全正常的。只要耐心学习，一步一个脚印，你一定能掌握这门技术！祝你学习顺利！