土壤可见近红外和中红外光谱分析入门

土壤光谱 培训材料 1 土壤可见-近红外和中红外光谱分析入门 土壤光谱 培训材料 1 土壤可见-近红外和中红外光谱分析入门 作者 YufengGe（内布拉斯加大学）AlexandreWadoux（悉尼大学） 彭懿（全球土壤伙伴关系，联合国粮食及农业组织） 联合国粮食及农业组织和浙江大学出版 引用格式要求： 联合国粮食及农业组织和浙江大学。2022。《土壤可见-近红外和中红外光谱分析入门。》罗马，联合国粮食及农业组织。https:/doi.org/10.4060/cb9005zh 本出版物最初由联合国粮食及农业组织（FAO）于2022年出版，英文名为“Aprimeronsoilanalysisusingvisibleandnear-in-frared(vis-NIR)andmid-infrared(MIR)spectroscopy”。本中文翻译由浙江大学安排。如有出入，请以英文原版为准。 本信息产品中使用的名称和介绍的材料，并不意味着联合国粮食及农业组织（粮农组织）或浙江大学对任何国家、领地、城市、地区或其当局的法律或发展状况，或对其国界或边界的划分表示任何意见。提及具体的公司或厂 商产品，无论是否含有专利，并不意味着这些公司或产品得到粮农组织的认可或推荐，优于未提及的其它类似公司或产品。 本信息产品中陈述的观点是作者的观点，不一定反映粮农组织或浙江大学的观点或政策。 ISBN978-92-5-136893-0 ©粮农组织和浙江大学，2022（中文译本） ©粮农组织，2022（英文版本） 保留部分权利。本作品根据署名-非商业性使用-相同方式共享3.0政府间组织许可（CCBY-NC-SA3.0IGO;https:/creativecommons.org/licenses/by-nc-sa/3.0/igo/deed.zh）公开。 根据该许可条款，本作品可被复制、再次传播和改编，以用于非商业目的，但必须恰当引用。使用本作品时不应暗示粮农组织认可任何具体的组织、产品或服务。不允许使用粮农组织标识。如对本作品进行改编，则必须获得相同或等效的知识共享许可。如翻译本作品，必须包含所要求的引用和下述免责声明：“该译文并非由联合国粮食及农业组织（粮农组织）生成。粮农组织不对本翻译的内容或准确性负责。原英文版本应为权威版本。” 除非另有规定，本许可下产生的争议，如通过调解无法友好解决，则按本许可第8条之规定，通过仲裁解决。适用的调解规则为世界知识产权组织调解规则（https:/www.wipo.int/amc/zh/mediation/rules），任何仲裁将遵循联合国国际贸易法委员会(贸法委)的仲裁规则进行仲裁。 第三方材料。欲再利用本作品中属于第三方的材料（如表格、图形或图片）的用户，需自行判断再利用是否需要许可，并自行向版权持有者申请许可。对任何第三方所有的材料侵权而导致的索赔风险完全由用户承担。 销售、权利和授权。粮农组织信息产品可在粮农组织网站(http:/www.fao.org/publications/zh/)获得，也可通过pub-lications-sales@fao.org购买。商业性使用的申请应递交至www.fao.org/contact-us/licence-request。关于权利和授权的征询应递交至copyright@fao.org。 封面照片:©内布拉斯加大学 目录贡献者 V 致谢 V 概要 V 1|背景 1 2|土壤vis-NIR和MIR光谱分析原理 1 2.1电磁波谱、波长和波数 1 2.2光谱反射率和吸收率 1 2.3MIR的基频吸收，vis-NIR的倍频和合频 2 2.4Vis-NIR和MIR可直接或间接测定的土壤属性 2 2.5土壤vis-NIR与MIR光谱分析的优势 3 3|土壤vis-NIR和MIR光谱分析流程 4 3.1样本制备 5 3.2光谱测定 5 3.3光谱预处理 6 3.4模型训练和验证 7 3.5建模方法 9 3.6模型评估 10 4|地区、洲及全球土壤光谱库：动机、优势及局限 14 5|土壤分析常用的光谱仪 17 6|结束语 17 参考文献 18 图目录 图1土壤反射光谱（左）和吸收光谱（右）。2 图2vis-NIR和MIR光谱分析的流程。4 图3示例数据中的vis-NIR光谱（n=201）经不同预处理后的结果：（A）原始反射光谱；(B）吸收光谱；（C）标准正态变换光谱；（D）多元散射校正光谱；（E）连续统去除光谱； (F）SG滤波加一阶导光谱。蓝色曲线代表平均光谱。7 图4PLSR模型过拟合示意图8 图5MIR光谱数据主成分分析示意图：（A）在光谱空间的土壤MIR光谱；（B）前10个主成分 的碎石图及其解释总体变异的百分比；（C）前三个主成分的两两散点图。10 图6模拟的vis-NIR或MIR光谱预测值和实验室实测值散点图。罗列了不同程度的模型精度和指标。12 图7基于PLSR模型的验证集（n=60）土壤vis-NIR光谱预测值与实验室实测值散点图。灰 色虚线为1:1线，蓝色实线为拟合线。12 图8基于PLSR模型的验证集（n=108）土壤MIR光谱预测值与实验室实测值散点图。13 表目录 表1基于vis-NIR和MIR光谱使用PLSR和SVM模型预测三种土壤属性的验证集结果。13 表2已发布的国家、洲和全球尺度土壤vis-NIR和MIR光谱库汇总。15 贡献者 所有作者按照字母顺序排列. 统筹协调 RonaldVargasRojas 编辑和出版 FilippoBenedett（i 全球土壤 （全球土壤伙伴关系，联合国粮食及农业组织） 作者 AlexandreWadoux（悉尼大学） 彭懿（全球土壤伙伴关系，联合国粮食及农业组织） YufengGe（内布拉斯加大学） 审稿人 BudimanMinasny（悉尼大学，澳大利亚） JoseAlexandreMeloDematte(圣保罗大学，巴西） 伙伴关系，联合国粮食及农业组织） MatteoSala（全球土壤伙伴关系，联合国粮食及农业组织） TasneemAlsiddig（全球土壤 伙伴关系，联合国粮食及农业组织） 中文译者 史舟（浙江大学，中国） 彭懿（全球土壤伙伴关系，联合国粮食及农业组织） 陈颂超（浙江大学杭州国际科创中心，中国） 致谢 为响应全球土壤实验室网络关于土壤光谱的倡议（GLOSOLAN–Spec），联合国粮食及农业组织下辖的全球土壤伙伴关系为土壤光谱初学者撰写了首个培训资料——“土壤可见-近红外和中红外光谱分析入门”。该资料是全球多所研究机构土壤光谱学专家合作的成果，主要介绍了如何利用光谱进行土壤分析，以便读者理解应用该技术进行土壤分析的基本原理和相关流程。 GLOSOLAN–Spec和本文作者特别感谢韩国绿色增长信托基金资助的世界银行项目“利用技术促进乌兹别克斯坦的农业现代化”，为编撰提供资金支持，并将现代土壤测试技术带到所有国家。 最后，作者感谢美国农业部自然资源保护局（USDA–NRCS）下辖的凯洛格土壤调查实验室为本文提供土壤可见光、近红外和中红外光谱数据集。 概要 可见-近红外（vis-NIR）和中红外（MIR）反射光谱已发展成为定量土壤分析的重要方法，有望成为传统实验室湿化学分析的替代方法。Vis-NIR和MIR因其分析速度快、成本低和无损的优点而广受欢迎，但从业者需进行一系列培训才能掌握相关技术。本文档拟为想使用vis-NIR和MIR光谱进行土壤分析的初学者提供概要性的帮助。本文档的主题包括： （1）is-NIR和MIR的原理及其与土壤的交互；（2）土壤vis-NIR和MIR实验室分析的基本流程，主要包括光谱采集、光谱预处理、模型训练和验证、偏最小二乘回归和模型性能评估；（3）地区、国家和全球尺度的土壤vis-NIR和MIR光谱库。本文是土壤vis-NIR和MIR光谱学的初级、中级和高级三个阶段中的第一部。 ©ICRAF 1|背景 近三十年，可见-近红外（vis-NIR）和中红外（MIR）反射光谱学逐渐兴起并发展成为一种重要的实验室土壤定量分析方法（Baumgardner等，1986；Chang等，2001；Reeves，2010；ViscarraRossel等，2006)。众多研究者认为，vis-NIR和MIR可以代替传统实验室湿化学分析方法（Janik等，1998；Nocita等，2015）。当前很多实际应用都需要大量的高分辨率(空间和时间）土壤数据。例如，精准农业需要定期从田间采集土壤样本（如网格采样），然后进行实验室分析并绘制土壤属性分布图。这些土壤属性分布图可用于管理分区或指导水肥和石灰的变量施用（Nawar等，2017）。再比如土壤固碳和碳信用，需要对同一地区进行重复采样以测定土壤有机碳储量的变化（Smith等，2020）。因此我们需要快速、低成本的分析方法（如vis-NIR和MIR）来满足大量土壤样本的分析需求。基于上述原因，vis-NIR和MIR在土壤分析中备受关注。 2|土壤vis-NIR和MIR光谱分析原理 2.1电磁波谱、波长和波数 电磁（EM）波谱涵盖伽马射线、X射线、紫外线、可见光、红外线（近红外、中红外、远红外）、微波和无线电波，覆盖多种量级的波长λ（或相反，频率ν）。其中，vis-NIR和MIR是土壤分析中最常用的电磁波谱。Vis-NIR通常以波长如nm（纳米，10-9m）或μm（微米，10-6m）为单位，包括可见光和近红外，波长范围通常为350~2500nm（0.35~2.5μm）。MIR通常以波数（cm-1）为单位，即每厘米内的波长数量，范围一般为4000~600（或400）cm-1。以nm为单位的波长λ和以cm-1为单位的波数成反比关系：波数=107/λ。以2500nm处的波长为例，它的波数为107/2500=4000cm-1；即，本例中vis-NIR的波段终点即为MIR的波段起点。 2.2光谱反射率和吸收率 电磁能量射到土壤表面时，可被吸收、传输和反射。被吸收的能量有时以荧光的方式重新激发。土壤光谱学最关注的是土壤表面的反射能量，这种反射包括镜面反射和漫反射，其中光谱仪在土壤分析中采用漫反射模式。漫反射中的电磁能量可穿透土壤并与基质充分互作，故包含了更多土壤组分相关的信息。因此，土壤光谱学的文献中经常使用诸如DRS（漫反射光谱）或DRIFTS（漫反射红外傅里叶变换光谱）之类的术语。此外，衰减全反射（ATR）是另一种土壤分析的测量模式。土壤光谱可用反射率或吸收率来表示，从业者使用时应明确是反射光谱还是吸收光谱。反射率（R）和吸收率（A）可通过以下公式相互转换：A=log10(1/R)和R=10-A。 图1为土壤vis-NIR反射光谱和吸收光谱的示例。 波长（nm） 吸收率 反射率 图1土壤反射光谱（左）和吸收光谱（右）。 2.3MIR的基频吸收，vis-NIR的倍频和合频 Vis-NIR和MIR另一个主要差别在于电磁能量和土壤之间的相互作用模式。MIR能量能够使存在于土壤有机和矿物化合物中的化学键产生分子振动。在有机化合物（如有机质）中，相关的化学键包括O–H、N–H、C–H、C–C、C=C、C–N、C=O等；在无机化合物中，相关的化学键有黏土矿物中的Al–OH和Si–OH。这些基频吸收波段的分子振动通常表现强烈且清晰，所以MIR模型在估测有机质和黏粒等土壤属性时优于vis-NIR模型。而这些基频波段的倍频与合频则出现在NIR范围，例如，土壤NIR光谱在1450和1920nm附近的吸收特征与自由水中O–H和H–O–H伸缩振动的倍频有关。与MIR的基频相比，NIR的吸收波段更弱，重叠更多且不够清晰。另外，在可见光范围内，受阳离子铁电子跃迁的影响，亚铁和三价铁氧化物也会产生吸收特征。此外，有机质含量高的土壤颜色通常较暗，其可见光范围的反射率也较低。 2.4Vis-NIR和MIR可直接或间接测定的土壤属性 土壤是多种化学成分组成的复杂综合体，并且其颗粒大小、团聚体、表面粗糙度及含