在植物遙感和近程傳感領(lǐng)域，深度學(xué)習(xí)和多模態(tài)技術(shù)被廣泛用于分析作物性狀。然而，許多深度學(xué)習(xí)模型依賴于標注的數(shù)據(jù)集，這些數(shù)據(jù)集的獲取往往耗時耗力。

2024年5月，Plant Phenomics在線發(fā)表了University of California, Davis題為Simulation of Automatically Annotated Visible and Multi-/Hyperspectral Images Using the Helios 3D Plant and Radiative Transfer Modeling Framework的研究論文。

為了應(yīng)對這一挑戰(zhàn)，本文提出了基于Helios 3D植物建模軟件的輻射傳輸框架。該框架可以模擬RGB、多/高光譜、熱成像和深度相機，生成附帶參考標注的植物圖像，例如植物的物理特征、葉片的化學(xué)濃度及生理特性。

圖1合成圖像生成框架的示意圖

圖1是合成圖像生成框架的示意圖�；�于光線跟蹤的相機模型用于模擬從光源（例如太陽和LED光）發(fā)射并被場景中的物體散射后到達相機的輻射傳播。指定輻射源通量、物體反射率和透射率以及相機響應(yīng)的光譜分布，以定義輻射如何與物體表面和相機傳感器相互作用�；�于prospect的葉片光學(xué)模型可以根據(jù)用戶指定的葉片化學(xué)濃度生成葉片光學(xué)性質(zhì)。最后，模擬相機生成可以任意自動注釋的結(jié)果圖像。

圖2基于薄透鏡模型的基于光線跟蹤的相機模擬方法示意圖

圖2是基于薄透鏡模型的基于光線跟蹤的相機模擬方法示意圖。右圖:基于Bailey的模型，使用反向射線追蹤方法對每個葉片表面單元（黑色實體框）進行輻射源采樣，以確定散射輻射通量。左圖:相機模型在鏡頭上隨機采樣，發(fā)射穿過焦平面的射線，查詢所碰到的表面元素的散射輻射通量和唯一標識符。

圖3豆類植物的示例注釋合成圖像

圖3是豆類植物的示例注釋合成圖像。(A) 葉片葉綠素濃度分布圖（色標單位為μg/cm2）， (B) 合成RGB圖像，(C) 植物分割圖，(D) 凈光合作用分布圖（色標單位為μmol m-2s-1）。相機焦平面距離為1.35m, HFOV為11.5°，鏡頭直徑為0.02 m。豆葉分割的示例應(yīng)用初步證明，合成圖像可以直接作為高通量植物表型圖像設(shè)計的機器學(xué)習(xí)模型的輸入，以改進模型訓(xùn)練。研究還表明，該模型可以完全基于合成圖像進行訓(xùn)練，并且在應(yīng)用于真實圖像時表現(xiàn)良好。

該研究的主要創(chuàng)新點在于開發(fā)了一種基于物理的模擬環(huán)境，能夠生成包含光學(xué)和幾何標注的高質(zhì)量合成植物圖像。研究表明，這一方法能夠減少對手工標注數(shù)據(jù)的依賴，并通過合成圖像訓(xùn)練深度學(xué)習(xí)模型，進行無監(jiān)督學(xué)習(xí)。文中展示了該模型在豆葉檢測和草莓果實檢測中的應(yīng)用，驗證了其在高通量植物表型分析中的有效性。

論文鏈接：
https://doi.org/10.34133/plantphenomics.0189‍

——推薦閱讀——
Maximizing the Radiation Use Efficiency by Matching the Leaf Area and Leaf Nitrogen Vertical Distributions in a Maize Canopy: A Simulation Study
https://doi.org/10.34133/plantphenomics.0217
Plant Phenomics | 北京市農(nóng)林科學(xué)院基于冠層光合作用模型刻畫出玉米高光效理想株型
Time-Series Field Phenotyping of Soybean Growth Analysis Combining Multimodal Deep Learning and Dynamic Modelling
https://doi.org/10.34133/plantphenomics.0158
Plant Phenomics | 中科院東北地理與農(nóng)業(yè)生態(tài)研究所利用多模態(tài)深度學(xué)習(xí)和動態(tài)系統(tǒng)建�；�于長勢的田間大豆種質(zhì)資源鑒定加入作者交流群

掃碼添加小編微信，拉您進入《植物表型組學(xué)》作者交流群，群內(nèi)不定期開展作者分享會、�？�發(fā)布會等高質(zhì)量活動。

添加小編微信，備注姓名+單位+PP，加入作者交流群

About Plant Phenomics
《植物表型組學(xué)》（Plant Phenomics）是由南京農(nóng)業(yè)大學(xué)創(chuàng)辦的英文學(xué)術(shù)期刊，于2019年1月正式上線發(fā)行。采用開放獲取形式，刊載植物表型組學(xué)交叉學(xué)科熱點領(lǐng)域具有突破性科研進展的原創(chuàng)性研究論文、綜述、數(shù)據(jù)集和觀點。具體范圍涵蓋高通量表型分析的最新技術(shù)，基于圖像分析和機器學(xué)習(xí)的表型分析研究，提取表型信息的新算法，作物栽培、植物育種和農(nóng)業(yè)實踐中的表型組學(xué)新應(yīng)用，與植物表型相結(jié)合的分子生物學(xué)、植物生理學(xué)、統(tǒng)計學(xué)、作物模型和其他組學(xué)研究，表型組學(xué)相關(guān)的植物生物學(xué)等。期刊已被DOAJ、Scopus、PMC、EI和SCIE等數(shù)據(jù)庫收錄�？祁Ｎò睯CR2022影響因子為7.6，位于農(nóng)藝學(xué)一區(qū)（1/125名），植物科學(xué)一區(qū)（13/265名），遙感一區(qū)（6/62名）。2023年中科院期刊分區(qū)位于農(nóng)林科學(xué)大類一區(qū)。2020年入選中國科技期刊卓越行動計劃高起點新刊項目、2024年入選江蘇科技期刊卓越行動計劃領(lǐng)軍期刊項目。

說明：本文由《植物表型組學(xué)》編輯部負責(zé)組稿。
中文內(nèi)容僅供參考，一切內(nèi)容以英文原版為準。
撰稿：趙毅（南京農(nóng)業(yè)大學(xué)）
編輯排版：王平、趙倩瑩（中國科學(xué)院大學(xué)）
審核：尹歡、孔敏