傳統(tǒng)的基于2D圖像的深度學(xué)習(xí)方法只能對(duì)健康和不健康的幼苗進(jìn)行分類(lèi)；因此，本研究提出了一種方法，通過(guò)3D點(diǎn)云進(jìn)一步將健康幼苗分為初生幼苗和次生幼苗，并最終區(qū)分三類(lèi)幼苗，用于檢測(cè)有用的茄子幼苗移植。首先，收集了三種類(lèi)型的茄子幼苗（初生、次生和不健康）的RGB圖像，并使用ResNet50、VGG16和MobilNetV2對(duì)健康和不健康的幼苗進(jìn)行分類(lèi)；隨后，對(duì)3種幼苗類(lèi)型分別生成三維點(diǎn)云，并采用（快速歐氏聚類(lèi)、點(diǎn)云濾波、體素濾波）進(jìn)行一系列濾波處理以去除噪聲。從點(diǎn)云中提取的參數(shù)（葉片數(shù)、株高、莖直徑）與手動(dòng)測(cè)量值高度相關(guān)。箱形圖顯示，對(duì)于提取的參數(shù)，初生幼苗和次生幼苗被明顯區(qū)分。利用3D分類(lèi)模型PointNet++、動(dòng)態(tài)圖卷積神經(jīng)網(wǎng)絡(luò)（DGCNN）和Point Conv對(duì)3種幼苗類(lèi)型的點(diǎn)云進(jìn)行直接分類(lèi)，并對(duì)葉片缺失的植株進(jìn)行點(diǎn)云補(bǔ)全操作。Point Conv模型表現(xiàn)最好，平均準(zhǔn)確率、精確率和補(bǔ)全率分別為95.83 %、95.83 %和95.88 %，模型損失為0.01。該方法利用空間特征信息，比二維（2D）圖像分類(lèi)和三維（3D）特征提取方法更有效地分析不同幼苗類(lèi)別。然而，很少有研究應(yīng)用3D分類(lèi)方法來(lái)預(yù)測(cè)有用的茄子幼苗移植。因此，該方法具有高精度識(shí)別不同茄子幼苗類(lèi)型的潛力。此外，它還可以在農(nóng)業(yè)生產(chǎn)過(guò)程中對(duì)幼苗進(jìn)行質(zhì)量檢驗(yàn)。

圖1 信息處理流程的流程圖

圖2 一種圖像采集裝置的示意圖

（A）計(jì)算機(jī)（處理圖像數(shù)據(jù)并進(jìn)行三維重建）；（B）攝像機(jī)（采集圖像）；（C）旋轉(zhuǎn)平臺(tái)（帶苗旋轉(zhuǎn)）；（D）茄子幼苗（實(shí)驗(yàn)材料）。

圖3 三維點(diǎn)云重建和預(yù)處理結(jié)果

A（1）-D（1）表示初生幼苗，A（2）-D（2）為次生幼苗，A（3）-D（3）為不健康的幼苗；A（1）-A（3）為3D重建后的點(diǎn)云植物；B（1）-B（3）為快速歐氏聚類(lèi)過(guò)濾的結(jié)果；

C（1）-C（3）為基于顏色閾值點(diǎn)云過(guò)濾的結(jié)果；D（1）-D（3）表示體素過(guò)濾的結(jié)果。

圖4 補(bǔ)全缺失的點(diǎn)云

（A）表示含有缺失葉片的植物；（B）表示分割的不完整葉片；（C）表示去除RGB數(shù)據(jù)的缺失葉片的點(diǎn)云數(shù)據(jù)；（D）表示PF-Net預(yù)測(cè)生成的紫色缺失部分；（E）表示完成的葉子；（F）表示點(diǎn)云完成后的整個(gè)植物

圖5 基于三維點(diǎn)云和人工測(cè)量的表型提取值的擬合性能

（A）初生幼苗株高（實(shí)際與預(yù)測(cè)）；（B）初生幼苗莖直徑（實(shí)際與預(yù)測(cè)）；（C）初生幼苗葉數(shù)（相同值的x軸和y軸方向獲得的隨機(jī)偏差）（實(shí)際與預(yù)測(cè)）；（D）次生幼苗株高（實(shí)際與預(yù)測(cè)）；（E）次生幼苗莖直徑（實(shí)際與預(yù)測(cè)）；（F）次生幼苗葉數(shù)（相同值的x軸和y軸方向獲得的隨機(jī)偏差）（實(shí)際與預(yù)測(cè)）。

圖6 初生和次生幼苗各參數(shù)的箱形圖數(shù)據(jù)分布

（A）初生幼苗和次生幼苗的葉數(shù)的箱形圖；（B）初生和次生幼苗的株高的箱形圖；（C）初生和次生幼苗的莖直徑的箱形圖

表1 分類(lèi)模型測(cè)試結(jié)果

VGG16的平均準(zhǔn)確率、精確率和補(bǔ)全率均高于ResNet50和MobilNetV2。此外，對(duì)兩種幼苗類(lèi)型的正確預(yù)測(cè)數(shù)量明顯高于ResNet50和MobilNetV2。

圖7 模型在測(cè)試中的收斂性

（A）精度變化比較；（B）損失變化比較

表2 根據(jù)分類(lèi)的置信區(qū)間

表3 按分類(lèi)進(jìn)行顯著性檢驗(yàn)

PointConv模型在所有性能指標(biāo)上都優(yōu)于其他5個(gè)模型，差異達(dá)到了統(tǒng)計(jì)顯著性水平（p < 0.05）。置信區(qū)間表明，PointConv模型具有高的性能穩(wěn)定性和大多數(shù)指標(biāo)的小范圍的波動(dòng)度。

圖8 不同模型的混淆矩陣

在實(shí)際預(yù)測(cè)過(guò)程中，PointConv模型僅錯(cuò)誤預(yù)測(cè)了初級(jí)幼苗和次生幼苗之間的3株幼苗，預(yù)測(cè)精度明顯高于其他模型。

本研究介紹了一種新的植物幼苗分類(lèi)方法，其中應(yīng)用三維分類(lèi)模型來(lái)確定有用的茄子幼苗移植。這是通過(guò)從多視圖圖像中構(gòu)建三維點(diǎn)云來(lái)實(shí)現(xiàn)的。利用PointNet++、DGCNN和PointConv對(duì)三種幼苗類(lèi)型的點(diǎn)云進(jìn)行了分類(lèi)。PointConv模型對(duì)測(cè)試集表現(xiàn)出最好的分類(lèi)精度。與二維圖像分類(lèi)和三維點(diǎn)云提取特征相比，該方法能夠更準(zhǔn)確地將茄子幼苗分為三類(lèi)，有利于在整個(gè)農(nóng)業(yè)生產(chǎn)和銷(xiāo)售過(guò)程中對(duì)茄子幼苗進(jìn)行無(wú)損檢測(cè)。此外，它將使農(nóng)業(yè)管理人員和經(jīng)營(yíng)者能夠制定有效的種植計(jì)劃和營(yíng)銷(xiāo)策略。未來(lái)的工作將集中于提高模型的分類(lèi)精度和促進(jìn)圖像采集。