研究背景：
柑橘果實的檢測是柑橘產量映射中最重要也是最具挑戰性的步驟之一。對于成熟的柑橘，其果實和葉子之間的顏色差異顯著，之前的基于成像的方法可以取得良好的結果。然而，對于未成熟的綠色柑橘果實的檢測，其果實和葉子的顏色非常相似，所以這項工作要難得多。
研究目標：
開發出一種結合色彩和熱成像來檢測未成熟綠色柑橘果實的方法。
研究方法：
本研究使用實驗來確定熱成像的最佳條件。我們建立了一個多模態成像平臺來整合色彩和熱成像相機。我們還開發了一種新的圖像配準方法，用于結合色彩和熱成像并匹配兩種圖像中的果實，從而達到像素級的準確性。
主要發現：
創建了一種新的顏色-熱成像聯合概率（CTCP）算法，能夠有效地融合來自色彩和熱成像的信息，將潛在的圖像區域分類為果實和非果實類別。此外，我們還開發了算法，將圖像配準、信息融合、果實分類和檢測整合為一步，以便實時處理。使用色彩和熱成像的融合，使得未成熟綠色柑橘果實的檢測率從僅使用色彩圖像的78.1%提高到90.4%，同時精度率也從86.6%提高到了95.5%。
2015 年 8 月 7 日白天（夏季典型的一天）環境大氣（藍色虛線）、柑橘果實表面（洋紅色線）和柑橘葉表面（綠色虛線）的溫度變化。
在一天中的不同時間獲取的同一柑橘樹冠層的熱圖像。
使用成像系統進行水果檢測的工作流程。
為訓練目的而手動標記的柑橘樹冠圖像。樹冠被分成四個圖像，(a)、(b)、(c)、(d)，并用作 Faster R-CNN 的輸入。
基于Faster R-CNN檢測在彩色圖像中提取水果區域，并根據圖像配準結果在熱圖像中提取相應的水果區域。紅色框為彩色圖像中檢測到的水果；藍色框為圖像配準步驟找到的熱圖像中對應的水果位置；兩個白色虛線框是彩色和熱圖像中提取的水果區域。
使用等式將從熱圖像中選擇的 30 個區域分為水果（紅色圓圈）和非水果（藍色圓圈）類別。(1)。在 30 個區域中，只有兩個區域被錯誤分類（用黃色箭頭表示）。
黑色數據點和線：The Recall – Precision僅使用彩色圖像檢測結果的精度曲線。紅色數據點：使用融合的顏色和熱信息時的召回率和準確率。