文獻標識碼： A
DOI： 10.19358/j.issn.2097-1788.2022.06.011
引用格式： 賈亞敏，陳姣，彭玉青. 融合對象和多尺度視覺特征的遙感圖像描述模型[J].網絡安全與數據治理，2022，41(6)：78-83，89.
0 引言
圖像描述是旨在從語義層面上對圖像進行總結。遙感圖像是利用遙感技術從高空獲取的圖像，遙感圖像描述(Remote Sensing Image Caption，RSIC)是上述兩個領域的結合，旨在為指定的遙感圖像生成綜合性的文本描述，在交通指揮、地理研究等領域[1]具有廣泛的應用前景，已成為新興的研究熱點。遙感圖像描述的實現最初沿用了圖像描述的編碼器-解碼器模型[2]，隨后提出了許多模型來解決不同的問題，多數研究使用卷積神經網絡(Convolutional Neural Networks，CNN)作為編碼器提取圖像特征，但CNN卷積層的輸出特征所對應的感受野都是大小和形狀相同的均勻網格，因此僅利用CNN提取的圖像特征容量有限，難以識別圖像中的微小物體，且由于拍攝角度問題，遙感圖像中存在一些多義和易混淆物體，不易區分。
為解決上述問題且適應遙感圖像場景多尺度的特點，本文提出了融合對象和多尺度視覺特征的遙感圖像描述模型(Fusion of Object and Multiscale Visual Feature，FO-MSV)。該模型構建對象提取器(Object Extractor，OE)利用指針生成網絡[3]得到的整合描述提取對象信息以避免遺漏微小物體。同時提出了一種新的多尺度交互模塊(Multiscale Interaction Module，MSCM)來獲取圖像的多尺度視覺特征適應多尺度的特點。此外，設計一種新的對象-視覺融合機制(Object-Visual Fusion Mechanism，ovFM)來利用對象信息并融合多尺度視覺信息避免出現識別對象錯誤的問題，且改善了長短時記憶網絡(Long Short Term Networks，LSTM)的結構，稱為多輸入LSTM(Multi-Input LSTM，I_LSTM)。
本文詳細內容請下載：http://www.jysgc.com/resource/share/2000005064
作者信息：
賈亞敏，陳 姣，彭玉青
(河北工業大學 人工智能與數據科學學院，天津300401)
