中文引用格式： 潘明明，王白根，齊紅濤，等. 面向電氣設施火災早期檢測的多模態融合模型[J]. 電子技術應用，2025，51(6)：10-15.
英文引用格式： Pan Mingming，Wang Baigen，Qi Hongtao，et al. Multi-modal fusion model for early fire detection in electrical facilities[J]. Application of Electronic Technique，2025，51(6)：10-15.
引言
隨著經濟社會的日益發展，高層建筑成為現代化城市的主要建筑結構。伴隨著高層建筑的新建，其火災安全風險隱患也隨之增加。據統計，中國每年發生的電氣火災超20萬起，有70%以上的火災是電氣火災[1]。因此，基于火災發生時的溫度、氣體、煙霧等多模態數據融合分析的高層建筑電氣火災早期檢測這一技術，有利于保護人民群眾的生命財產安全。
在電力工業中，多模態數據融合分析常用于診斷電力設備的故障情況，而鮮有應用于消防領域。如文獻[2]提出了一種基于多模態數據融合的變壓器故障診斷方法，構建了包含油色譜、文本和振動數據的多模態數據集，解決了傳統單模態診斷方法準確率低的問題。文獻[3]針對換流站多模態數據缺失值多、輸入輸出向量相似性低的問題，提出了一種基于深度感知模型的解決方案，為換流站設備的狀態檢修與運維提供了可靠的決策依據。文獻[4]將多模態數據融合分為網內融合和網間融合，分別從數據級、特征級和決策級劃分網內融合模式，從基于數學模型、基于拓撲結構和基于數據驅動劃分網間融合模式，并針對多結構融合、多時間尺度融合等關鍵問題提出了相應的技術路線。文獻[5]構建了融合過載倍率、過載時長和熱點溫度的多模態數據分級預警模型，通過二維預警線和三維運行區域劃分確定配變的預警級別，但對溫度維度的劃分較為簡單，且預警模型的動態適應性不足。文獻[6]提出了一種基于多模態數據融合的方法，提高了風電齒輪箱的故障診斷精度和運維效率，但應用范圍較小，在不同環境下穩定性較差。文獻[7]通過提取時序特征提高檢測準確性，實驗驗證其優于其他多傳感器火災檢測模型，但數據預處理簡單，未充分挖掘復雜時序特征。文獻[8]通過提取時序特征提高檢測準確性，實驗驗證其優于其他多傳感器火災檢測模型，但數據預處理簡單，未充分挖掘復雜時序特征。文獻[9]基于圖像的技術通過整合視覺信息來識別泄漏的范圍和位置，無需依賴特定傳感器，展現出更強的靈活性與適應性。文獻[10]提出了一種名為MMI-Det的多模態融合方法，用于可見光和紅外圖像的目標檢測。實驗表明MMI-Det在多個公開數據集上優于現有方法，尤其在復雜場景下表現出色。但其在處理非線性模態關系時仍存在一定局限性。文獻[11]提出了一種基于模態差異感知的漸進式多模態Transformer，逐層了融合視覺和文本信息。文獻[12]開發了一種基于Transformer架構的網絡流量異常檢測技術，該技術利用多模態注意力編碼器整合分組特征，從而有效識別異常流量。文獻[13]也采用了Transformer模型，成功地將圖像與非圖像數據融合應用于皮膚病變的多模態診斷，顯著提高了診斷的精確度。文獻[14]創新性地設計了一種專為表格數據量身打造的Transformer模型，命名為Tab-Transformer。該模型通過創造上下文相關的嵌入，巧妙地捕捉并表達了表格數據中的復雜信息。
綜上文獻，缺乏將多模態數據融合分析技術用于高層建筑電氣火災的研究。因此，本文所提出的基于多模態數據融合的高層建筑電氣設施火災早期研究具有現實意義。具體來說，本研究以高層建筑的變壓器室里配備的電氣設施為研究對象，基于各模態傳感器采集的數據，首先構建了包含溫度、CO濃度、煙霧的數據集。然后介紹了門控多層感知機(gated Multi-Layer Perception, gMLP)提取各模態傳感器的數據特征，通過多層感知機和門控結構，有效處理時序數據并提取其中的復雜特征；然后利用多頭注意力機制完成多模態數據的特征融合，根據上述步驟提出多模態數據融合模型。之后，用基于單模態數據的全連接神經網絡(FCNN)模型與多模態數據融合模型進行對比實驗，實驗結果表明，多模態數據融合模型取得了94.83%的準確率，證明了所提多模態數據融合方法的可行性。
本文詳細內容請下載：
http://www.jysgc.com/resource/share/2000006555
作者信息：
潘明明1，王白根2，齊紅濤3，徐子尚1，劉金友3
（1.中國電力科學研究院有限公司，北京 100192；
2.國網安徽省電力有限公司安慶供電公司，安徽 安慶246001；
3.國網安徽省電力有限公司，安徽 合肥230000）
