引用格式：王首晨,王利民. LSTM與Transformer融合模型在時(shí)間序列預(yù)測(cè)中的應(yīng)用研究［J］.網(wǎng)絡(luò)安全與數(shù)據(jù)治理，2025，44（3）：27-31,38.
引言
隨著全球?qū)稍偕茉葱枨蟮牟粩嘣鲩L(zhǎng)，風(fēng)電作為一種清潔能源，其發(fā)電量預(yù)測(cè)的準(zhǔn)確性對(duì)于電網(wǎng)的穩(wěn)定運(yùn)行和能源管理具有重要意義。風(fēng)電場(chǎng)發(fā)電功率的時(shí)間序列預(yù)測(cè)是一個(gè)復(fù)雜的非線性問(wèn)題，它涉及多種氣象因素和環(huán)境條件。如果能對(duì)風(fēng)電場(chǎng)的發(fā)電功率進(jìn)行準(zhǔn)確預(yù)測(cè)，電力調(diào)度部門(mén)就可通過(guò)預(yù)先安排調(diào)度計(jì)劃，從而有效降低風(fēng)電波動(dòng)的不利影響。因此，提高風(fēng)電功率預(yù)測(cè)精度具有重要意義［1］。目前，風(fēng)電功率預(yù)測(cè)方法主要分為物理方法、統(tǒng)計(jì)方法和機(jī)器學(xué)習(xí)方法。物理方法基于數(shù)值天氣預(yù)報(bào)，通過(guò)預(yù)測(cè)未來(lái)風(fēng)速和風(fēng)向，結(jié)合風(fēng)電機(jī)組的“風(fēng)速-功率”曲線得到風(fēng)功率預(yù)測(cè)值。然而，風(fēng)速和風(fēng)向預(yù)測(cè)的誤差會(huì)傳遞到功率預(yù)測(cè)中，導(dǎo)致精度受限。統(tǒng)計(jì)方法則依賴于歷史數(shù)據(jù)，通過(guò)建立統(tǒng)計(jì)學(xué)習(xí)模型進(jìn)行預(yù)測(cè)，但難以捕捉復(fù)雜的非線性關(guān)系。
預(yù)測(cè)風(fēng)電場(chǎng)主要通過(guò)分析風(fēng)的歷史時(shí)間序列，并對(duì)其進(jìn)行統(tǒng)計(jì)為預(yù)測(cè)風(fēng)力發(fā)電功率提供指導(dǎo)，同時(shí)采用時(shí)變解釋模型變量預(yù)判和評(píng)價(jià)風(fēng)力發(fā)電功率。傳統(tǒng)的預(yù)測(cè)方法，如物理模型和統(tǒng)計(jì)模型，雖然在一定程度上能夠提供預(yù)測(cè)結(jié)果，但往往難以捕捉風(fēng)電功率變化的復(fù)雜性和動(dòng)態(tài)性［2］。近年來(lái)，機(jī)器學(xué)習(xí)方法因其強(qiáng)大的非線性映射能力得到了廣泛應(yīng)用。其中，深度學(xué)習(xí)模型，如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）和門(mén)控循環(huán)單元（GRU）等，因其在處理時(shí)間序列數(shù)據(jù)方面的優(yōu)勢(shì)，成為風(fēng)電功率預(yù)測(cè)的主流方法［3-4］。研究者們不斷探索新的方法以提高風(fēng)電功率預(yù)測(cè)的精度。例如，Liu［5］等提出了一種結(jié)合LSTM和LightGBM的混合模型，用于澳大利亞陸上風(fēng)電功率的短期預(yù)測(cè)。Sun［6］等提出了一種基于時(shí)空相關(guān)性和Transformer神經(jīng)網(wǎng)絡(luò)的短期多步風(fēng)電功率預(yù)測(cè)方法，展示了Transformer在處理長(zhǎng)序列數(shù)據(jù)中的潛力。此外，還有一些研究通過(guò)改進(jìn)參數(shù)優(yōu)化算法來(lái)提高模型的預(yù)測(cè)性能。然而，這些方法在處理非常長(zhǎng)的序列時(shí)仍面臨挑戰(zhàn)。LSTM作為一種循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）的變種，因能夠有效地捕捉時(shí)間序列數(shù)據(jù)中的長(zhǎng)期依賴關(guān)系而被廣泛用于風(fēng)電功率預(yù)測(cè)［7］。然而，LSTM在處理非常長(zhǎng)的序列時(shí)可能會(huì)遇到梯度消失或爆炸的問(wèn)題。為了解決這一問(wèn)題，研究者們開(kāi)始探索結(jié)合LSTM和Transformer模型的方法。Transformer模型通過(guò)自注意力機(jī)制能夠處理序列數(shù)據(jù)中的長(zhǎng)距離依賴問(wèn)題，且不受序列長(zhǎng)度的限制［8］。
為了克服LSTM和Transformer各自的局限性并發(fā)揮各自的優(yōu)勢(shì)，本文在兩者結(jié)合的基礎(chǔ)上引入自適應(yīng)稀疏自注意力機(jī)制（ASSA）［9］，通過(guò)減少注意力計(jì)算中的冗余，使得模型能夠更加專注于序列中的關(guān)鍵信息。結(jié)合LSTM、ASSA和Transformer的模型展現(xiàn)出了優(yōu)異的性能。通過(guò)LSTM捕捉長(zhǎng)期依賴性，ASSA和Transformer處理復(fù)雜的時(shí)空關(guān)系，該模型能夠提供更準(zhǔn)確的風(fēng)電功率預(yù)測(cè)。
本文詳細(xì)內(nèi)容請(qǐng)下載：
http://www.jysgc.com/resource/share/2000006374
作者信息：
王首晨1,王利民2
（1.河北建筑工程學(xué)院信息工程學(xué)院，河北張家口075000;
2.河北建筑工程學(xué)院理學(xué)院，河北張家口075000）
