0 引言

    隨著出版行業(yè)電子化的不斷發(fā)展，其中中文文本校對(duì)環(huán)節(jié)的任務(wù)越來(lái)越重，使用傳統(tǒng)的人工校對(duì)顯然無(wú)法滿足需求。因此，中文文本自動(dòng)校對(duì)技術(shù)的發(fā)展就顯得尤其重要。

    本文采用深度學(xué)習(xí)中的循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Networks)進(jìn)行文本自動(dòng)校對(duì)。其特點(diǎn)是能處理任意長(zhǎng)度的輸入和輸出序列，因此被廣泛應(yīng)用在自然語(yǔ)言處理(Natural Language Processing)任務(wù)中。在機(jī)器翻譯任務(wù)上，CHO K等在2014年發(fā)表的論文^[1]中首次提出基于循環(huán)神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)的Seq2Seq模型，并且在多個(gè)自然語(yǔ)言處理問(wèn)題上取得突破。因此，Seq2Seq模型的提出為文本校對(duì)領(lǐng)域的研究提供了一種新的思路與方法。

    目前，基于深度學(xué)習(xí)的中文文本自動(dòng)校對(duì)技術(shù)的研究仍處于起步階段，本文著重研究了基于Seq2Seq模型與BiRNN網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn)的網(wǎng)絡(luò)模型，使其適用于中文文本校對(duì)問(wèn)題，為中文文本校對(duì)領(lǐng)域提供了一種新的方法。

1 背景

1.1 中文文本校對(duì)的研究現(xiàn)狀

    目前，國(guó)內(nèi)在中文文本校對(duì)方面的研究主要采用以下3種方法：(1)基于拼音的中文文本校對(duì)^[2]；(2)基于字的中文文本校對(duì)^[3]；(3)基于上下文的中文文本校對(duì)^[4]。這三種方法采用的校對(duì)規(guī)則又分為3類(lèi)：(1)利用文本的特征，如字形特征、詞性特征或上下文特征；(2)利用概率統(tǒng)計(jì)特性進(jìn)行上下文接續(xù)關(guān)系的分析^[5]；(3)利用語(yǔ)言學(xué)知識(shí)，如語(yǔ)法規(guī)則、詞搭配規(guī)則等^[6]。

1.2 Seq2Seq模型

    基礎(chǔ)的Seq2Seq模型包含三部分，即Encoder端、Decoder端以及連接兩者的中間狀態(tài)向量^[7]。Encoder編碼器將輸入序列X=(x₁，…，x_T)編碼成一個(gè)固定大小的狀態(tài)向量S傳給Decoder解碼器，解碼器通過(guò)對(duì)S的學(xué)習(xí)生成輸出序列Y=(y₁，…，y_K)^[8]。解碼器主要基于中間狀態(tài)向量S以及前一時(shí)刻的輸出y(t-1)解碼得到該時(shí)刻t的輸出y(t)^[9]。其結(jié)構(gòu)如圖1所示。

1.3 Bidirectional-LSTM

    LSTM(Long Short-Term Memory)是門(mén)控制循環(huán)神經(jīng)網(wǎng)絡(luò)的一種。標(biāo)準(zhǔn)的RNN網(wǎng)絡(luò)能夠存儲(chǔ)的信息很有限，并且輸入對(duì)于輸出的影響隨著網(wǎng)絡(luò)環(huán)路的不斷遞增而衰退^[10]；而LSTM在面對(duì)較長(zhǎng)的序列時(shí)，依然能夠記住序列的全部信息。LSTM是一種擁有輸入門(mén)、遺忘門(mén)、輸出門(mén)3個(gè)門(mén)結(jié)構(gòu)的特殊網(wǎng)絡(luò)結(jié)構(gòu)^[11]。LSTM通過(guò)這些門(mén)的結(jié)構(gòu)讓信息有選擇性地影響網(wǎng)絡(luò)中每個(gè)時(shí)刻的狀態(tài)^[12]。LSTM的結(jié)構(gòu)如圖2所示。

    Bi-RNN克服了單向RNN當(dāng)前時(shí)刻的輸出與之后時(shí)刻的輸出無(wú)關(guān)的問(wèn)題^[14]。在Bi-RNN中，將一個(gè)RNN網(wǎng)絡(luò)拆成了兩個(gè)方向，不僅有從左向右的前向連接層，還存在一個(gè)從右向左的反向連接層，這兩個(gè)連接層連接同一個(gè)輸出層，從而在保證網(wǎng)絡(luò)可以處理較長(zhǎng)序列不發(fā)生遺忘的同時(shí)，又保證了能夠提供給輸出層輸入序列的完整上下文信息^[15]。其結(jié)構(gòu)如圖3所示。

2 模型的實(shí)現(xiàn)

2.1 數(shù)據(jù)預(yù)處理

    模型的基本架構(gòu)是Seq2Seq模型。在構(gòu)造模型之前，需要先對(duì)語(yǔ)料進(jìn)行預(yù)處理，包括以下5個(gè)部分：加載數(shù)據(jù)；清洗數(shù)據(jù)；切詞編碼；分析統(tǒng)計(jì)；語(yǔ)料轉(zhuǎn)換。加載數(shù)據(jù)的時(shí)候需要對(duì)語(yǔ)料文本進(jìn)行切分，以句子為單位，即每一行代表一個(gè)完整的句子，以此讀入訓(xùn)練數(shù)據(jù)。切詞部分可以借助一些成熟的中文分詞工具，如 jieba分詞。完成分詞再加載的過(guò)程中，要注意同時(shí)清洗數(shù)據(jù)，去掉數(shù)字、特殊字符等^[16]，再以詞為單位對(duì)其進(jìn)行編碼錄入詞庫(kù)。

    完成詞庫(kù)到數(shù)字的映射之后，需再根據(jù)這種映射關(guān)系完成數(shù)字到詞庫(kù)的反映射。分析數(shù)據(jù)是針對(duì)訓(xùn)練語(yǔ)料進(jìn)行統(tǒng)計(jì)性的描述，了解訓(xùn)練數(shù)據(jù)的一些信息，例如：訓(xùn)練語(yǔ)句的個(gè)數(shù)、最長(zhǎng)與最短句含有的單詞數(shù)、訓(xùn)練語(yǔ)料構(gòu)成的詞庫(kù)中非重復(fù)詞的個(gè)數(shù)等。最后可按照句子從少到多進(jìn)行排列，優(yōu)化訓(xùn)練過(guò)程^[17]。

2.2 Bi-LSTM的Seq2Seq網(wǎng)絡(luò)模型

2.2.1 基本Seq2Seq結(jié)構(gòu)的局限性

    在機(jī)器翻譯、文摘生成等問(wèn)題上，基礎(chǔ)的Seq2Seq模型一直都有不錯(cuò)的表現(xiàn)，但是針對(duì)文本校對(duì)這類(lèi)問(wèn)題，其結(jié)構(gòu)并不能直接被使用。Encoder將輸入編碼為固定大小狀態(tài)向量的過(guò)程首先是一個(gè)“信息有損壓縮”的過(guò)程，如果信息量越大，那么這個(gè)轉(zhuǎn)化向量的過(guò)程對(duì)信息的損失就越大，同時(shí)，隨著sequence length的增加，意味著時(shí)間維度上的序列很長(zhǎng)，RNN模型也會(huì)出現(xiàn)梯度彌散^[18]。其次，基礎(chǔ)的模型連接Encoder和Decoder模塊的組件僅僅是一個(gè)固定大小的狀態(tài)向量，這使得Decoder無(wú)法直接去關(guān)注到輸入信息的更多細(xì)節(jié)^[10]。最后，由于RNN網(wǎng)絡(luò)的特性，當(dāng)前時(shí)刻的輸出只與當(dāng)前時(shí)刻的輸入和之前的輸入有關(guān)^[19]，因此模型對(duì)于信息的捕獲不夠完整。

2.2.2 模型的構(gòu)建

    校對(duì)模型由編碼端、解碼端組成，編碼端是由LSTM單元組成的Bi-RNN網(wǎng)絡(luò)。在中文文本自動(dòng)校對(duì)中，輸入序列是標(biāo)記為的完成分詞的中文語(yǔ)句文本，其中上角標(biāo)j代表句子在語(yǔ)料庫(kù)中的位置，下角標(biāo)代表該詞在第i句中的位置。文本中的每一個(gè)詞在輸入到LSTM網(wǎng)絡(luò)前要轉(zhuǎn)化成機(jī)器可識(shí)別的數(shù)字編碼。由于LSTM只能處理定長(zhǎng)的數(shù)據(jù)，因此需要保證輸入語(yǔ)料的長(zhǎng)度Tx保持固定。通過(guò)預(yù)處理部分可以得到最長(zhǎng)句子的詞數(shù)，假設(shè)詞數(shù)Tx=20，則應(yīng)對(duì)不足20個(gè)詞長(zhǎng)的句子進(jìn)行<PAD>補(bǔ)全。編碼端接收每一個(gè)中文詞語(yǔ)的數(shù)字形式和其上一個(gè)時(shí)間點(diǎn)的隱層狀態(tài)，由于采用Bi-RNN網(wǎng)絡(luò)，輸出的是當(dāng)前時(shí)間點(diǎn)的隱層狀態(tài)，結(jié)構(gòu)如圖4所示，其展示了兩個(gè)雙向的LSTM單元。

    解碼端是一個(gè)帶注意力機(jī)制的RNN網(wǎng)絡(luò)，其在t時(shí)刻生成一個(gè)詞時(shí)可以利用到此前的全部上文信息。解碼端接收目標(biāo)句子中上一個(gè)時(shí)間點(diǎn)的中文詞語(yǔ)和上一個(gè)時(shí)間點(diǎn)的隱層狀態(tài)與注意力機(jī)制產(chǎn)生的語(yǔ)義向量，如圖5所示。

    由于注意力機(jī)制的存在，每個(gè)時(shí)刻生成詞時(shí)對(duì)輸入序列各個(gè)詞的關(guān)注程度是不一樣的，因此編碼端在每個(gè)時(shí)刻給出的C_i是不一樣的。其計(jì)算公式如式(15)所示。其中，h_j表示編碼端的第j個(gè)詞的隱層狀態(tài)，α_ij表示編碼端的第j個(gè)詞與解碼端的第i個(gè)詞之間的權(quán)值，其計(jì)算公式如式(16)所示。在式(16)中，e_ij是一個(gè)softmax模型輸出，概率值的和為1。e_ij表示一個(gè)對(duì)齊模型，用于衡量編碼端的第j個(gè)詞相對(duì)于解碼端的第i個(gè)詞的對(duì)齊程度(影響程度)。對(duì)齊模型e_ij的計(jì)算方式如式(17)所示。

    e_ij的計(jì)算方法有很多種，不同的計(jì)算方式，代表不同的Attention模型，本文使用的是Soft Attention模型，它可以被嵌入到模型中去，直接訓(xùn)練。Soft Attention模型在求注意力分配概率的時(shí)候，對(duì)于輸入句子X(jué)中任意一個(gè)詞都給出概率。結(jié)構(gòu)如圖6所示。

    圖6展示了在預(yù)測(cè)第t個(gè)時(shí)間段的輸出y_t時(shí)的結(jié)構(gòu)。通過(guò)對(duì)Encoder層狀態(tài)的加權(quán)，從而掌握輸入語(yǔ)句中的所有細(xì)節(jié)信息，最后將語(yǔ)義向量和解碼端的隱層狀態(tài)合拼起來(lái)，計(jì)算最后的輸出概率。

    以“我愛(ài)機(jī)器學(xué)習(xí)”為例，假設(shè)當(dāng)前時(shí)刻正準(zhǔn)備校對(duì)“機(jī)器”這個(gè)詞，此時(shí)需要計(jì)算語(yǔ)義向量，如圖7所示。

    圖7中，S_t-1代表解碼端前一輪的隱層狀態(tài)，即代表了校對(duì)“機(jī)器上一個(gè)詞”階段的輸出隱層狀態(tài)；a₁～a₄分別代表了編碼端每個(gè)詞輸入到Bi-RNN后的隱層狀態(tài)。Attention根據(jù)每個(gè)Encoder輸出和Decoder的上一次隱層給出每個(gè)邊的得分，然后和上一次訓(xùn)練的預(yù)測(cè)值拼合到一起，和Decoder端上一時(shí)刻的隱層作為輸入進(jìn)入當(dāng)前時(shí)刻的RNN。

2.2.3 模型的訓(xùn)練與優(yōu)化

    在完成了模型的構(gòu)建后，還需要構(gòu)造解碼端的訓(xùn)練與預(yù)測(cè)函數(shù)，并將訓(xùn)練與預(yù)測(cè)分開(kāi)。因?yàn)榻獯a器會(huì)將前一時(shí)刻的輸出作為當(dāng)前時(shí)刻的輸入，如果前一時(shí)刻的輸入不夠準(zhǔn)確，那么就會(huì)影響后續(xù)的預(yù)測(cè)。所以在訓(xùn)練過(guò)程中，需要知道每一個(gè)輸入到網(wǎng)絡(luò)中的句子的正確形式，進(jìn)而采用強(qiáng)制正確輸入來(lái)進(jìn)行訓(xùn)練，這種方式叫做Teacher Forcing，如圖8所示。

    前面已經(jīng)介紹過(guò)解碼端某一時(shí)刻的概率分布，所以對(duì)于全部的訓(xùn)練樣本，需要做的就是在整個(gè)訓(xùn)練樣本下，所有樣本的P(y₁，…，y_T|x₁，…，x_T)概率之和最大，最大化條件似然函數(shù)，得到最佳的校對(duì)結(jié)果。模型使用grid search設(shè)計(jì)，以便找到最佳架構(gòu)和超參數(shù)值。

3 結(jié)果與分析

    實(shí)驗(yàn)使用阿里云服務(wù)器GN2作為訓(xùn)練服務(wù)器，使用TensorFlow框架，共進(jìn)行了4組實(shí)驗(yàn)，分別用來(lái)測(cè)試Seq2Seq、BiRNNSeq2Seq、帶注意力機(jī)制的Seq2Seq以及與這兩者結(jié)合在一起的4種模型在中文文本校對(duì)中的性能。實(shí)驗(yàn)所使用的數(shù)據(jù)集來(lái)源于2018 NLPCC共享的訓(xùn)練數(shù)據(jù)Task 2以及一部分搜狗實(shí)驗(yàn)室提供的開(kāi)源中文語(yǔ)料庫(kù)，全部的數(shù)據(jù)集包含了1 327 608個(gè)句子對(duì)，分別用Src和Trg表示，Src代表原句，既可能為正確的句子也可能為包含用詞錯(cuò)誤的句子；Trg表示目標(biāo)輸出，其均為對(duì)應(yīng)Src的正確句子，其中不包含驗(yàn)證集。將全部數(shù)據(jù)集按比例(99.5：0.5)隨機(jī)分成兩部分：一個(gè)驗(yàn)證集，其中包含5 310個(gè)句子對(duì)，源句與目標(biāo)句子之間存在不一致；另一個(gè)訓(xùn)練集包含所有剩余的1 322 298個(gè)句子對(duì)。測(cè)試數(shù)據(jù)包含2 000個(gè)句子對(duì)。數(shù)據(jù)集的統(tǒng)計(jì)數(shù)據(jù)如表1所示。

    表1展示了訓(xùn)練驗(yàn)證和測(cè)試數(shù)據(jù)的統(tǒng)計(jì)。.Src是指源錯(cuò)誤的句子，.Trg是指目標(biāo)正確的句子。

    為了合理客觀地評(píng)價(jià)模型，實(shí)驗(yàn)采用廣泛使用的MaxMatch Scorer工具包進(jìn)行評(píng)估。中文文本校對(duì)實(shí)驗(yàn)結(jié)果如表2所示，其中F0.5、F1、BLEU為評(píng)價(jià)分?jǐn)?shù)。

    實(shí)驗(yàn)結(jié)果表明，Bi-RNN以及注意力機(jī)制均有助于提升中文文本校對(duì)模型的性能，并且二者結(jié)合起來(lái)可以進(jìn)一步改善系統(tǒng)的性能。由于模型的實(shí)驗(yàn)結(jié)果受數(shù)據(jù)量以及迭代次數(shù)的影響，因此在此基礎(chǔ)上引入更多的數(shù)據(jù)做訓(xùn)練，并且通過(guò)改善訓(xùn)練方法，如引入流暢度學(xué)習(xí)、推斷機(jī)制等進(jìn)一步提升模型校對(duì)的準(zhǔn)確率。

4 結(jié)論

    本文給出了基于Seq2Seq和Bi-LSTM設(shè)計(jì)的中文文本校對(duì)模型并且通過(guò)公開(kāi)的數(shù)據(jù)集全面驗(yàn)證了模型的性能。模型的核心內(nèi)容是在引入Bi-LSTM單元和注意力機(jī)制的同時(shí)，用Seq2Seq結(jié)構(gòu)網(wǎng)絡(luò)對(duì)中文語(yǔ)料庫(kù)進(jìn)行學(xué)習(xí)，挖掘詞與詞之間的關(guān)系，并以此作為中文文本校對(duì)的依據(jù)。雖然由于訓(xùn)練量的原因，在結(jié)果上并未達(dá)到最好的效果，但是可以看出該模型在中文文本校對(duì)領(lǐng)域里具備了很大的潛力，并可以擴(kuò)展應(yīng)用在多個(gè)中文自然語(yǔ)言處理領(lǐng)域。

參考文獻(xiàn)

[1] CHO K，MERRIENBOER B，GULCEHRE C.Learning phrase representations using RNN encoder–decoder for statistical machine translation[J].Computer Science，2014(v1)：52-55.

[2] 張仰森，俞士汶.文本自動(dòng)校對(duì)技術(shù)研究綜述[J].計(jì)算機(jī)應(yīng)用研究，2006(6)：8-12.

[3] 洛衛(wèi)華，羅振聲.中文文本自動(dòng)校對(duì)技術(shù)的研究[J].計(jì)算機(jī)研究展，2004，33(1)：60-64.

[4] 劉亮亮，曹存根.中文“非多字錯(cuò)誤”自動(dòng)校對(duì)方法研究[J].計(jì)算機(jī)科學(xué)，2016(10)：34-39.

[5] 謝剛.知識(shí)圖譜精化研究綜述[J].電子技術(shù)應(yīng)用，2018，44(9)：29-38.

[6] DE FELICE R，PULMAN S G.A classifier-based approach to preposition and determiner error correction in L2 English[C].Proceeding of the 22nd International Conference on Computational Linguistics.COLING 2008 22nd International Conference，2008：167-176.

[7] 吳巖，李秀坤，劉挺，等.中文自動(dòng)校對(duì)系統(tǒng)的研究與實(shí)現(xiàn)[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2001(2)：60-64.

[8] Chen Yongzhi，WU S H，Yang Pingche，et al.Improve the detection of improperly used Chinese characters in students essays with error model[J].International Journal of Continuing Engineering Education and Lifelong Learning，2012(v1)：93-97.

[9] 吳林，張仰森.基于知識(shí)庫(kù)的多層級(jí)中文文本查錯(cuò)推理模型[J].計(jì)算機(jī)工程，2012，38(20)：21-25.

[10] 劉亮亮，王石，王東升，等.領(lǐng)域問(wèn)答系統(tǒng)中的文本錯(cuò)誤自動(dòng)發(fā)現(xiàn)方法[J].中文信息學(xué)報(bào)，2013，27(3)：77-83.

[11] 張仰森，唐安杰.面向政治新聞?lì)I(lǐng)域的中文文本校對(duì)方法研究[J].中文信息學(xué)報(bào)，2014，28(6)：44-49.

[12] 字云飛，李業(yè)麗，孫華艷.基于深度神經(jīng)網(wǎng)絡(luò)的個(gè)性化推薦系統(tǒng)研究[J].電子技術(shù)應(yīng)用，2019，45(1)：14-18.

[13] TAN Y，YAO T，CHEA Q，et al.Applying conditional random fields to Chinese shallow parsing[C].Proceedings of Clcling-2005，Mexico City，2005：167-176.

[14] KUDO T，YAMAMOTO K，MATSUMOTO Y.Applying conditional random fields to japanese morphological analysis[C].Natural Language Processing(Emnlp-2004)，Barcelona，2004：230-237.

[15] 王潔，喬藝璇，彭巖，等.基于深度學(xué)習(xí)的美國(guó)媒體“一帶一路”輿情的情感分析[J].電子技術(shù)應(yīng)用，2018，44(11)：102-106.

[16] 潘吳，顏車(chē).基于中文分詞的文本自動(dòng)校對(duì)算法[J].武漢理工大學(xué)學(xué)報(bào)，2009，31(3)：18-20，28.

[17] PINTO D，MCCALLUM A，WEI X.Table extraction using conditional random fields[C].26th ACM SIGIR，Canada，2003：235-242.

[18] 張仰森，鄭佳.中文文本語(yǔ)義錯(cuò)誤偵測(cè)方法研究[J].計(jì)算機(jī)學(xué)報(bào)，2017(3)：63-68.

[19] ZHOU G D，SU J.Named entity recognition using an HMM-based chunk tagger[C].Proceedings of the 40th Annual Meeting of the ACL′2002，Philadelphia，2002：473-480.

作者信息:

龔永罡，吳  萌，廉小親，裴晨晨

(北京工商大學(xué) 計(jì)算機(jī)與信息工程學(xué)院 食品安全大數(shù)據(jù)技術(shù)北京市重點(diǎn)實(shí)驗(yàn)室，北京100048)