引言
近年來，大語言模型［1-2］的發(fā)展呈現(xiàn)出蓬勃的態(tài)勢。雖然中文模型正在快速崛起，但在權(quán)威的全球語言模型基準(zhǔn)測試平臺Chatbot Arena［3］的排行中，顯著體現(xiàn)出一個現(xiàn)象：當(dāng)前位居前列的先進大語言模型［4-6］均為英文模型。其中，Meta的LLaMA3［7］模型在代碼生成、邏輯推理、文本創(chuàng)作和摘要提煉等方面相較于同參數(shù)量級的競爭對手展現(xiàn)出了顯著的性能提升。然而，值得注意的是，其應(yīng)用場景主要聚焦于英文環(huán)境。盡管其訓(xùn)練數(shù)據(jù)涵蓋了超過30種語言，但非英文的多語種數(shù)據(jù)在整體訓(xùn)練數(shù)據(jù)中的占比僅達到5%。英文大模型主要訓(xùn)練語料為英文，在英文場景下智能程度顯著高于其他語種，直接將此類模型應(yīng)用于特定語言場景將面臨諸多挑戰(zhàn)。
大模型英文能力顯著高于其他語種的現(xiàn)象與預(yù)訓(xùn)練時學(xué)習(xí)語料的不平衡有直接關(guān)系，特別是在涉及各國各地區(qū)獨特的知識能力和安全價值觀時尤為顯著。當(dāng)非主要訓(xùn)練語言的用戶與這些大模型進行交互時，往往會出現(xiàn)理解偏差甚至錯誤回答的情況。因此，大模型不僅需要深入掌握英文語境下的通用知識，具備基本的推理、計算、翻譯、分類、生成等能力，而且必須能夠因地制宜，根據(jù)用戶所屬特定文化下的知識能力和安全價值觀進行精準(zhǔn)交互，以確保信息傳達的準(zhǔn)確性和有效性。
在大模型的實際應(yīng)用中，如何維持其英文能力的卓越性，同時確保其在特定文化下的知識能力與安全價值觀的對齊，是一項亟待解決的挑戰(zhàn)。通過觀察外國專家在華的成功適應(yīng)案例(如圖1所示)，本文得以獲得啟示。以醫(yī)學(xué)專家馬海德為例，他作為瑞士日內(nèi)瓦大學(xué)的醫(yī)學(xué)博士，于1933年來華從事醫(yī)學(xué)研究。他不僅積極投入診療與調(diào)研，而且迅速掌握了普通話及陜北方言，進而成功協(xié)助創(chuàng)建了中央皮膚性病研究所，并參與制定了針對性病和麻風(fēng)病的防治計劃，將其專業(yè)知識貢獻于中國。馬海德的事例表明，通過針對特定語言文化環(huán)境的能力提升和安全價值觀調(diào)整，即便在文化背景與價值觀存在差異的情況下，也能有效利用外國專家的專業(yè)知識。這一經(jīng)驗為大模型領(lǐng)域提供了借鑒：開發(fā)適應(yīng)特定文化背景的能力增強與價值觀再造方法，以高效地優(yōu)化現(xiàn)有的英文大模型，使其更好地服務(wù)于全球不同文化背景下的用戶。
圖1外國專家(英文專家)中文本土化改造學(xué)習(xí)路線圖
針對英文大模型在特定文化背景下的快速適配問題，本文提出一種基于特定文化下知識能力和安全價值觀數(shù)據(jù)的指令微調(diào)流程與方法。該方法無需預(yù)訓(xùn)練，即可使模型在短期內(nèi)實現(xiàn)對于特定國家與地區(qū)文化的快速適配。以中國文化為例，本文采用LLaMA38B作為待改造的英文大語言模型，深入探討了指令微調(diào)策略在促進模型快速適配中文語境下基礎(chǔ)能力與安全價值觀的有效性。評估結(jié)果表明，經(jīng)過知識能力與安全價值觀改造后的大模型，不僅成功保留了其原先優(yōu)越的專業(yè)知識，還顯著增強了特定文化下的知識和能力，同時確保完全符合特定社會文化下的價值觀和安全標(biāo)準(zhǔn)。
本文詳細內(nèi)容請下載：
http://www.jysgc.com/resource/share/2000006856
作者信息：
張文靜1,2，肖思琪1,2，雷雪嬌1,2，王寧1,2，
張華正1,2，安美娟1,2，楊必琨1,2，
劉兆祥1,2，王愷1,2，廉士國1,2
(1.中國聯(lián)通數(shù)據(jù)科學(xué)與人工智能研究院，北京100033；
2.聯(lián)通數(shù)據(jù)智能有限公司，北京100033)
