| 基于BERT-CNN的新聞文本分類的知識蒸餾方法研究 | |
| 所屬分類：技術論文 | |
| 上傳者：aetmagazine | |
| 文檔大小：3576 K | |
| 標簽： 新聞文本 BERT CNN | |
| 所需積分：0分積分不夠怎么辦？ | |
| 文檔介紹：近年來，隨著大數據時代進入人類的生活之后，人們的生活中出現很多無法識別的文本、語義等其他數據，這些數據的量十分龐大，語義也錯綜復雜，這使得分類任務更加困難。如何讓計算機對這些信息進行準確的分類，已成為當前研究的重要任務。在此過程中，中文新聞文本分類成為這個領域的一個分支，這對國家輿論的控制、用戶日常行為了解、用戶未來言行的預判都有著至關重要的作用。針對新聞文本分類模型參數量多和訓練時間過長的不足，在最大限度保留模型性能的情況下壓縮訓練時間，力求二者折中，故提出基于BERT-CNN的知識蒸餾。根據模型壓縮的技術特點，將BERT作為教師模型，CNN作為學生模型，先將BERT進行預訓練后再讓學生模型泛化教師模型的能力。實驗結果表明，在模型性能損失約2.09%的情況下，模型參數量壓縮約為原來的1/82，且時間縮短約為原來的1/670。 | |
| 現在下載 | |
| VIP會員，AET專家下載不扣分；重復下載不扣分，本人上傳資源不扣分。 | |
Copyright ? 2005-2024 華北計算機系統工程研究所版權所有 京ICP備10017138號-2