協同過濾(Collaborative Filtering，CF)，分為基于用戶的協同過濾(UBCF)、基于項目的協同過濾(IBCF)和基于模型的協同過濾。基于用戶的協同過濾是根據用戶的歷史行為計算出用戶之間的相似度，將相似度高的用戶的歷史項目推薦給該用戶；基于項目的協同過濾是計算項目之間的相似度，推薦與該用戶歷史項目相似度高且歷史行為中沒有的項目。基于模型的協同過濾如矩陣分解(Matrix Factorization，MF)通過用戶和項目的低維特征向量預測評分進行推薦；EBESU T等人提出協同記憶網絡，使用記憶網絡學習用戶項目對的特定鄰居，用戶和項目記憶共同利用鄰居來產生排名分數。這些模型通常對靜態(tài)的用戶和項目交互進行建模，所表示的用戶偏好是靜態(tài)的。

但在現實生活中，用戶的歷史行為是動態(tài)的，人們的興趣是隨著時間變化的。早先的基于馬爾科夫鏈的序列推薦將項目之間的轉移矩陣分解為兩個低秩矩陣，此序列推薦取得了良好的效果，然而k階馬爾科夫鏈只能根據有限的前k個行為預測下一個行為。近年來基于循環(huán)神經網絡(Recurrent Neural Network，RNN)的序列推薦能夠依賴更多用戶歷史行為。FU H等人使用雙向長短期記憶網絡(BiLSTM)捕獲項目的序列特征，取得了更好的推薦效果。下一個項目的預測并不取決于用戶所有的歷史項目，只與部分有關聯，且對當前的預測影響是不一致的。LUO A等人提出了自適應注意感知門控循環(huán)單元(3AGRU)，采用注意力機制來適應用戶順序偏好的表示。LV F等人提出了一種新的順序深度匹配(SDM)模型，使用門控融合模塊結合長期和短期偏好特征，來獲取用戶的動態(tài)偏好。LIN X等人將K最近鄰算法(K-Nearest Neighbor，KNN)與RNN相結合，利用動態(tài)鄰居序列優(yōu)化用戶序列表示。

item2vec是BARKAN O等人借鑒自然語言處理中的Word2vec詞向量表示方法，學習項目的向量表示并計算項目的相似度進行推薦。

RNN存在長距離依賴問題，且項目之間的影響主要取決于相對位置而不是項目的屬性。LSTM增加遺忘門和更新門優(yōu)化了長距離依賴問題，但仍舊沒有徹底解決。注意力機制能從全局模式上既解決長距離依賴問題，又能解決序列中各項目的區(qū)分度差問題。實際生活中，短期偏好的用戶會向資深固定偏好的用戶靠攏，興趣變化也會向這些用戶的興趣發(fā)展。

由此提出融合注意力和記憶網絡的序列推薦算法，使用Word2vec學習并初始化用戶和項目的固定表示，自注意力機制結合LSTM解決長距離依賴和區(qū)分度問題，學習用戶的初級動態(tài)表示，并利用記憶網絡獲取動態(tài)鄰居學習用戶的終級動態(tài)表示，拼接固定表示和終級動態(tài)表示作為用戶最終表示并進行推薦，提高用戶的推薦效果并體現出可解釋性。

本文詳細內容請下載:http://www.jysgc.com/resource/share/2000003112

作者信息：陳細玉，林穗(廣東工業(yè)大學 計算機學院，廣東 廣州 510006)