文獻(xiàn)標(biāo)識(shí)碼： A
DOI：10.16157/j.issn.0258-7998.200920
中文引用格式： 楊戈，張衡. 面向移動(dòng)邊緣計(jì)算基于強(qiáng)化學(xué)習(xí)的計(jì)算卸載算法[J].電子技術(shù)應(yīng)用，2021，47(2)：36-40，48.
英文引用格式： Yang Ge，Zhang Heng. Offloading decision algorithm based on reinforcement learning for mobile edge computing[J]. Application of Electronic Technique，2021，47(2)：36-40，48.
0 引言
隨著萬(wàn)物互聯(lián)趨勢(shì)不斷加深，網(wǎng)絡(luò)邊緣的智能終端設(shè)備不斷增加[1-10]。移動(dòng)邊緣計(jì)算是為提升移動(dòng)設(shè)備服務(wù)質(zhì)量而提出的一種具有前景的新范式[11-20]。
(1)以降低時(shí)延為優(yōu)化目標(biāo)
文獻(xiàn)[3]將卸載決策歸結(jié)為兩種時(shí)間尺度下的隨機(jī)優(yōu)化問(wèn)題，并采用馬爾科夫決策過(guò)程來(lái)處理這個(gè)問(wèn)題。通過(guò)分析每個(gè)任務(wù)的平均時(shí)延和設(shè)備的平均能耗，提出了一個(gè)能量約束的時(shí)延最小化問(wèn)題，并設(shè)計(jì)了一個(gè)有效的一維搜索算法找到了最優(yōu)的任務(wù)卸載策略。
文獻(xiàn)[4]提出了一種低復(fù)雜度的漸近最優(yōu)在線算法，該算法在每個(gè)時(shí)隙中通過(guò)封閉形式或二等分搜索獲得最優(yōu)解，共同決定卸載決策、移動(dòng)執(zhí)行的CPU周期頻率和計(jì)算卸載的發(fā)射功率。
文獻(xiàn)[5]提出了一種基于云的分層車輛邊緣計(jì)算(VEC)卸載框架，在該框架中引入了附近的備用計(jì)算服務(wù)器來(lái)彌補(bǔ)MEC服務(wù)器的不足計(jì)算資源。基于此框架，文獻(xiàn)采用斯塔克爾伯格博弈方法設(shè)計(jì)了一種最佳的多級(jí)卸載方案，該方案可以最大程度地利用車輛和計(jì)算服務(wù)器的效用。
(2)以降低能耗為優(yōu)化目標(biāo)
文獻(xiàn)[6]將卸載決策公式化為凸優(yōu)化問(wèn)題，用于在邊緣云計(jì)算能力無(wú)限和有限的兩種情況以及在計(jì)算等待時(shí)間的約束下最小化加權(quán)和移動(dòng)能量消耗。文獻(xiàn)[7]對(duì)該方案做出了改進(jìn)，相比前者降低了90%的能耗。
(3)以權(quán)衡能耗和時(shí)延為目標(biāo)
文獻(xiàn)[8]分析了單用戶MEC系統(tǒng)的能耗延遲權(quán)衡問(wèn)題，提出了一種基于Lyapunov優(yōu)化的云卸載計(jì)劃方案以及云執(zhí)行輸出的下載調(diào)度方案。在文獻(xiàn)[9]中擴(kuò)展到了多用戶系統(tǒng)。
文獻(xiàn)[10]研究了在多信道無(wú)線干擾環(huán)境下移動(dòng)邊緣云計(jì)算的多用戶計(jì)算卸載問(wèn)題。采用博弈論方法以分布式方式實(shí)現(xiàn)有效的計(jì)算卸載。
本文詳細(xì)內(nèi)容請(qǐng)下載:http://www.jysgc.com/resource/share/2000003370
作者信息:
楊 戈1，2，張 衡1
(1.北京師范大學(xué)珠海分校 智能多媒體技術(shù)重點(diǎn)實(shí)驗(yàn)室，廣東 珠海519087；
2.北京大學(xué)深圳研究生院 深圳物聯(lián)網(wǎng)智能感知技術(shù)工程實(shí)驗(yàn)室，廣東 深圳518055)