《電子技術應用》
您所在的位置:首頁 > 其他 > 設計應用 > 面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)
面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)
網(wǎng)絡安全與數(shù)據(jù)治理 2期
魏宏原1,2,華 蓓1,2,林 飛1,2
(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027; 2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)
摘要: 數(shù)據(jù)驅動的人工智能應用需要大數(shù)據(jù)支持,然而現(xiàn)實中因隱私保護等原因,數(shù)據(jù)往往互不流通,而以孤島形式存在。如何實現(xiàn)數(shù)據(jù)安全可用是當前亟待解決的問題。設計和實現(xiàn)了面向數(shù)據(jù)共享的模型訓練服務系統(tǒng),通過向用戶提供數(shù)據(jù)功能服務接口而非數(shù)據(jù)本身,實現(xiàn)數(shù)據(jù)可用不可見。重點針對資源受限的數(shù)據(jù)共享平臺,設計了高效的資源分配和作業(yè)調(diào)度方法,特別是通過自動資源縮放來應對多變的工作負載,達到優(yōu)化用戶體驗和提高資源利用的目的。實驗表明,相較于常規(guī)的作業(yè)調(diào)度方法,本系統(tǒng)在各種工作負載下都具有響應服務請求快、作業(yè)完成時間短的優(yōu)點。
中圖分類號: TP14
文獻標識碼: A
DOI: 10.20044/j.csdg.2097-1788.2022.02.004
引用格式: 魏宏原,華蓓,林飛. 面向數(shù)據(jù)共享的模型訓練服務系統(tǒng)[J].網(wǎng)絡安全與數(shù)據(jù)治理,2022,41(2):20-29.
A model training service system for data sharing
Wei Hongyuan1,2,Hua Bei1,2,Lin Fei1,2
(1.School of Computer Science and Technology,University of Science and Technology of China,Hefei 230027,China; 2.CAS Key Laboratory of Wireless-Optical Communications,Hefei 230027,China)
Abstract: Data-driven artificial intelligence applications require the support of big data. However, in reality, most of the data do not circulate with each other due to privacy leakage. How to achieve data security and availability is an urgent problem to be solved. This paper designs and implements a data sharing-oriented model training service system. By providing users with data function service interfaces instead of the data itself, data availability is invisible. This paper focuses on resource-constrained data sharing platforms, and designs efficient resource allocation and job scheduling methods, especially through automatic resource scaling to cope with changing workloads, to optimize user experience and improve resource utilization. Experiments show that, compared with the conventional job scheduling method, the system has the advantages of fast response to service requests and short job completion time under various workloads.
Key words : data sharing;model training service;job schedule;resource allocation

0 引言

隨著物聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能技術的發(fā)展,以及智慧城市、智慧醫(yī)療、電子商務等應用的廣泛普及,每天都有海量的數(shù)據(jù)產(chǎn)生,這些數(shù)據(jù)蘊涵了大量有價值的信息。但是另一方面,數(shù)據(jù)不足正成為當下制約人工智能發(fā)展的一大瓶頸。例如,深度神經(jīng)網(wǎng)絡需要大量數(shù)據(jù)來訓練,但現(xiàn)實中大多數(shù)領域只有少量數(shù)據(jù)集可用,如自動駕駛只有數(shù)個公開數(shù)據(jù)集,醫(yī)學圖像領域不僅數(shù)據(jù)集少,且每個數(shù)據(jù)集僅包含數(shù)十或數(shù)百個病例。造成這種現(xiàn)象的原因主要有兩個方面,一是原始數(shù)據(jù)必須經(jīng)過清洗和標注才能使用,而這一過程不僅費時費力,更可能需要專業(yè)人士的介入;二是目前各行各業(yè)的數(shù)據(jù)主要由政府和企業(yè)在收集,出于行業(yè)競爭、數(shù)據(jù)安全、管理制度等方面的考慮,這些數(shù)據(jù)不能被共享,形成了許許多多的數(shù)據(jù)孤島。如何在保護數(shù)據(jù)和使用數(shù)據(jù)之間取得平衡,是當下迫切需要解決的問題[1]。

一些企業(yè)和機構已經(jīng)或正在建設數(shù)據(jù)共享和交易平臺來促進數(shù)據(jù)流通,如Exchange、數(shù)據(jù)堂、上海數(shù)據(jù)交易中心等。但目前這些平臺多以交易數(shù)據(jù)為主,用戶在付費之后擁有對數(shù)據(jù)的永久/指定期限訪問權,可以在數(shù)據(jù)上執(zhí)行任意計算來挖掘感興趣的信息。這會帶來兩個問題,一是如果這些數(shù)據(jù)中包含敏感信息,直接開放給用戶下載會帶來數(shù)據(jù)安全問題;二是難以控制用戶對數(shù)據(jù)進行非法復制和傳播,數(shù)據(jù)可能被用于不正當用途。其實很多時候用戶只想利用數(shù)據(jù)來訓練他們需要的模型,對原始數(shù)據(jù)本身并不感興趣,向用戶提供數(shù)據(jù)的功能性服務而非直接提供數(shù)據(jù),可以在一定程度上解決數(shù)據(jù)保護和數(shù)據(jù)使用之間的矛盾。比如,交通管理部門可在自有的城市出行數(shù)據(jù)上,為社會學研究人員訓練用于分析人群移動規(guī)律的數(shù)學模型。

本文提出面向數(shù)據(jù)共享的模型訓練服務系統(tǒng),允許機構或企業(yè)利用自有數(shù)據(jù)集和自有計算資源,向用戶提供模型訓練服務(當然機構可以向用戶收費,但這不在本文討論的范圍內(nèi))。用戶只需指定需要的數(shù)據(jù)集并上傳自定義的模型結構(本系統(tǒng)主要考慮深度學習模型),系統(tǒng)可自動完成模型訓練作業(yè),并向用戶返回訓練好的模型,真正實現(xiàn)“數(shù)據(jù)可用不可見”。提供數(shù)據(jù)的功能性服務接口而非數(shù)據(jù)本身,對于消除數(shù)據(jù)孤島、促進數(shù)據(jù)安全流通具有極為積極的作用




本文詳細內(nèi)容請下載http://www.jysgc.com/resource/share/2000004854




作者信息:

魏宏原1,2,華  蓓1,2,林  飛1,2

(1.中國科學技術大學 計算機科學與技術學院,安徽 合肥230027;

2.中國科學院無線光電通信重點實驗室,安徽 合肥230027)


微信圖片_20210517164139.jpg

此內(nèi)容為AET網(wǎng)站原創(chuàng),未經(jīng)授權禁止轉載。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
国产一区二区三区高清在线观看| 国产一区二区三区免费在线观看| 久久精品国产亚洲精品| 亚洲视频碰碰| 亚洲最黄网站| 亚洲乱码国产乱码精品精天堂| 欧美影院成人| 香蕉久久国产| 欧美一级二区| 欧美一区二区三区播放老司机| 亚洲桃色在线一区| 亚洲一品av免费观看| 一区二区三区欧美在线| 在线亚洲自拍| 亚洲一区二区精品视频| 亚洲一区激情| 亚洲欧美另类久久久精品2019| 亚洲手机视频| 亚洲欧美视频在线观看视频| 午夜精品久久久久影视| 欧美一级午夜免费电影| 久久福利精品| 亚洲黄色小视频| 亚洲精品免费电影| 一区二区av在线| 亚洲欧美日韩专区| 久久国产精品久久精品国产| 久久久久九九视频| 欧美 日韩 国产精品免费观看| 欧美a级片网| 欧美日韩福利在线观看| 国产精品大片wwwwww| 国产精品午夜在线| 韩国av一区二区三区在线观看| 禁久久精品乱码| 亚洲欧洲在线看| 在线亚洲激情| 欧美一区二区三区免费视| 午夜精品一区二区三区在线| 久久精品视频va| 日韩一二三在线视频播| 亚洲视频一区二区| 久久国内精品自在自线400部| 久热精品在线| 欧美日韩网址| 国产性天天综合网| 亚洲欧洲一区二区在线观看| 亚洲视频在线播放| 久久精品日产第一区二区三区| 99国产精品久久久久久久久久| 亚洲综合色激情五月| 久久久久国产精品人| 欧美精品一区二| 国产欧美大片| 亚洲国产一区二区视频| 亚洲视频在线播放| 亚洲激情社区| 亚洲欧美中文日韩在线| 乱码第一页成人| 国产精品福利在线观看网址| 激情综合久久| 夜夜嗨一区二区| 久久er精品视频| 在线亚洲免费视频| 久久亚洲国产精品日日av夜夜| 欧美精品系列| 狠狠久久五月精品中文字幕| 一本久久a久久精品亚洲| 久久精品论坛| 亚洲欧美成人综合| 欧美xx视频| 国产人成一区二区三区影院| 亚洲欧洲日本mm| 久久精品99久久香蕉国产色戒| 亚洲素人在线| 欧美gay视频激情| 国产精自产拍久久久久久| 亚洲激情在线视频| 欧美一区二区性| 亚洲一区二区三区在线观看视频| 老司机精品导航| 国产欧美日韩激情| 夜夜嗨av一区二区三区四季av | 欧美大片在线看| 国产日韩欧美| 一区二区三区四区国产| 亚洲国产一区二区三区高清| 欧美在线亚洲一区| 欧美日韩在线视频观看| 亚洲福利在线看| 久久国产精品99国产| 亚洲欧美999| 欧美日韩国产丝袜另类| 在线观看日韩欧美| 欧美一区二区三区男人的天堂 | 免费成年人欧美视频| 国产欧美日韩亚洲一区二区三区| 亚洲美女黄网| 最新国产の精品合集bt伙计| 久久精品首页| 国产精品永久免费在线| 中文av一区特黄| 在线亚洲欧美| 欧美日韩一卡| 亚洲美女中出| 亚洲美女色禁图| 美女脱光内衣内裤视频久久影院| 国产欧美日韩精品一区| 亚洲一区二区三区国产| 亚洲午夜一区二区| 欧美日韩在线一区二区三区| 亚洲三级电影全部在线观看高清| 亚洲福利视频一区| 久久亚洲私人国产精品va媚药| 国产欧美一区二区精品忘忧草| 亚洲视频在线观看视频| 亚洲一区在线免费观看| 欧美日韩一区三区四区| 亚洲精品免费看| 一区二区精品| 欧美日韩国产区一| 亚洲免费观看| 亚洲午夜精品久久久久久浪潮| 欧美日韩视频在线一区二区观看视频| 亚洲精品韩国| 日韩一二三区视频| 欧美日韩国产美| 中日韩美女免费视频网址在线观看 | 亚洲免费视频在线观看| 国产精品v亚洲精品v日韩精品| 一本色道久久综合亚洲91| 亚洲一区二区三区四区在线观看| 国产精品vvv| 亚洲欧美999| 久久精品91| 激情久久久久久久| 亚洲精品国产日韩| 欧美人在线观看| 一区二区三区日韩在线观看| 亚洲免费综合| 国产亚洲综合精品| 亚洲激情校园春色| 欧美激情性爽国产精品17p| 亚洲美女毛片| 香蕉国产精品偷在线观看不卡 | 欧美在线|欧美| 美女被久久久| 亚洲精品一区二区在线观看| 亚洲先锋成人| 国产欧美一区二区三区在线看蜜臀| 欧美一区亚洲| 欧美电影在线观看| 日韩亚洲一区在线播放| 欧美一级视频| 精品成人久久| 一本不卡影院| 国产日产精品一区二区三区四区的观看方式| 欧美一区二区三区免费观看 | 99在线热播精品免费99热| 性欧美大战久久久久久久久| 国语自产精品视频在线看一大j8| 亚洲欧洲在线观看| 国产精品久久久久久福利一牛影视| 欧美一区二区三区在线看 | 国际精品欧美精品| 亚洲精品视频在线| 国产精品jvid在线观看蜜臀| 久久爱www久久做| 欧美日韩亚洲一区| 欧美淫片网站| 欧美三级午夜理伦三级中文幕 | 一区二区高清视频在线观看| 久久黄金**| 日韩一级黄色大片| 久久久精品五月天| 日韩西西人体444www| 久久大香伊蕉在人线观看热2| 亚洲第一综合天堂另类专| 性xx色xx综合久久久xx| 亚洲国产精品国自产拍av秋霞| 香港久久久电影| 亚洲人成人一区二区三区| 久久av老司机精品网站导航 | 亚洲婷婷在线| 欧美 日韩 国产一区二区在线视频| 中文av字幕一区| 欧美国产一区二区| 欧美亚洲一区三区| 欧美日本在线视频| 欧美专区一区二区三区| 欧美性生交xxxxx久久久| 最新69国产成人精品视频免费| 国产日韩欧美在线一区| 亚洲深爱激情| 亚洲国产精品国自产拍av秋霞| 久久精品噜噜噜成人av农村| 一本色道久久综合亚洲91| 欧美多人爱爱视频网站| 欧美中文字幕视频在线观看| 国产精品成av人在线视午夜片|