《電子技術應用》
您所在的位置:首頁 > 模擬設計 > 業界動態 > 學術界關于HBase應用場景(物聯網/車聯網/電力等)研究大全

學術界關于HBase應用場景(物聯網/車聯網/電力等)研究大全

2017-10-12

  HBase在互聯網領域有廣泛的應用,比如:互聯網的消息系統的存儲、訂單的存儲、搜索原材料的存儲、用戶畫像數據的存儲等。得益于HBase海量的存儲量及超高并發寫入讀取量。HBase在09年就開始在工業界大范圍使用,在學術界,也有非常多的高校、機構在研究HBase應用于不同的行業,本文主要梳理下這些資料(主要是中文資料,有一些是碩士論文\期刊),這些很多都在工業界使用了。大家也可以感覺下,HBase應用的方面還是非常多的。大家也可以看下是否的場景是否對應起來。 由于涉及到版權,我提供鏈接,不提供資源下載,請大家見諒。

2017092513271457.jpg

  HBase最主要的特性

  HBase基于HDFS,可以提供廉價的解決方案。在阿里云ApsaraDB for HBase會發布基于D1、I2的物理機方案,存儲成本為0.1元每GB每月左右,且可以在線動態添加節點,增加容量。 無需一次性投入全年的量。

  HBase容量可以無限擴容:在100T的數據量上毫無壓力,在1P的數據量上也類似。

  HBase提供超高的并發量:主要得益于系統的除了Master之外的所有節點都直接跟客戶端通信,且系統自動分區。有的系統會有一個路由中心,此會極大的限制并發量及流量

  跟Spark、hadoopMR等分析系統結合 關于 阿里云HBase產品的優勢見:阿里云HBase優勢

  行業:

  物聯網行業:

  基于HBase的大規模無線傳感網絡數據存儲系統 : 無線傳感網絡(WSN)存在分布的跨區域性,隨著無線傳感網絡的擴張,傳感器數目增多,將產生大規模的傳感數據.針對存儲大規模無線傳感網絡數據的問題,提出了一個兩層分布式存儲架構,使用分布式數據庫HBase存儲跨區域的無線傳感網絡數據和全局數據存儲管理目錄,實現一個近實時的存儲系統.實驗結果證明,該系統有良好的擴展性、存儲和查詢效率.

  車聯網:

  基于HBase的車聯網傳感數據管理系統設計 :關系型數據庫由于面向行存儲以及無法擴展等原因,已很難滿足大規模車聯網傳感數據的存儲與查詢要求.針對該問題,設計了一個基于非關系型數據庫HBase存儲的車聯網傳感數據管理系統.該系統采用Hadoop與HBase搭建分布式實驗平臺,采用C#語言開發Web網頁端.通過與傳統關系型數據庫SQL Server的存儲與查詢效率進行對比分析,表明HBase在處理大規模車聯網傳感數據方面具有明顯優勢.

  基于HBase的交通數據區域查詢方法 :隨著智能交通的發展,交通數據呈現出指數性增長.為了提升時空區域查詢性能,論文提出了一種基于HBase的交通數據區域查詢方法HRQ.該方法利用交通數據的三維時空特性,采用Geohash算法將交通數據的經緯度信息轉為Geohash編碼,然后與時間組合作為HBase行鍵,并設計了相應的查詢算法.實驗結果表明,與直接組合經緯度和時間作為行鍵的方法相比,在基于時間范圍的區域查詢上HRQ方法的性能要高30%以上,在基于區域范圍的區域查詢上HRQ的性能優勢隨著查詢區域的增大而增加.

  交通

  基于HBase的交通流數據實時存儲系統 :交通流數據具有多來源、高速率、體量大等特征,傳統數據存儲方法和系統暴露出擴展性弱和存儲實時性低等問題.針對上述問題,設計并實現了一套基于HBase交通流數據實時存儲系統.該系統采用分布式存儲架構,通過前端的預處理操作對數據進行規范化整理,利用多源緩沖區結構對不同類型的流數據進行隊列劃分,并結合一致性哈希算法、多線程技術、行鍵優化設計等策略將數據并行存儲到HBase集群服務器中.實驗結果表明:該系統與基于Oracle的實時存儲系統相比,其存儲性能提升了3~5倍;與原生的HBase方法相比,其存儲性能提升了2~3倍,并且具有良好的擴展性能.

  電力

  HBase 在智能電網異構數據同步中的應用:未來的智能電網在運行中將會產生海量的多態、異構數據,對這些數據的可靠獲取、實時分析、同步及處理會給電網信息系統帶來前所未有的壓力。因此,把電網大數據遷移到云端—數據中心,來實現異構數據的精準、實時同步則顯得尤為必要。以解決未來智能電網大數據處理問題為出發點,通過對電網數據中心相關功能需求進行細致分析,對比傳統的關系型數據庫建模基礎,提出了基于Hbase架構的智能電網數據中心的解決方案。最后通過對比 MySQL 性能進行模擬測試,得出所提出的設計方案能夠很好地適用于未來智能電網數據中心的構建以及異構數據的同步,達到電網大數據的實時共享、監測及準確分析、處理的目的,在未來智能電網信息管理系統中具有廣闊的應用前景。

  金融

  基于HBase的金融時序數據存儲系統 : 設計并實現了1個基于HBase的金融時序數據的存儲系統。設計了基于金融時序數據的HBase預分區策略,可解決HBase存儲熱點的問題;采用了行鍵優化策略和基于時序數據的表設計策略,可解決數據存儲分散的問題;使用了提供異步處理機制的事件驅動的Netty框架所編寫的中間件接收采集器發送的請求,可解決高并發事務的處理問題。實驗結果表明,與HBase原生方法相比,該系統的性能在處理高并發事務時更好。

  航空

  基于HBase的民用航空發動機大數據管理系統 : 為克服傳統關系型數據庫存儲管理海量航空發動機狀態監控數據的不足,本研究提出了基于HBase的民用航空發動機大數據管理系統.首先分析了該系統的功能需求,給出了系統整體架構與模塊設計,并對關鍵技術進行了闡述.最后設計試驗對比HBase與Oracle的搜索效率.試驗結果表明檢索結果集較大時HBase的搜索效率明顯高于Oracle.本研究中提出的航空發動機大數據管理系統為發動機海量數據的存儲管理提供了一種解決方案.

  小文件存儲(圖片視頻等)

  一種基于HBase的海量圖片存儲技術 針對海量圖片存儲,已有若干個基于Hadoop的方案被設計出來.這些方案在系統層小文件合并、全局名字空間以及通用性方面存在不足.本文基于HBase提出了一種海量圖片存儲技術,成功解決了上述問題.本文將介紹基于HBase海量圖片存儲技術方案,分析其原理及優勢,該方案在城市交通監控中得到應用驗證.

  基于 HBase 的小文件高效存儲方法 :基于 Hadoop 平臺的相關系統得到了廣泛應用。Hadoop 分布式文件系統(Hadoop distributed file system, HDFS)通過分布式的工作方式,負責處理海量文件數據。對 HDFS 而言,海量數據中的小文件存儲問題制約著系統高效工作的能力。針對海量數據中小文件讀寫效率低的情況,提出一種基于 HBase(Hadoop database)的海量小文件高效存儲方法,利用 HBase 的存儲優勢,將小文件直接存儲于 HBase,從而有效減少元數據節點服務器(Name-Node)的負載,并對上層應用系統提供透明的訪問接口。實驗結果表明,該方法可以實現海量小文件的高效存儲,提高 HDFS 環境下小文件的讀寫效率。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲一区二区在线观看视频| 亚洲人成网站在线播| 在线观看视频一区二区欧美日韩 | 国内外成人免费视频| 国产精品私房写真福利视频| 欧美日韩一卡| 欧美全黄视频| 欧美日本高清| 欧美人在线视频| 欧美日韩亚洲免费| 欧美激情一区二区在线 | 91久久国产综合久久蜜月精品| 亚洲成人在线视频播放 | 欧美色视频日本高清在线观看| 欧美精品色网| 欧美精品九九99久久| 欧美久久久久久久久| 欧美精品18+| 欧美日韩国产一区二区| 欧美日韩亚洲精品内裤| 欧美香蕉视频| 国产精品网红福利| 国产视频久久网| 黄色亚洲精品| 亚洲电影天堂av| 亚洲精品一区二区网址| 一区二区国产在线观看| 亚洲色图在线视频| 亚洲欧美在线aaa| 亚洲国产精品一区在线观看不卡 | 久久综合九色综合欧美狠狠| 欧美99在线视频观看| 欧美激情网友自拍| 欧美视频二区36p| 国产精品视频大全| 国产一区自拍视频| 亚洲福利视频网| 日韩香蕉视频| 亚洲在线免费视频| 久久精品国亚洲| 99精品黄色片免费大全| 亚洲欧美国产日韩中文字幕| 欧美中文日韩| 蜜桃av一区二区| 欧美日韩亚洲一区二区三区在线| 国产精品久久久久久久午夜| 国产视频自拍一区| 在线观看欧美日本| 日韩亚洲欧美一区| 欧美一级理论片| 亚洲人体大胆视频| 亚洲综合成人婷婷小说| 久久久九九九九| 欧美精品久久久久久久| 国产精品综合久久久| 在线欧美一区| 亚洲一区二区三区国产| 午夜久久福利| 亚洲欧洲一区二区天堂久久| 亚洲性线免费观看视频成熟| 久久久久久亚洲精品不卡4k岛国| 欧美福利专区| 国产嫩草影院久久久久| 91久久综合亚洲鲁鲁五月天| 亚洲欧美另类在线观看| 日韩午夜一区| 久久精品一本久久99精品| 欧美日韩免费| 极品少妇一区二区三区| 亚洲天堂男人| 亚洲精品一区二区三| 欧美一级视频精品观看| 欧美激情影音先锋| 国产亚洲欧美一区在线观看| 亚洲精品一区二区三区在线观看| 欧美在线观看一区二区| 亚洲一区二三| 欧美精品国产精品| 好吊日精品视频| 亚洲一区欧美激情| 99国产精品久久久久久久久久| 欧美在线视频播放| 欧美视频二区36p| 亚洲国产毛片完整版| 午夜一区在线| 亚洲午夜羞羞片| 欧美韩日一区| 国产一区二区三区在线观看免费视频 | 国产精品入口尤物| 亚洲理论电影网| 亚洲福利视频三区| 久久精品av麻豆的观看方式| 欧美午夜www高清视频| 亚洲清纯自拍| 亚洲黄色在线看| 久久久久国产精品一区二区| 欧美午夜影院| 亚洲免费观看高清完整版在线观看熊| 亚洲国产aⅴ天堂久久| 久久国产欧美日韩精品| 国产精品露脸自拍| 亚洲乱码国产乱码精品精98午夜 | 激情成人综合网| 午夜精品婷婷| 亚洲欧美日韩国产一区二区| 欧美日韩国产综合久久| 亚洲国产精品一区在线观看不卡| 亚洲高清不卡一区| 久久亚洲私人国产精品va| 国产欧美日韩在线视频| 亚洲网站在线看| 亚洲一区二区三区高清| 欧美日韩一区二区在线| 亚洲精选在线观看| 一区二区冒白浆视频| 欧美激情视频免费观看| 亚洲国产日韩一区| 日韩网站在线| 欧美理论在线播放| 亚洲精品国产拍免费91在线| 亚洲欧洲在线播放| 欧美不卡高清| 亚洲国产精品嫩草影院| 亚洲精品小视频| 欧美激情视频一区二区三区免费| 亚洲国产精品电影| 亚洲日本aⅴ片在线观看香蕉| 另类专区欧美制服同性| 久久久亚洲高清| 美女视频黄免费的久久| 韩国av一区二区三区| 欧美一区二区三区视频在线| 久久国产精品72免费观看| 国产精品一区在线观看你懂的| 亚洲少妇在线| 欧美中文字幕视频在线观看| 一本色道久久88亚洲综合88| 日韩视频中午一区| 欧美日韩精品免费看| 亚洲六月丁香色婷婷综合久久| 一区二区日韩免费看| 国产精品国产三级国产aⅴ无密码| 在线综合亚洲| 先锋资源久久| 一色屋精品视频免费看| 亚洲欧美日韩在线不卡| 欧美在线免费观看视频| 国产丝袜一区二区三区| 久久精品1区| 女生裸体视频一区二区三区| 亚洲精品视频免费| 亚洲欧美一区二区三区久久| 国产欧美日韩三级| 亚洲国产精品t66y| 欧美另类在线播放| 亚洲在线中文字幕| 快射av在线播放一区| 亚洲精品视频在线看| 亚洲欧美一区二区激情| 狠狠色综合网站久久久久久久| 亚洲人体影院| 国产精品日本| 久久精品视频va| 欧美日韩国产精品一卡| 亚洲免费影视| 免费看精品久久片| 亚洲视频香蕉人妖| 另类天堂av| 一区二区三区免费在线观看| 久久久久www| 日韩视频免费观看高清完整版| 欧美一区二区三区日韩| 亚洲第一在线综合在线| 亚洲欧美文学| 亚洲激情视频在线播放| 欧美专区第一页| 亚洲人成免费| 久久国产婷婷国产香蕉| 亚洲日本免费电影| 久久久久久9999| 99视频精品| 久久综合九色综合欧美狠狠| 一区二区三区福利| 米奇777在线欧美播放| 亚洲一区观看| 欧美精品九九99久久| 欧美一级久久| 国产精品电影在线观看| 亚洲国产影院| 国产精品海角社区在线观看| 亚洲激精日韩激精欧美精品| 国产精品视频专区| 一本大道av伊人久久综合| 国产伊人精品| 午夜亚洲影视| 一本一本久久| 欧美成人精品在线视频| 欧美一站二站| 国产精品成人一区二区| 亚洲免费观看高清完整版在线观看熊|