《電子技術應用》
您所在的位置:首頁 > 通信與網絡 > 業界動態 > 大數據時代下的三種存儲架構

大數據時代下的三種存儲架構

2015-04-20

      大數據時代,移動互聯、社交網絡、數據分析、云服務等應用的迅速普及,對數據中心提出革命性的需求,存儲基礎架構已經成為IT核心之一。政府、軍隊軍工、科研院所、航空航天、大型商業連鎖、醫療、金融、新媒體、廣電等各個領域新興應用層出不窮。數據的價值日益凸顯,數據已經成為不可或缺的資產。作為數據載體和驅動力量,存儲系統成為大數據基礎架構中最為關鍵的核心。

  傳統的數據中心無論是在性能、效率,還是在投資收益、安全,已經遠遠不能滿足新興應用的需求,數據中心業務急需新型大數據處理中心來支撐。除了傳統的高可靠、高冗余、綠色節能之外,新型的大數據中心還需具備虛擬化、模塊化、彈性擴展、自動化等一系列特征,才能滿足具備大數據特征的應用需求。這些史無前例的需求,讓存儲系統的架構和功能都發生了前所未有的變化。

  基于大數據應用需求,“應用定義存儲”概念被提出。存儲系統作為數據中心最核心的數據基礎,不再僅是傳統分散的、單一的底層設備。除了要具備高性能、高安全、高可靠等特征之外,還要有虛擬化、并行分布、自動分層、彈性擴展、異構資源整合、全局緩存加速等多方面的特點,才能滿足具備大數據特征的業務應用需求。

  尤其在云安防概念被熱炒的時代,隨著高清技術的普及,720P、1080P隨處可見,智能和高清的雙向需求、動輒500W、800W甚至上千萬更高分辨率的攝像機面市,大數據對存儲設備的容量、讀寫性能、可靠性、擴展性等都提出了更高的要求,需要充分考慮功能集成度、數據安全性、數據穩定性,系統可擴展性、性能及成本各方面因素。

  目前市場上的存儲架構如下:

 ?。?)基于嵌入式架構的存儲系統

  節點NVR架構主要面向小型高清監控系統,高清前端數量一般在幾十路以內。系統建設中沒有大型的存儲監控中心機房,存儲容量相對較小,用戶體驗度、系統功能集成度要求較高。在市場應用層面,超市、店鋪、小型企業、政法行業中基本管理單元等應用較為廣泛。

 ?。?)基于X86架構的存儲系統

  平臺SAN架構主要面向中大型高清監控系統,前端路數成百上千甚至上萬。一般多采用IPSAN或FCSAN搭建高清視頻存儲系統。作為監控平臺的重要組成部分,前端監控數據通過錄像存儲管理模塊存儲到SAN中。

  此種架構接入高清前端路數相對節點NVR有了較高提升,具備快捷便利的可擴展性,技術成熟。對于IPSAN而言,雖然在ISCSI環節數據并發讀寫傳輸速率有所消耗,但其憑借擴展性良好、硬件平臺通用、海量數據可充分共享等優點,仍然得到很多客戶的青睞。FCSAN在行業用戶、封閉存儲系統中應用較多,比如縣級或地級市高清監控項目,大數據量的并發讀寫對千兆網絡交換提出了較大的挑戰,但應用FCSAN構建相對獨立的存儲子系統,可以有效解決上述問題。

  面對視頻監控系統大文件、隨機讀寫的特點,平臺SAN架構系統不同存儲單元之間的數據共享冗余方面還有待提高;從高性能服務器轉發視頻數據到存儲空間的策略,從系統架構而言也增加了隱患故障點、ISCSI帶寬瓶頸導致無法充分利用硬件數據并發性能、接入前端數據較少。上述問題催生了平臺NVR架構解決方案。

  該方案在系統架構上省去了存儲服務器,消除了上文提到的性能瓶頸和單點故障隱患。大幅度提高存儲系統的寫入和檢索速度;同時也徹底消除了傳統文件系統由于供電和網絡的不穩定帶來的文件系統損壞等問題。

  平臺NVR中存儲的數據可同時供多個客戶端隨時查詢,點播,當用戶需要查看多個已保存的視頻監控數據時,可通過授權的視頻監控客戶端直接查詢并點播相應位置的視頻監控數據進行歷史圖像的查看。由于數據管理服務器具有監控系統所有監控點的錄像文件的索引,因此通過平臺CMS授權,視頻監控客戶端可以查詢并點播整個監控系統上所有監控點的數據,這個過程對用戶而言也是透明的。

?。?)基于云技術的存儲方案

  當前,安防行業可謂“云”山“物”罩。隨著視頻監控的高清化和網絡化,存儲和管理的視頻數據量已有海量之勢,云存儲技術是突破IP高清監控存儲瓶頸的重要手段。云存儲作為一種服務,在未來安防監控行業有著客觀的應用前景。

  與傳統存儲設備不同,云存儲不僅是一個硬件,而是一個由網絡設備、存儲設備、服務器、軟件、接入網絡、用戶訪問接口以及客戶端程序等多個部分構成的復雜系統。該系統以存儲設備為核心,通過應用層軟件對外提供數據存儲和業務服務。

  一般分為存儲層、基礎管理層、應用接口層以及訪問層。存儲層是云存儲系統的基礎,由存儲設備(滿足FC協議、iSCSI協議、NAS協議等)構成?;A管理層是云存儲系統的核心,其擔負著存儲設備間協同工作,數據加密,分發以及容災備份等工作。應用接口層是系統中根據用戶需求來開發的部分,根據不同的業務類型,可以開發出不同的應用服務接口。訪問層指授權用戶通過應用接口來登錄、享受云服務。其主要優勢在于:硬件冗余、節能環保、系統升級不會影響存儲服務、海量并行擴容、強大的負載均衡功能、統一管理、統一向外提供服務,管理效率高,云存儲系統從系統架構、文件結構、高速緩存等方面入手,針對監控應用進行了優化設計。數據傳輸可采用流方式,底層采用突破傳統文件系統限制的流媒體數據結構,大幅提高了系統性能。

  高清監控存儲是一種大碼流多并發寫為主的存儲應用,對性能、并發性和穩定性等方面有很高的要求。該存儲解決方案采用獨特的大緩存順序化算法,把多路隨機并發訪問變為順序訪問,解決了硬盤磁頭因頻繁尋道而導致的性能迅速下降和硬盤壽命縮短的問題。

  針對系統中會產生PB級海量監控數據,存儲設備的數量達數十臺上百臺,因此管理方式的科學高效顯得十分重要。云存儲可提供基于集群管理技術的多設備集中管理工具,具有設備集中監控、集群管理、系統軟硬件運行狀態的監控、主動報警,圖像化系統檢測等功能。在海量視頻存儲檢索應用中,檢索性能尤為重要。傳統文件系統中,文件檢索采用的是“目錄-》子目錄-》文件-》定位”的檢索步驟,在海量數據的高清視頻監控,目錄和文件數量十分可觀,這種檢索模式的效率就會大打折扣。采用序號文件定位可以有效解決該問題。

  云存儲可以提供非常高的的系統冗余和安全性。當在線存儲系統出現故障后,熱備機可以立即接替服務,當故障恢復時,服務和數據回遷;若故障機數據需要調用,可以將故障機的磁盤插入到冷備機中,實現所有數據的立即可用。

  對于高清監控系統,隨著監控前端的增加和存儲時間的延長,擴展能力十分重要。市場中已有友商可提供單純針對容量的擴展柜擴展模式和性能容量同步線性擴展的堆疊擴展模式。

  云存儲系統除上述優點之外,在平臺對接整合、業務流程梳理、視頻數據智能分析深度挖掘及成本方面都將面臨挑戰。承建大型系統、構建云存儲的商業模式也亟待創新。受限于寬帶網絡、web2.0技術、應用存儲技術、文件系統、P2P、數據壓縮、CDN技術、虛擬化技術等的發展,未來云存儲還有很長的路要走。


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。
亚洲一区二区欧美_亚洲丝袜一区_99re亚洲国产精品_日韩亚洲一区二区
亚洲欧洲日韩综合二区| 日韩一级免费| 欧美无砖砖区免费| 免费试看一区| 久久久久99精品国产片| 亚洲欧美日韩国产综合精品二区 | 亚洲一区二区三区精品在线观看| 亚洲激情自拍| 亚洲电影天堂av| 在线观看一区欧美| 136国产福利精品导航网址| 狠狠色狠狠色综合日日tαg| 激情偷拍久久| 在线成人av.com| 亚洲成人在线视频播放| 在线成人国产| 亚洲娇小video精品| 91久久线看在观草草青青| 亚洲人成网站999久久久综合| 亚洲高清精品中出| 亚洲国产精品久久久久秋霞影院 | 久久精品动漫| 久久免费黄色| 嫩草成人www欧美| 欧美夫妇交换俱乐部在线观看| 欧美大片专区| 欧美国产综合视频| 欧美日韩成人在线播放| 欧美视频精品在线| 国产精品日韩在线| 国产日韩欧美高清| 激情懂色av一区av二区av| 在线日韩中文| 日韩视频中文字幕| 亚洲线精品一区二区三区八戒| 亚洲一区二区伦理| 欧美亚洲一级片| 亚洲国产成人午夜在线一区| 亚洲免费激情| 亚洲综合精品一区二区| 欧美伊人久久| 久久综合九色综合久99| 欧美另类久久久品| 国产精品女人久久久久久| 国产一区日韩二区欧美三区| 亚洲高清免费| 中文国产亚洲喷潮| 性欧美长视频| 亚洲美女视频| 午夜精品久久久久久久蜜桃app| 久久成人亚洲| 欧美激情综合网| 国产精品久久久久久久久久ktv| 国产日韩精品综合网站| 最近中文字幕日韩精品| 亚洲嫩草精品久久| 亚洲精品久久久久久一区二区| 亚洲一级在线| 久久一区免费| 欧美午夜片在线免费观看| 国产一区二区视频在线观看| 亚洲日本一区二区三区| 午夜精品偷拍| 一区二区欧美亚洲| 久久久无码精品亚洲日韩按摩| 欧美激情精品久久久| 国产精品婷婷| 亚洲日本成人网| 欧美在线视频导航| 亚洲婷婷综合色高清在线| 久久久www成人免费毛片麻豆| 欧美日韩国产三级| 黄色成人免费网站| 亚洲系列中文字幕| 日韩一级精品视频在线观看| 久久国产手机看片| 欧美日韩一级大片网址| 激情av一区二区| 亚洲男同1069视频| 久久视频免费观看| 麻豆精品精华液| 国产精品日日摸夜夜添夜夜av| 1024欧美极品| 香蕉久久a毛片| 亚洲视频一区| 欧美高清在线精品一区| 国产亚洲一区二区三区在线播放| 99www免费人成精品| 亚洲国产黄色| 欧美在线免费一级片| 欧美三日本三级少妇三99| 亚洲国产精品成人综合色在线婷婷 | 性亚洲最疯狂xxxx高清| 欧美精品在线观看一区二区| 好看的日韩av电影| 亚洲欧美在线x视频| 亚洲一区日韩| 欧美激情在线有限公司| 亚洲电影网站| 亚洲国产精品久久久久秋霞蜜臀| 欧美伊人久久大香线蕉综合69| 欧美日韩天天操| 亚洲日本国产| 亚洲精品午夜精品| 美女国产一区| 精品999日本| 欧美一区亚洲二区| 欧美在线播放| 国产精品亚洲一区二区三区在线| 99视频精品在线| 一区二区三区国产精华| 欧美va天堂在线| 在线观看视频一区二区欧美日韩 | 亚洲欧美春色| 欧美视频在线观看 亚洲欧| 亚洲国产精品电影| 亚洲欧洲日本国产| 六月婷婷久久| 激情成人中文字幕| 亚洲大胆美女视频| 久久婷婷国产综合精品青草| 国产亚洲二区| 久久狠狠婷婷| 久久久亚洲高清| 国产三级欧美三级日产三级99| 亚洲天堂激情| 亚洲综合另类| 国产精品www| 一区二区三区四区国产| 亚洲欧美国产高清| 国产精品美女久久久久久久 | 欧美成人黄色小视频| 在线观看欧美| 亚洲精品欧美日韩专区| 欧美承认网站| 亚洲激情视频网| 日韩一级欧洲| 欧美日本精品| 亚洲午夜精品网| 校园春色综合网| 国产人成精品一区二区三| 亚洲欧美日韩在线不卡| 欧美一区二区私人影院日本 | 亚洲综合二区| 国产精品网站在线播放| 亚洲曰本av电影| 欧美在线观看日本一区| 黑人操亚洲美女惩罚| 91久久国产综合久久| 欧美精品日韩一本| 一区二区三区导航| 欧美亚洲在线播放| 国语自产在线不卡| av成人天堂| 欧美性做爰猛烈叫床潮| 亚洲欧美怡红院| 久久综合一区二区三区| 91久久线看在观草草青青| 亚洲婷婷综合久久一本伊一区| 国产精品一区毛片| 亚洲第一区在线| 欧美喷潮久久久xxxxx| 中国成人在线视频| 久久福利毛片| 在线观看视频一区| 亚洲婷婷综合色高清在线| 国产毛片精品国产一区二区三区| 亚洲电影毛片| 欧美日韩免费视频| 午夜亚洲一区| 欧美成人免费小视频| 一区二区三区视频在线 | 久久精品国产一区二区三| 亚洲高清在线播放| 亚洲一区二区三区免费观看| 国产丝袜美腿一区二区三区| 91久久午夜| 国产精品视频午夜| 亚洲国产美女精品久久久久∴| 欧美日韩一区二区三区免费| 欧美一级午夜免费电影| 欧美日本韩国| 久久成人免费视频| 欧美日韩在线播放一区二区| 欧美在线黄色| 欧美三级午夜理伦三级中文幕 | 国产自产高清不卡| 日韩一级在线| 国产伊人精品| 亚洲性感美女99在线| 在线观看视频一区二区| 亚洲欧美日韩国产综合在线| 一区在线视频观看| 亚洲免费视频一区二区| 在线成人亚洲| 欧美中文在线免费| 99精品国产在热久久| 免费不卡中文字幕视频| 亚洲一区二区成人在线观看| 欧美激情免费在线|