??? 摘? 要: 設計并實現了一個基于IP Multicast技術的遠程數字音視頻" title="音視頻">音視頻監控系統" title="監控系統">監控系統, 提出了分布式音視頻接入和共享的解決方案, 能夠有效地節省網絡帶寬;針對視頻、音頻語音和控制數據的不同傳輸特點, 對其所采用的傳輸技術作了詳細探討,給出了具體實現方法。?
??? 關鍵詞: 監控系統? 分布式接入和共享? 網絡傳輸? IP組播" title="組播">組播? Windows套接字
?
??? 隨著計算機網絡技術、多媒體技術、計算機視覺與模式識別技術的發展,一種以數字化、智能化為特點的多媒體遠程數字監控系統應運而生,即基于IP的數字監控系統,實現了由傳統的模擬監控到數字監控質的飛躍。與傳統的模擬監控系統相比較,數字遠程監控系統幾個最主要的優勢是:可以借助網絡實現遠程監控;在遠程不同地點的分控中心或同一個分控中心可同時調看某一個或者幾個監控現場的音視頻數據,從而實現分布式的音視頻接入和音視頻數據共享,同時,可以與監控現場人員進行對講;可以對遠程監控現場的云臺" title="云臺">云臺、攝像機等外圍設備進行控制。視頻、音頻的實時、分布式傳輸及控制指令的可靠傳輸是遠程數字監控系統的一個關鍵問題。本文設計并實現了遠程數字音視頻監控系統,采用IP Multicast技術作為分布式音視頻接入和共享的解決方案,并針對視頻、音頻語音和控制數據不同的特點,對其所采用的不同傳輸技術進行了探討,給出了具體實現方法。?
1 系統的總體結構
??? 遠程監控系統一般包括三部分:前端監控現場、通信設備和后端分控中心。整個系統基于Client/Server(客戶機/服務器)模式。總體結構如圖1所示。?
?
?
??? (1)前端監控現場由監控現場主機及一些外圍設備組成。外圍設備包括攝像機、電動鏡頭、云臺、防護罩、監視器、多功能解碼器及報警器。監控現場主機運行客戶端" title="客戶端">客戶端軟件,實現視頻、音頻數據的實時采集、壓縮、解壓縮(音頻)(視頻傳輸是單向的,音頻傳輸是雙向的)及打包傳送;對壓縮的視(音)頻數據進行數字化存儲(也可在分控中心進行)。存儲方式為循環存儲、定時存儲、手動存儲及運動視頻檢測啟動存儲。接收來自分控中心的控制指令(也可在本地實施),對云臺動作(上、下、左、右及自動)電動鏡頭的三可變(光圈、焦距和聚焦)。?
??? (2)通信設備是指所采用的傳輸信道和相關設備,通信網絡為LAN及WAN。?
??? (3)后端設備由若干分控中心計算機組成。各分控計算機運行服務器端軟件,接收來自前端的壓縮視(音)頻,解壓縮、壓縮(音頻)、顯示(播放);通過網絡對前端云臺、攝像機進行控制;采用組播技術,實現分布式視頻接入和分布式視頻共享:每個分控中心主機可以同時監控多個前端,即“一點對多點”;不同分控中心也可以同時監控同一前端,即“多點對一點”。?
2 網絡傳輸模塊的設計與實現?
2.1 系統傳輸數據類型的特點及通信協議的選擇?
??? 系統傳輸數據有:控制數據,音頻、視頻數據。后端分控中心通過網絡向監控現場主機的外圍設備云臺及攝像機發送控制信號,實現云臺動作(上、下、左、右、自動)攝像機光圈、焦距及聚焦三可變,要求控制信號的傳輸準確無誤;音頻、視頻是連續媒體,數據量大,允許傳輸中存在一定的數據錯誤率及數據丟失率,但實時性要求很高。此外,在監控系統中,要實現音視頻的分布式接入和數據共享,必須進行音視頻的多點傳輸。怎樣實現上述目標?首先是通信協議的選擇,TCP/IP協議是廣泛使用的互聯網協議,其網絡模型定義了四層(即網絡接口層、網絡層、傳輸層、應用層)網絡通信協議。傳輸層包含兩個協議:傳輸控制協議(TCP)和用戶數據報協議(UDP)。IP是網際互聯協議,位于網絡層。TCP協議是面向連接的,提供可靠的流服務;UDP是無連接的,提供數據報服務;TCP采用提供確認與超時重發、滑動窗口機制等措施來保證傳輸的可靠性,正是這些措施增加了網絡的開銷。如果用TCP傳輸視(音)頻數據,大量的數據容易引起重傳,使得網絡負載增大并會加大延遲;UDP協議是最簡單的傳輸協議,不提供可靠性保證,正因為UDP協議不進行數據確認與重傳,大大提高了傳輸效率,具有高效快速的特點;IPv4定義了三種IP數據包的傳輸:單播、廣播及組播。要在系統中實現視(音)頻數據的多點傳輸,若采用單播,則同樣的音、視頻數據要發送多次,這將導致發送者負擔重、延遲長、網絡擁塞;若用廣播, 網絡中的每個站點都將接收到數據,不管該結點是否需要數據,增加了非接收者的開銷;組播是一種允許一個或多個發送者(組播源)發送單一的數據包到多個接收者(一次的、同時的)的網絡技術。組播源把數據包發送到特定組播組,而只有屬于該組播組的地址才能接收到數據包。由于無論有多少個目的地址,在整個網絡的任何一條鏈路上都只傳送單一的數據包。因此組播提高了網絡傳輸的效率,極大地節省了網絡帶寬。本系統采用組播技術實現實時音(視)頻數據的多點傳輸。組播方式只適用于UDP。綜上所述,采用TCP/IP傳輸控制信號,即信令通道;采用UDP/IP傳輸音視頻信號,即數據通道。?
??? IP組播依賴一個特殊的地址組——“多播地址”,即D類地址。范圍在224.0.0.0—239.255.255.255之間(其中224.0.0.0-224.0.0.255是被保留的地址),D類地址是動態分配和恢復的瞬態地址。組播地址只能作為信宿地址使用,而不能出現在任何信源地址中。每一個組播組對應于動態分配的一個D類地址。組播的特點:組播組的成員是動態的,主機可以在任何時間加入或離開組播組,主機組中的成員在位置上和數量上是沒有限制的。?
2.2 Windows下,IP組播的Winsock2實現?
??? Windows環境下組播通信是基于Windows Socket的。Windows Socket 提供兩種不同的IP組播的實現方法:Winsock1與Winsock2。在Windows2000平臺采用VC++6.0開發工具,在本系統中實現了基于Winsock2的組播通信編程。?
??? 發送端(前端、客戶端)實現步驟:?
??? (1)加載Winsock2庫,完成Winsock2的初始化:?
??? WSAStarup(MAKEWORD(2, 2), &wsaData);?
??? (2)建立本地套接字(UDP):?
??? m_socket=WSASocket(AF_INET,SOCK_DGRAM,IPPROTO_UDP,NULL, 0,WSA_FLAG_MULTIPOINT_C_LEAF|WSA_FLAG_MULTIPOINT_D_LEAF);?
//組播通信具有兩個層面的重要特征:控制層面和數據層面。控制層面決定一個多播組建立通信的方式,數據層面決定通信成員間數據傳輸的方式。每一個層面有兩種形式,一種是“有根的”,另一種是“無根的”;數據報IP組播在兩個層面上都是“無根”的。任一用戶發送的數據都將被傳送到組中所有其它成員。最后一個參數表明新創建的套接字在控制層面與數據層面都是“無根的”。?
??? 可以通過setsocket函數設置套接字的屬性,如允許地址重用,緩沖區是接收還是發送。?
??? m_localAddr . sin_family? =? AF_INET;?
??? m_localAddr.sin_port = m_iPort;//本地端口號?
??? m_localAddr..sin _addr. S_un.S_addr=m_uLocalIP;//本地IP地址;?
??? (3)綁定(將新創建的套節字與本地插口地址進行綁定):?
??? bind(m_socket, (PSOCKADDR)&(m_localAddr), sizeof(m_localAddr));?
??? (4)設置生存時間(即數據包最多允許路由多少個網段):?
??? WSAIoctl(m_socket,SIO_MULTICAST_SCOPE, //設置數據報生存時間;?
??? &iMcastTTL, // 生存時間大小;?
??? sizeof(iMcastTTL),NULL,0,&cbRet,NULL, NULL);?
??? (5)配置Loopback, 以決定組播數據幀是否回送:?
??? int bLoopback = FALSE; ?
??? WSAIoct(m_socket, SIO_MULTIPOINT_LOOPBACK, ?
??? //允許或禁止組播數據幀回送;?
??? &bLoopback, sizeof(bLoopback), NULL, 0, &cbRet, NULL, NULL);?
??? (6)收發數據:?
??? 在發送方(前端、客戶端)響應發送的消息函數中調用下面函數:?
??? WSASendTo(m_socket,&stWSABuf,1,&cbRet,0,(struct sockaddr*)&stDestAddr,? // 發送的目的地址;?
??? sizeof(struct(sockaddr), NULL, NULL));?
??? 在發送方(前端、客戶端)響應接收消息函數中調用下面函數:?
??? WSARecvFrom(m_socket,&stWSABuf,1, & cbRet,&Flag, (struct sockaddr*)&stSrcAddr, //源地址;?
??? &iLen, NULL, NULL);?
??? (7)將組播套接字設置為異步I/O工作模式,在該套節字上接收以事件為基礎的網絡事件通知:?
??? WSAEventSelect(m_socket, m_hNetworkEvent, //網絡事件句柄;將此套節字與該事件句柄關聯在一起;?
??? FD_WRITE|FD_READ);//??? 發生此兩個事件之一,則將m_hNetworkEvent置為有信號狀態;?
??? (8)在工作線程中設置:?
??? WSAWaitForMultipleEvent(3,//等待事件的個數;?
??? p->m_eventArray,//存放事件句柄的數組;?
??? FALSE, WSA_INFINITE, FALSE);? ?
??? (9)關閉組播套節字:?
??? closesocket(m_socket);?
??? 接收端(后端、服務器端)實現步驟:?
??? (1)—(3)與發送端(客戶端)相同;? ?
??? (4)調用WSAJLoinLeaf加入組播組:?
??? SOCKET? NetSock=WSAJoinLeaf(sock,//必須為組播標志進行創建,否則調用失敗;?
??? (PSOCKADDR)&(m_stDestAddr,//組播地址,與發送方的目的地址相同;?
??? sizeof(m_stDestAddr), NULL, NULL, NULL, NULL,?
??? JL_BOTH));//允許接收和發送;?
??? (5)與客戶端(6)相同;(6)與客戶端(7)相同;(7)與客戶端(8)相同;(8)離開組播組;closesocket(NewSock);// NewSock是調用WSAoinLeaf()返回的套節字。?
2.3 在監控系統中網絡傳輸模塊的設計?
??? 網絡傳輸模塊流程如圖2所示。?
?
?
??? 發送端(前端監控現場主機、客戶端)監控主機運行客戶端程序。在主線程中,啟動視頻、音頻兩個線程分別對視頻及音頻進行采集,放入視(音)頻緩沖區;視頻在本地回放;同時,監聽分控中心的連接請求,收到連接請求,TCP三次握手,建立TCP連接(信令通道);通過信令通道,向分控中心發送二組組播地址及端口號(對應視頻及音頻,給每個監控點分配一對組播地址及端口號),啟動視頻、音頻兩個線程;分別在視(音)頻線程中完成:利用Winsock2建立視(音)頻數據通道(UDP)(源碼前已述及);對視(音)頻進行壓縮編碼、組播發送;音頻線程接收分控中心的音頻數據包,解碼并播放;實現視頻的單向傳輸和音頻的雙向傳輸。?
??? 接收端(后端分控中心、服務器端)分控中心主機運行服務器端程序,在主線程中向前端監控現場主機發出連接請求(CALL),三次握手建立TCP連接(信令通道);后端接收到組播地址及端口號后,啟動視(音)頻兩個線程,完成;利用Winsock2建立視(音)頻數據通道(UDP),加入視(音)頻組播組,接收壓縮視(音)頻包,并解碼顯示(播放);其中音頻線程,還要完成音頻數據包的壓縮、發送;實現視頻的單向傳輸、音頻的雙向傳輸。?
??? 一個后端分控中心可同時監控12路前端視頻及音頻信號,在設計服務器端監控程序時,采用多線程技術,每建立一對前端監控主機與后端分控中心(服務器)的TCP連接,就開兩個接收線程(一個接收視頻線程;一個接收音頻線程), 視頻線程接收視頻數據包進行解壓縮及回放;音頻線程接收音頻數據包進行解壓縮及播放。對云臺及攝像機的控制指令通過信令通道傳輸。?
??? 本系統運行在Win2000平臺上,用VC++6.0開發工具開發。?
??? 在遠程數字音視頻監控系統的傳輸模塊設計中,根據音視頻數據傳輸及控制信號傳輸的特點,運用IP組播技術極大地減輕了網絡負擔,避免了資源的浪費,節省了網絡帶寬;利用TCP/IP協議設計了信令通道(TCP)和數據通道(UDP);運用Windows多線程機制實現了音視頻數據的實時、多點傳輸和控制信號的可靠傳輸,提高了程序運行的效率。在該系統的基礎上進行改造與擴展,可以應用到遠程教學、遠程醫療等多種多媒體通信;因此,遠程數字音視頻監控系統的設計和實現不僅具有監控方面的現實意義,而且對于許多應用都有借鑒和參考價值。?
參考文獻?
1 楊 磊.電視監控實用技術.北京:機械工業出版社,2002?
2 徐立新.李宗斌. IP組播技術的API編程實踐. 微型機與應用, 2002;21(6)?
3 蔣東興.Windows Sockets網絡編程設計大全. 北京:清華大學出版社,1999?
4 W Richard Stevens. TCP/IP詳解 卷1:協議.北京:機械工業出版社,?
5 王險峰. Windows環境下的多線程編程原理與應用.北京:清華大學出版社,2002?
6 David J. Kruglinski.Visual C++6.0技術內幕(第五版).北京:北京希望電子出版社, 2002