機載超寬帶合成孔徑雷達(UWB SAR)具有穿透葉簇和淺地表對隱蔽目標探測成像的能力，其軍事應用潛力巨大，是未來雷達的一個發展方向。但是UWB SAR回波的數據量達到數百萬字節，同時成像所需的運算量達到數GFLOPS[1]。單片DSP的處理能力明顯不足，所以采用多片高性能的DSP共同完成任務，而如何實現多片DSP間互聯通信又成為一大難點。本文DSP選用的是ADI公司的ADSP-TS201，但由于TS201鏈路口的數目有限，無法使所有DSP都直接通過鏈路口相連，所以需要配合其他的方法來解決DSP間的通信問題。參考文獻[2]介紹了如何在8片TS201和1片FPGA組成的系統中用FPGA實現8片DSP的互訪。該設計中，訪問是基于4字命令包，通過讀寫、設備狀態、目的地址和源地址以及優先級等的判斷，完成DSP之間的互訪；FPGA和DSP通過總線的方式連接；FPGA完成原始回波數據流的轉發。其缺點是，通信協議復雜，必須不停地修改命令包；訪問有固定的優先級，有時會很慢，效率低；用總線的方式連接容易產生競爭。
    針對以上問題，本文提出了一種在8片DSP和2片FPGA構成的系統中通過FPGA實現DSP之間廣播通信的方案。由于該系統特殊的拓撲結構，原始回波數據流的轉發已確定為通過TS201的鏈路口完成，而控制數據流和運動測量參數的轉發以及對DSP程序運行的監控卻成為一大瓶頸。為此，本文設計了在其中的一片FPGA內實現多DSP間有效互聯的方案。
1 系統結構
    本系統中的信號處理板主要用于UWB SAR的實時成像數據處理，DSP與FPGA的連接示意圖如圖1所示。DSP2~DSP7主要處理回波數據流，成像數據處理需要兩塊這樣的板子：一塊做距離向處理，另一塊做方位向處理。FPGA2的主要任務：(1)方便主機通過CPCI總線對DSP進行程序的加載、程序運行的監控、數據的讀寫和實時運算結果的顯示；(2)在飛行過程中，當飛行的速度、天線的姿態、工作模式等參數改變時，可以方便及時地將參數信息廣播到DSP中。該處理板的具體結構以及各模塊的功能可參見參考文獻[3]。本文的關鍵是如何通過FPGA2實現DSP2~DSP7之間的互聯通信。由于DSP2與DSP5、DSP3與DSP6、DSP4與DSP7已經通過鏈路口兩兩相連，所以它們之間的通信不再需要經FPGA2的轉發，故需要與上述6片DSP中某片DSP通過FPGA2實現通信的DSP只有4片，例如對于DSP2，需要通過FPGA2與其通信的4片DSP為DSP3、DSP4、DSP6、DSP7。

    TS201是目前業界公認的高性能DSP處理器之一，有著很高的數據處理速度。FPGA2選擇Xilinx公司的XC4VLX25，該類型的FPGA比較適合邏輯控制和做數據接口。TS201共有4個鏈路口，都采用LVDS(Low Voltage Differential Signaling)技術；每個鏈路口包含發送和接收兩個獨立的通道，每個通道都有4對差分數據線、1對差分時鐘、2個控制信號，共24根線；鏈路口在每個通道（發送或接收）都可以通過1 bit或者4 bit模式進行數據通信，本文采用4位通信模式[4]。
2 多DSP數據流高效廣播設計
    本設計的總體框圖如圖2所示。對每片DSP，FPGA都有一對完全一樣的接收和發送模塊，DSP鏈路口發送來的差分數據依次經過IBUFDS模塊和IDDR模塊，最后暫存于RAM中。在多個狀態機的控制調度下，一次或多次將數據從RAM中讀出，然后發送到相應的發送模塊。要發送的數據先暫存于FIFO中，然后依次經過ODDR模塊和OBUFDS模塊發送到對應的DSP中。

    設計的最大難點在于如何實現數據的正確調度而不出現錯發或漏發現象，特別是當一片DSP向其他所有DSP廣播數據和其他所有DSP同時向一片DSP發送數據時，不出現錯發或漏發現象。
2.1 數據接收、發送模塊的設計
    要在FPGA中實現多DSP的互聯通信網絡，首先必須使FPGA和DSP可以正確地互相收發數據。由于TS201的鏈路口有自己的通信協議，所以只要在FPGA中編程實現TS201的鏈路口通信協議，就可以實現FPGA與TS201之間的雙向通信。TS201的具體通信協議，可參見參考文獻[4]。
2.1.1 接收模塊
    FPGA接收模塊如圖3所示。在接收模塊中，先將差分數據和差分時鐘分別通過IBUFDS模塊轉換為單端的數據和單端時鐘[5]；再將該單端數據分別送入到4個IDDR，單端時鐘經過BUFG模塊后輸出的bufg_clkout作為IDDR的驅動時鐘；最后將IDDR模塊輸出的完整8 bit數據存儲在輸入輸出寬度為8 bit的雙端口RAM中。塊發送完畢，信號bcmpi延遲一個周期后和bufg_clkout一起經過一個時鐘選擇器后輸出時鐘mux_clkout作為RAM的寫驅動時鐘。這樣，可以保證寫入RAM的數據深度正好是DSP的發送數據長度，而不再需要去考慮數據寫入深度控制的問題。

2.1.2 發送模塊
      FPGA接收模塊如圖4所示。在發送模塊中，要發送的數據先存于輸入輸出寬度為8 bit的FIFO中，再將FIFO的輸出數據依次經過4個ODDR和4個OBUFDS，最后得到差分輸出數據。在控制模塊CONTROL中，當數據全部寫入FIFO、acki有效且FIFO不空時，FIFO讀使能rd_en和clkoe信號有效。將clkoe作為ODDR的正極輸入（負極始終為低電平）得到發送時鐘[5]，再經 OBUFDS得到差分輸出時鐘。在控制模塊CONTROL中同時會給出塊發送完畢信號bcmpo。
    在Virtex4中提供了強大的數字時鐘管理器（DCM），它可以實現延遲鎖相環、數字頻率合成器、數字移相、數字擴頻等功能。本文用到兩個DCM，其中一個作為倍頻器，將FPGA中的系統時鐘從60 MHz倍頻到150 MHz；另外一個作為移相器，將倍頻后的時鐘移相90°，從而得到需要的0°時鐘clk_0_150 MHz和90°時鐘clk_90_150 MHz(見圖4)。
2.2 數據調度狀態機的設計
    若只完成接收模塊和發送模塊的設計，則只能實現FPGA與DSP的點對點通信，還不能實現多片DSP之間的互聯通信，所以還需要有一個數據的合理調度過程。
2.2.1 DSP數據報頭
    為了使數據調度變得容易，本設計定義了DSP發送數據報頭，如圖5所示。位0~7表示信宿，位0為1，表示該數據塊請求發送到CPCI自定義接口，用于板間通信；位1為1，表示請求發送到9656；位2~7為1，分別表示請求發送到DSP2~DSP7；若為0，則表示不發送到任何器件。位8、9、10表示信源，000表示信源為CPCI自定義接口，001表示信源為9656，010~111分別表示信源為DSP2~DSP7；位11~31暫時保留，為以后擴展功能時使用。

    當FPGA接收到來自于DSP的數據時，首先要將該數據塊的前8 bit提取出來，用以確定目的DSP，并將該8 bit數據稱之為請求發送信號require。
2.2.2 應答請求信號狀態機
    在2.2.1節中，提取數據報頭的前8 bit，得到一個8 bit require信號。在FPGA的程序中，對應每片DSP本文都設計有一個這樣的狀態機，用于對其他DSP送來的require信號進行判斷，然后給出相應的應答信號allow，表示允許發送，其狀態轉移圖如圖6(a)所示。該狀態機基于令牌和輪詢的思想，并遵循以下原則：
    (1)按照require1~require4依次輪詢，發現滿足條件的則給與令牌。
    (2)令牌不能同時擁有，令牌被持有后就將令牌信息置為無效。
    (3)若令牌被持有則輪詢暫停，等待令牌被釋放，即重置為有效。
    (4)當塊發送完畢信號、bcmpo信號為低電平時，釋放令牌。
    (5)令牌被釋放后則繼續輪詢尚未持有令牌的，如是重復。
    需要說明的是，當bcmpo為低時雖然也表示數據塊發送完畢，但低電平只維持4個周期，而且當有多片DSP向其中一片DSP發送數據時，bcmpo會被多次拉低來指示某片DSP需要發送的數據已經發送完畢。所以與鏈路口協議中的bcmpo已經不是一回事了，只是重名而已。本設計的令牌為avail。
2.2.3 RAM讀地址狀態機
    在FPGA的程序中，對應每片DSP本文也有另外一個狀態機，用于對送來的allow信號進行判斷，給出相對應的RAM的讀地址addrb和FIFO準寫信號wr_en，其狀態轉移圖如圖6（b）所示。所遵循的原則與2.2.2的狀態機幾乎一樣。不同的地方在于：
    (1)當對應bcmpi為低電平時，信號ram_rd_en為高（即DSP數據發送完了才能從RAM中讀出數據），狀態機開始工作。
    (2)令牌為flag_tx_achiv信號，addrb等于DSP發送數據深度M時(即在RAM中的數據完全讀出后)，釋放令牌。
    (3)只有持有令牌期間，對應的信號addrb開始累加，wr_en為高電平。

2.2.4 FIFO寫使能和輸入數據
    對應每片DSP都有這樣一個模塊，用于將輸入的成對信號wr_en和RAM的輸出數據ram_dout作出判斷，得到FPGA發送模塊中FIFO寫使能和輸入數據。由于前面狀態機控制的結果，這里輸入到模塊（與某片DSP相對應）的4個wr_en信號不可能同時為高，所以當某個wr_en為高時，FIFO的寫使能有效，同時將與其成對的數據ram_dout作為FIFO的輸入數據；當wr_en都為低時，FIFO的寫使能無效。
3 實驗結果
    將用Verilog HDL語言編寫的設計程序經過綜合、布局布線、產生位數據流，最后下載到FPGA芯片（XC4VLX25）中；將TS201鏈路口的接收和發送程序下載到相應DSP中。在DSP的配合以及在調試工具Xilinx ISE12.2中內嵌的邏輯分析儀ChipScope的幫助下，實現了DSP之間的廣播通信（即DSP之間一對一、一對多以及多對多的廣播通信），其數據傳輸都可靠。該設計目前要求發送數據長度固定，數據單向吞吐率可達150 MB/s，雙向可達300 MB/s。
    本文提出的基于鏈路口及FPGA實現多DSP系統的數據流高效廣播的方法，經過驗證是完全可行的，且數據傳輸可靠。要完成更多DSP間的廣播通信，只需增加狀態機的狀態個數，而且可擴展性好，很容易擴展到更多DSP的高效廣播通信中。該類型通信方案經過適當的優化，也可以完成大量的原始回波數據流的轉發。在后續的工作中，將完成CPCI自定義接口以及9656與FPGA2之間的通信，并在DSP的配合下，最終達到上位機與各DSP的互訪，實現控制數據流和運動測量參數實時地傳輸到各個DSP，并實現在調試時對各個DSP的實時監控。
參考文獻
[1] 李建陽，王亮，常文革，等.機載UWB SAR實時信號處理算法研究[J].國防科技大學學報，2010(1).
[2] 蘇軍海，王海亮.基于FPGA的多DSP系統通信的實現[J].電子科技，2005(12).
[3] 段巧雄，李悅麗.機載超寬帶合成孔徑雷達實時信號處理板的設計與實現[C].第十一屆雷達學術年會，2010.
[4] 劉書明，羅勇江.ADSP TS201XS系列DSP原理與應用設計[M].北京：電子工業出版社，2007.
[5] 陳春輝，黃俊，陳亞俊.利用FPGA實現與TS201的Link-Port高速數據互聯[J].信息技術，2007(3)：56-58.