tify;"> 如果嵌入式處理器供貨商沒有合適的工具和軟件，設計節能的邊緣人工智能 （AI） 系統，同時加快上市時間可能會變得窒礙難行。挑戰包括選擇正確的深度學習模型、訓練和優化模型以實現性能和準確度目標，以及學習用于在嵌入式邊緣處理器上部署模型的專有工具。
從模型選擇到處理器部署，TI 提供免費工具、軟件和服務，協助完成深度神經網絡 （DNN） 開發工作流程的每一個步驟。逐步選擇模型、隨處訓練模型，并無縫部署到 TI 處理器上，完全不需要任何手工制作或手動程序設計，藉以進行軟件加速推論。
步驟 1：選擇模型
邊緣 AI 系統開發的首要任務是選擇正確的 DNN 模型，同時考慮系統的性能、準確度和功率目標。和 GitHub 上的 TI 邊緣 AI 模型庫等工具有助于您加速這個過程。
這個模型庫是 TensorFlow、PyTorch 和 MXNet 框架常用開放原始碼深度學習模型的大型集合。這些模型在公共數據集上進行預先訓練，并經過優化，可在 TI 處理器上有效運作而實現邊緣 AI。TI 會定期使用來自開放原始碼社群的最新模型以及 TI 設計的模型更新模型庫，提供最多樣化的性能和精準的優化模型。
藉由模型庫中的數百個模型，TI 模型選擇工具 （如圖一所示） 可以協助快速檢視和比較推論處理量、延遲、準確度和雙倍數據速率帶寬，完全不需要撰寫任何程序代碼。
本文引用地址：http://www.eepw.com.cn/article/202202/431510.htm
圖一 : TI 模型選擇工具
步驟 2：訓練和調整模型
選擇模型后，下一個步驟是訓練或優化模型，藉以在 TI 處理器上實現最佳性能和準確度。運用我們的軟件架構和開發環境可以隨處訓練模型。
從 TI 模型庫中選擇模型時，訓練腳本可以根據特定任務的自定義數據集快速傳輸和訓練模型，完全不需要從頭開始進行長時間的訓練或手工制作模型。對于自己的 DNN 模型，訓練腳本、框架擴展和量化感知訓練工具有助于優化模型。
步驟 3：評估模型性能
在開發邊緣 AI 應用之前，需要在實際軟件上評估模型性能。
使用 TensorFlow Lite、ONNX RunTime 或 TVM 以及 SageMaker Neo with Neo AI DLR 運行時間引擎的最常用業界標準 Python 或 C++ 應用程序設計界面 （API），只需要幾行程序代碼，TI 的彈性軟件架構和開發環境即可隨處訓練自己的模型，并且編譯模型再部署到 TI 硬件。在這些業界標準運行時間引擎的后端， TI 深度學習 （TIDL） 模型編譯和運行時間工具可以為 TI 軟件編譯模型、將編譯后的圖形或子圖形部署到深度學習軟件加速器上，并獲得優化推論處理器的性能，完全不需要任何手動操作。
在編譯步驟中，訓練后量化工具可以將浮點模型自動轉換為定點模型。這組工具透過配置文件進行層級混合精度量化 （8 位和 16 位），達到調整模型編譯的絕佳彈性，藉以展現最佳性能和準確度。
各種常用模型的操作不盡相同。TI 邊緣 AI 基準檢驗工具 也位于 GitHub 上，有助于您將 DNN 模型功能與 TI 模型庫中的模型無縫搭配，并做為自定義模型的參考。
有兩種方法可以在 TI 處理器上評估模型性能：TDA4VM 入門套件評估模塊 （EVM） 或TI Edge AI Cloud，這是免費的在線服務，支持遠程訪問 TDA4VM EVM 評估深度學習推論性能。用于不同任務和運行時間引擎組合的多個范例腳本可以在不到五分鐘的時間內在 TI 軟件上進行加速推論的程序設計、部署和執行，同時收集基準。
步驟 4：開發邊緣 AI 應用
使用開放原始碼 Linux 和業界標準 API能夠將模型部署到 TI 軟件上。不過，將深度學習模型部署到軟件加速器上只是其中的一部分。
為了協助快速建構高效率的邊緣 AI 應用，TI 采用 GStreamer 框架。GStreamer 插件可以將計算密集型任務的端對端訊號鏈自動加速到軟件加速器和數字訊號處理核心上。
圖二 顯示邊緣 AI 的 Processor SDK with Linux 有關的軟件堆棧和組件。
圖二 : 邊緣 AI 的 Processor SDK with Linux 組件
結論
即使不是 AI 專家，亦可開發和部署 AI 模型或建構 AI 應用。TI Edge AI Academy有助于在進行測驗的自定進度課堂式環境中學習 AI 基礎知識，并了解 AI 系統和軟件程序設計。實驗室提供建構「Hello, World」人工智能應用的逐步程序代碼，而具有攝影機拍攝和顯示的端對端進階應用程序，可按照自己的步調成功開發人工智能應用。
（本文作者Manisha Agrawal任職于德州儀器)
