# AI 軟體概覽與架構 Qualcomm^®^ Linux AI 軟體使您得以在高通的硬體加速器 (例如神經處理單元 (NPU)、圖形處理單元 (GPU) 和中央處理器 (CPU) ) 上，以最佳方式部署預先訓練的深度學習模型。Qualcomm Linux 包含軟體開發套件 (SDK)、API、範例應用程式、開發工具和第三方框架支援，例如 GStreamer 與 TFLite，以利應用程式的開發。 多媒體 AI 應用程式使用 Qualcomm IM SDK GStreamer 外掛程式 API，以充分發揮 Qualcomm AI Runtime SDK API 的功能，這些介面可為各種 AI 使用案例提供低階硬體加速，如下圖所示： Page-1 Sheet.1313 Sheet.1218 Hardware Hardware Sheet.1219 AI SDKs AI SDKs Sheet.1220 Qualcomm IMSDK Gstreamer plugins Qualcomm IMSDK Gstreamer plugins Sheet.1221 AI applications AI applications Sheet.1222 Qualcomm® Neural Processing Engine plugin (qtimlsnpe) Qualcomm® Neural Processing Engine plugin (qtimlsnpe) Sheet.1223 Qualcomm AI Runtime SDK Qualcomm AI Runtime SDK Sheet.1224 Qualcomm® AI Engine Direct plugin (qtimlqnn) Qualcomm® AI Engine Direct plugin (qtimlqnn) Sheet.1225 TensorFlow Lite plugin (qtimltflite) TensorFlow Lite plugin (qtimltflite) Sheet.1226 NPU (DSP/HMX/HTP) NPU (DSP/HMX/HTP) Sheet.1227 GPU GPU Sheet.1228 CPU CPU Sheet.1229 Sheet.1230 Sheet.1231 Sheet.1234 Sheet.1235 Sheet.1240 TFLite Delegate TFLite Delegate Sheet.1314 Third-party Third-party Sheet.1315 Hardware Hardware Rectangle.69 Sheet.1320 Qualcomm Qualcomm Rectangle.1321 Rectangle.1322 **Qualcomm Linux AI 堆疊的頂層 AI 硬體和軟體區塊** Qualcomm Linux AI 軟體的關鍵組件如下： - [AI 應用程式](https://docs.qualcomm.com/doc/80-70023-15TC/topic/sample-apps.html) ：基於 GStreamer 的範例應用程式，可供 [自訂](https://docs.qualcomm.com/doc/80-70023-15B/topic/customize-reference-app.html)。 - [GStreamer 外掛程式](https://docs.qualcomm.com/doc/80-70023-50/topic/gst-plugin-architecture.html) ：Qualcomm Linux 軟體提供基於 GStreamer 的機器學習外掛程式，其使用 LiteRT 和 Qualcomm AI Runtime SDK 等工具以加速 AI 推理，另搭配 GStreamer 外掛程式以進行預處理和後處理。 - [Qualcomm AI Runtime SDK (QAIRT)](https://docs.qualcomm.com/doc/80-63442-10/) ：QAIRT 提供工具與函式庫，以便在多個硬體加速器上以最佳方式加速 AI 模型。 - 高通的系統單晶片 (SoC) 提供三個用於處理 AI 負載的硬體核心。 - [神經處理單元 (NPU)](https://docs.qualcomm.com/doc/80-70023-15B/topic/run-models.html) ：NPU，亦稱為 Qualcomm® Hexagon™ Tensor 處理器 (HTP) 或 DSP/HMX，適用於以低功耗、高效能的方式執行 AI 工作負載。為了優化效能，請將預先訓練的模型依照所支援的其中一種精度進行量化。 - [圖形處理單元 (GPU)](https://docs.qualcomm.com/doc/80-70023-15B/topic/run-models.html) ：Qualcomm® Adreno™ GPU 適用於以中等功耗、中等效能的方式執行 AI 工作負載。AI 工作負載透過 OpenCL 核心獲得加速。您也可使用 GPU 加速模型的預處理和後處理。 - [中央處理器 (CPU)](https://docs.qualcomm.com/doc/80-70023-15B/topic/run-models.html) ：您可藉由 CPU 上的 AI 推理，衡量模型的準確度或效能，並與其他硬體加速器進行比較。您也可利用 CPU 執行模型的預處理和後處理。 ## 架構 下圖顯示可供使用的 AI 執行階段，例如 ONNX 和 LiteRT 的執行階段；可供使用的硬體加速器，例如 NPU 、 GPU 和 CPU ；以及各加速器所對應的後端函式庫。 ai-arch Sheet.61 Sheet.38 Sheet.1 Backend libraries Backend libraries Sheet.4 Sheet.5 Qualcomm AI Runtime API Qualcomm AIRuntime API Sheet.6 Kernels Kernels Sheet.7 OpenCL OpenCL Sheet.9 Sheet.10 Qualcomm AI Runtime API Qualcomm AIRuntime API Sheet.11 QML QML Sheet.12 Neon Neon Sheet.14 Sheet.15 Qualcomm AI Runtime API Qualcomm AIRuntime API Sheet.16 HTP core HTP core Sheet.17 HMX/HVX HMX/HVX Sheet.18 Hardware IP cores Hardware IP cores Sheet.19 NPU (DSP/HMX/HTP) NPU (DSP/HMX/HTP) Sheet.20 GPU GPU Sheet.21 CPU CPU Sheet.35 Sheet.27 TensorFlow TensorFlow Sheet.28 LiteRT LiteRT Sheet.29 ONNX ONNX Sheet.30 PyTorch PyTorch Sheet.31 .pb .pb Sheet.32 .tflite .tflite Sheet.33 .onnx .onnx Sheet.34 .ts .ts Sheet.36 Sheet.37 Sheet.39 Sheet.40 Sheet.47 QTI QTI Sheet.48 Hardware Hardware Sheet.49 OSS OSS Sheet.56 Third-party Third-party Sheet.22 ML runtime frameworks, applications ML runtime frameworks, applications Sheet.52 Qualcomm AI Runtime SDK Qualcomm AI RuntimeSDK Sheet.53 LiteRT LiteRT Sheet.54 ONNX RT ONNX RT Sheet.55 Other ML frameworks OtherMLframeworks Sheet.59 ### AI 硬體加速器 您可使用下列硬體核心加速 AI 工作流程： - Qualcomm^®^ Hexagon™ Tensor 處理器 (HTP)：HTP，亦稱為 NPU、DSP 或 HMX，適用於以低功耗、高效能的方式執行 AI 工作負載。為了優化效能，請將預先訓練的模型依照所支援的其中一種精度進行量化。 - Qualcomm^®^ Adreno™ GPU：適用於以中等功耗、中等效能的方式執行 AI 工作負載。AI 工作負載透過 OpenCL 核心獲得加速。您也可使用 GPU 加速模型的預處理和後處理。 - Qualcomm^®^ Kryo™ CPU：您可藉由 CPU 上的 AI 推理，衡量模型的準確度及效能，並與其他硬體加速器進行比較。您也可利用 CPU 執行模型的預處理和後處理。 ### AI 軟體 請從下列軟體中進行選擇，以部署 AI 工作負載。除了 TFLite 模型外，您都必須使用 SDK 將預先訓練的模型轉換為可執行格式，才能加以執行。預先訓練的模型 (LiteRT 模型除外) 必須以所選取的 AI 堆疊 SDK 轉換為可執行格式後，才能執行。TFLite Delegate 讓您可直接執行 LiteRT 模型。 - [Qualcomm AI Runtime SDK (QAIRT)](https://docs.qualcomm.com/doc/80-63442-10/) ：QAIRT SDK 是一款將 Qualcomm AI 工具 (包括 AI Engine Direct 和 Neural Processing SDK) 整合在一起的統一軟體套件。它一方面使開發人員得以將 AI 模型移植及部署至高通的硬體加速器 (CPU、GPU、NPU)，另一方面則支援 TensorFlow、PyTorch、LiteRT 和 ONNX 等主流框架，以便在多個 Qualcomm 平台上執行。 - [AI 模型效率工具包 (AIMET)](https://quic.github.io/aimet-pages/releases/latest/index.html) ：開源庫可優化（壓縮及量化）受過訓練的神經網路模型。這是一個設計用於產生優化量化模型的複雜 SDK。 ## 下一步 - [AI Hub](https://aihub.qualcomm.com/get-started) - [Qualcomm AI Model Efficiency Toolkit](https://quic.github.io/aimet-pages/releases/latest/index.html) - [Qualcomm AI Runtime SDK](https://docs.qualcomm.com/doc/80-63442-10/) - [Qualcomm 智慧多媒體 SDK](https://docs.qualcomm.com/doc/80-70023-50/topic/example-applications.html) Last Published: Feb 23, 2026 [Previous Topic AI/ML 文件](https://docs.qualcomm.com/bundle/publicresource/80-70023-15TC/topics/home.md) [Next Topic GStreamer ML 外掛程式與 AI SDK API](https://docs.qualcomm.com/bundle/publicresource/80-70023-15TC/topics/interfaces.md)