# AI 軟體概覽與架構
Qualcomm^®^ Linux AI 軟體使您得以在高通的硬體加速器 (例如神經處理單元 (NPU)、圖形處理單元 (GPU) 和中央處理器 (CPU) ) 上，以最佳方式部署預先訓練的深度學習模型。Qualcomm Linux 包含軟體開發套件 (SDK)、API、範例應用程式、開發工具和第三方框架支援，例如 GStreamer 與 TFLite，以利應用程式的開發。
多媒體 AI 應用程式使用 Qualcomm IM SDK GStreamer 外掛程式 API，以充分發揮 Qualcomm AI Engine Direct 和 Qualcomm Neural Processing Engine API 的功能，這些介面可為各種 AI 使用案例提供低階硬體加速，如下圖所示：
**Qualcomm Linux AI 堆疊的頂層 AI 硬體和軟體區塊**
Qualcomm Linux AI 軟體的關鍵組件如下：
- [AI 應用程式](https://docs.qualcomm.com/doc/80-70022-15TC/topic/sample-apps.html) ：基於 GStreamer 的範例應用程式，可供 [自訂](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/customize-reference-app.html)。
- [GStreamer 外掛程式](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-50/gst-plugin-architecture.html) ：Qualcomm Linux 軟體提供基於 GStreamer 的機器學習外掛程式，其使用 TFLite 和 Qualcomm^®^ Neural Processing Engine SDK 等工具以加速 AI 推理，另搭配 GStreamer 外掛程式以進行預處理和後處理。
- Qualcomm AI 軟體包含兩個用於加速 AI 工作負載的 SDK。[Qualcomm Neural Processing Engine SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2/) 和 [Qualcomm AI Engine Direct](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/) 提供工具和函式庫，以便以最佳方式加速多個硬體加速器上的 AI 模型。
- 高通的 系統單晶片 (SoC) 提供三個用於處理 AI 負載的硬體核心。
- [神經處理單元 (NPU)](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/run-models.html) ：NPU，亦稱為 Qualcomm® Hexagon™ Tensor 處理器 (HTP) 或 DSP/HMX，適用於以低功耗、高效能的方式執行 AI 工作負載。為了優化效能，請將預先訓練的模型依照所支援的其中一種精度進行量化。
- [圖形處理單元 (GPU)](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/run-models.html) ：Qualcomm® Adreno™ GPU 適用於以中等功耗、中等效能的方式執行 AI 工作負載。AI 工作負載透過 OpenCL 核心獲得加速。您也可使用 GPU 加速模型的預處理和後處理。
- [中央處理器 (CPU)](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/run-models.html) ：您可藉由 CPU 上的 AI 推理，衡量模型的準確度或效能，並與其他硬體加速器進行比較。您也可利用 CPU 執行模型的預處理和後處理。
## 架構
下圖顯示可供使用的 AI 執行階段，例如 ONNX 和 LiteRT 的執行階段；可供使用的硬體加速器，例如 neural Processing Unit (NPU) 、 graphics Processing Unit (GPU) 和 central Processing Unit (CPU) ；以及各加速器所對應的後端函式庫。
### AI 硬體加速器
您可使用下列硬體核心加速 AI 工作流程：
- Qualcomm^®^ Hexagon™ Tensor 處理器 (HTP)：HTP，亦稱為 NPU、DSP 或 HMX，適用於以低功耗、高效能的方式執行 AI 工作負載。為了優化效能，請將預先訓練的模型依照所支援的其中一種精度進行量化。
- Qualcomm^®^ Adreno™ GPU：適用於以中等功耗、中等效能的方式執行 AI 工作負載。AI 工作負載透過 OpenCL 核心獲得加速。您也可使用 GPU 加速模型的預處理和後處理。
- Qualcomm^®^ Kryo™ CPU：您可藉由 CPU 上的 AI 推理，衡量模型的準確度及效能，並與其他硬體加速器進行比較。您也可利用 CPU 執行模型的預處理和後處理。
### AI 軟體
請從下列軟體中進行選擇，以部署 AI 工作負載。除了 TFLite 模型外，您都必須使用 SDK 將預先訓練的模型轉換為可執行格式，才能加以執行。預先訓練的模型 (LiteRT 模型除外) 必須以所選取的 AI 堆疊 SDK 轉換為可執行格式後，才能執行。TFLite Delegate 讓您可直接執行 LiteRT 模型。
- [Qualcomm Neural Processing Engine (SNPE)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2) ：這組一體化的 SDK 提供 C、C++ 和 Java API 以支援異構計算、系統級配置，以及將 AI 工作負載直接導向所有加速器核心。為您提供靈活性，例如核心間協作支援。
- [Qualcomm AI Engine Direct (QNN)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50) ：這些低階、高度可自訂的統一 API 使用各自獨立的函式庫，可加速所有 AI 加速器核心上的 AI 模型。您可使用它們直接鎖定特定的加速器核心，或從主流執行階段 (包括 Qualcomm Neural Processing Engine SDK、LiteRT (原名為 TensorFlow Lite) 和 ONNX 的執行階段) 委派工作負載。低階 SDK 提供更多功能和除錯能力。
- [AI 模型效率工具包 (AIMET)](https://quic.github.io/aimet-pages/releases/latest/index.html) ：開源庫可優化（壓縮及量化）受過訓練的神經網路模型。這是一個設計用於產生優化量化模型的複雜 SDK。
## 下一步
- [AI Hub](https://aihub.qualcomm.com/get-started)
- [Qualcomm AI Model Efficiency Toolkit](https://quic.github.io/aimet-pages/releases/latest/index.html)
- [Qualcomm Neural Processing Engine](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2/)
- [Qualcomm AI Engine Direct](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/)
- [AI Engine Direct：TFLite Delegate](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/tflite_delegate.html)
- [Qualcomm Intelligent Multimedia SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-50/example-applications.html)
Last Published: Jan 04, 2026
[Previous Topic
AI/ML 文件](https://docs.qualcomm.com/bundle/publicresource/80-70022-15TC/topics/home.md) [Next Topic
GStreamer ML 外掛程式與 AI SDK API](https://docs.qualcomm.com/bundle/publicresource/80-70022-15TC/topics/interfaces.md)