# 概述 Qualcomm^®^ Linux AI 栈允许开发者在 Qualcomm 硬件加速器（例如神经网络处理单元 (NPU)、图形处理器 (GPU) 和中央处理器 (CPU)）上最佳地部署预训练的深度学习模型。Qualcomm AI 软件产品包含软件开发包 (SDK)、API、示例应用程序、开发工具以及 GStreamer 和 TFLite 等第三方框架支持，以简化应用程序开发。 top_level_ai_hw Sheet.1 Sheet.2 Hardware 硬件 Sheet.3 AI SDKs AI SDK Sheet.4 Qualcomm IMSDK Gstreamer plugins Qualcomm IMSDK Gstreamer 插件 Sheet.5 AI applications AI 应用程序 Sheet.6 Qualcomm® Neural Processing Engine plugin (qtimlsnpe) Qualcomm® Neural Processing Engine 插件 (qtimlsnpe) Sheet.7 Qualcomm Neural Processing Engine Qualcomm Neural Processing Engine Sheet.8 Qualcomm® AI Engine Direct plugin (qtimlqnn) Qualcomm® AI Engine Direct 插件 (qtimlqnn) Sheet.9 TensorFlow Lite plugin (qtimltflite) TensorFlow Lite 插件 (qtimltflite) Sheet.10 NPU (DSP/HMX/HTP) NPU (DSP/HMX/HTP) Sheet.11 GPU GPU Sheet.12 CPU CPU Sheet.13 Sheet.14 Sheet.15 Sheet.16 Qualcomm AI Engine Direct Qualcomm AI Engine Direct Sheet.17 Sheet.18 Sheet.19 TFLite Delegate TFLite Delegate Sheet.20 Sheet.21 QTI QTI Sheet.22 Hardware 硬件 Sheet.23 Third-party 第三方 **Qualcomm Linux AI 栈的顶层 AI 硬件和软件模块** Qualcomm Linux AI 栈的关键组件包括： - **AI 应用** - 基于 Gstreamer 的示例程序，可以根据需要使用或定制。 - **GStreamer 插件** - Qualcomm Linux 软件提供基于 GStreamer 的机器学习插件，用于通过 TFLite、Qualcomm^®^ Neural Processing Engine SDK 等加速 AI 推理，以及用于预处理和后处理的 GStreamer 插件。 - **Qualcomm AI 栈**包含两个用于加速 AI 工作负载的 SDK。**Qualcomm Neural Processing Engine SDK** 和 **AI Engine Direct** 提供工具、库等，旨在多个硬件加速器上最优地加速 AI 模型。 - Qualcomm SoC 提供三种用于 AI 负载的**硬件核心**。 - **神经网络处理单元 (NPU)** - 也称为 Qualcomm® Hexagon™ Tensor Processor (HTP) 或 DSP/HMX，适合以低功耗、高性能执行 AI 工作负载。为优化性能，需要把预训练模型量化到任意一种支持的精度。 - **图形处理单元 (GPU)** - Qualcomm® Adreno™ GPU 适合执行中等功率、中等性能的 AI 工作负载。AI 工作负载可以通过 OpenCL 内核进行加速。GPU 还可用于加速模型预处理/后处理。 - **中央处理器 (CPU)** - 在 CPU 上进行 AI 推理可以用来与其他硬件加速器进行模型准确性/性能的基准测试。CPU 还可以用于运行模型的预处理/后处理。 ## 架构 Qualcomm AI 产品包括硬件加速器和 AI SDK，以充分利用硬件的强大功能。 ai_arch Sheet.1 Sheet.2 Sheet.3 Backend libraries 后端库 Sheet.4 Sheet.5 Qualcomm AI Engine Direct API Qualcomm AI Engine Direct API Sheet.6 Kernels 内核 Sheet.7 OpenCL OpenCL Sheet.8 Sheet.9 Qualcomm AI Engine Direct API Qualcomm AI Engine Direct API Sheet.10 QML QML Sheet.11 Neon Neon Sheet.12 Sheet.13 Qualcomm AI Engine Direct API Qualcomm AI Engine Direct API Sheet.14 HTP core HTP 核心 Sheet.15 HMX/HVX HMX/HVX Sheet.16 Hardware IP cores 硬件 IP 核心 Sheet.17 NPU (DSP/HMX/HTP) NPU (DSP/HMX/HTP) Sheet.18 GPU GPU Sheet.19 CPU CPU Sheet.20 Sheet.21 TensorFlow TensorFlow Sheet.22 LiteRT LiteRT Sheet.23 ONNX ONNX Sheet.24 PyTorch PyTorch Sheet.25 .pb .pb Sheet.26 .tflite .tflite Sheet.27 .onnx .onnx Sheet.28 .ts .ts Sheet.29 Sheet.30 Sheet.31 Sheet.32 Sheet.33 QTI QTI Sheet.34 Hardware 硬件 Sheet.35 OSS OSS Sheet.36 Third-party 第三方 Sheet.37 ML runtime frameworks, applications ML runtime 框架、应用程序 Sheet.38 Qualcomm Neural Processing SDK Qualcomm Neural Processing SDK Sheet.39 LiteRT LiteRT Sheet.40 ONNX RT ONNX RT Sheet.41 Other ML frameworks 其他 ML 框架 Sheet.42 ### AI 硬件加速器 AI 工作负载可以在多个硬件核心上加速： - Qualcomm^®^ Hexagon™ 张量处理器 (HTP) - 又称 NPU/DSP/HMX，适合以低功耗、高性能执行 AI 工作负载。为优化性能，需要对预训练模型进行量化，使其达到支持的任一种精度。 - Qualcomm^®^ Adreno™ GPU - 适合以中等功率、中等性能执行 AI 工作负载。AI 工作负载可以通过 OpenCL 内核进行加速。GPU 还可用于加速模型预处理/后处理。 - Qualcomm^®^ Kryo™ CPU - 在 CPU 上进行 AI 推理可以用来与其他硬件加速器进行模型准确性/性能的基准测试。CPU 还可以用于运行模型的预处理/后处理。 ### AI 软件栈 AI 堆栈包含各种 SDK，以便利用 AI 硬件加速器的强大功能。开发者可以选择他们喜欢的技术栈来部署 AI 工作负载。预训练模型（TFLite 模型除外）在运行之前需要使用所选 AI 栈 SDK 将其转换为可执行格式。需要注意的是，TFLite Delegate 允许开发者直接运行 TFLite 模型。 - [Qualcomm Neural Processing Engine (SNPE)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2) 一站式解决方案 SDK 提供 C、C++ 和 Java API，以支持异构计算、系统级配置并将 AI 工作负载引导至所有加速器核心。为开发者提供灵活性，包括核心间的协作支持和其他高级功能。 - [Qualcomm AI Engine Direct (QNN)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50) Lower-level的，高度可定制的统一 API，通过各自的库加速所有 AI 加速核心上的 AI 模型。可以直接用于针对特定的加速器核心或从各流行 runtime（包括 Qualcomm Neural Processing Engine SDK、TensorFlow Lite 和 ONNX runtime）的 delegate 工作负载。Low-level SDK 提供更多功能和调试能力。 - [AI Model Efficiency Toolkit (AIMET)](https://quic.github.io/aimet-pages/releases/latest/index.html) 用于优化（压缩和量化）训练后的神经网络模型的开源库。这是一个旨在生成优化过的量化模型的复杂 SDK。它仅适用于高级开发者。 参考资料 | 标题 | 文档号 | | --- | --- | | [AI Hub](https://aihub.qualcomm.com/get-started) | — | | [Qualcomm AI Model Efficiency Toolkit](https://quic.github.io/aimet-pages/releases/latest/index.html) | — | | [Qualcomm Neural Processing Engine](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2/) | 80-63442-2 | | [Qualcomm AI Engine Direct](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/) | 80-63442-50 | | [AI Engine Direct: TFLite Delegate](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/tflite_delegate.html) | 80-63442-50 | | [Qualcomm Intelligent Multimedia SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70020-50/example-applications.html) | 80-70020-50 | Last Published: Jul 23, 2025 [Previous Topic AI/ML 文档](https://docs.qualcomm.com/bundle/publicresource/80-70020-15SC/topics/home.md) [Next Topic API](https://docs.qualcomm.com/bundle/publicresource/80-70020-15SC/topics/interfaces.md)