# AI 软件概述和架构 Qualcomm^®^ Linux AI 软件允许您在 Qualcomm 硬件加速器（例如神经网络处理单元 (NPU)、图形处理器 (GPU) 和中央处理器 (CPU)）上最佳地部署预训练的深度学习模型。Qualcomm LinuxA 包含软件开发包 (SDK)、API、示例应用程序、开发工具以及 GStreamer 和 TFLite 等第三方框架支持，以进行应用程序开发。 多媒体 AI 应用程序使用 Qualcomm IM SDK GStreamer 插件 API，充分利用 Qualcomm AI Engine Direct 和 Qualcomm Neural Processing Engine API，为 AI 用例提供底层硬件加速，如下图所示： top_level_ai_hw Sheet.1 Sheet.2 Hardware 硬件 Sheet.3 AI SDKs AI SDK Sheet.4 Qualcomm IMSDK Gstreamer plugins Qualcomm IMSDK Gstreamer 插件 Sheet.5 AI applications AI 应用程序 Sheet.6 Qualcomm® Neural Processing Engine plugin (qtimlsnpe) Qualcomm® Neural Processing Engine 插件 (qtimlsnpe) Sheet.7 Qualcomm Neural Processing Engine Qualcomm Neural Processing Engine Sheet.8 Qualcomm® AI Engine Direct plugin (qtimlqnn) Qualcomm® AI Engine Direct 插件 (qtimlqnn) Sheet.9 TensorFlow Lite plugin (qtimltflite) TensorFlow Lite 插件 (qtimltflite) Sheet.10 NPU (DSP/HMX/HTP) NPU (DSP/HMX/HTP) Sheet.11 GPU GPU Sheet.12 CPU CPU Sheet.13 Sheet.14 Sheet.15 Sheet.16 Qualcomm AI Engine Direct Qualcomm AI Engine Direct Sheet.17 Sheet.18 Sheet.19 TFLite Delegate TFLite Delegate Sheet.20 Sheet.21 QTI QTI Sheet.22 Hardware 硬件 Sheet.23 Third-party 第三方 **Qualcomm Linux AI 栈的顶层 AI 硬件和软件模块** Qualcomm Linux AI 软件的关键组件如下： - [AI 应用程序](https://docs.qualcomm.com/doc/80-70022-15SC/topic/sample-apps.html)：基于 Gstreamer 的示例应用程序，您可以对其进行[自定义](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/customize-reference-app.html)。 - [GStreamer 插件](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-50/gst-plugin-architecture.html)：Qualcomm Linux 软件提供基于 GStreamer 的机器学习插件，以通过 TFLite、Qualcomm^®^ Neural Processing Engine SDK 等工具加速 AI 推理，以及用于预处理和后处理的 GStreamer 插件。 - Qualcomm AI 软件包含两个用于加速 AI 工作负载的 SDK。[Qualcomm Neural Processing Engine SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2/) 和 [Qualcomm AI Engine Direct](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/) 提供工具、库等，旨在多个硬件加速器上充分加速 AI 模型。 - Qualcomm system-on-Chip (SoC - 片上系统) 提供三种用于 AI 负载的硬件核心。 - [神经网络处理单元 (NPU)](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/run-models.html)：也称为 Qualcomm® Hexagon™ Tensor Processor (HTP) 或 DSP/HMX，适合以低功耗、高性能执行 AI 工作负载。为优化性能，需要将预训练模型量化到任意一种支持的精度。 - [图形处理单元 (GPU)](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/run-models.html)： Qualcomm® Adreno™ GPU 适合运行中等功率、中等性能的 AI 工作负载。AI 工作负载可以通过 OpenCL 内核进行加速。您还可以使用 GPU 加速模型预处理和后处理。 - [中央处理器 (CPU)](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-15B/run-models.html)：在 CPU 上使用 AI 推理，以其他硬件加速器为基准测试模型的准确性或性能。您还可以使用 CPU 运行模型预处理和后处理。 ## 架构 下图展示了可用的 AI runtime（如 ONNX runtime 和 LiteRT）、可用的硬件加速器（如 neural Processing Unit (NPU)、graphics Processing Unit (GPU) 和 central Processing Unit (CPU)）以及每个加速器的后端库。 ai_arch Sheet.1 Sheet.2 Sheet.3 Backend libraries 后端库 Sheet.4 Sheet.5 Qualcomm AI Engine Direct API Qualcomm AI Engine Direct API Sheet.6 Kernels 内核 Sheet.7 OpenCL OpenCL Sheet.8 Sheet.9 Qualcomm AI Engine Direct API Qualcomm AI Engine Direct API Sheet.10 QML QML Sheet.11 Neon Neon Sheet.12 Sheet.13 Qualcomm AI Engine Direct API Qualcomm AI Engine Direct API Sheet.14 HTP core HTP 核心 Sheet.15 HMX/HVX HMX/HVX Sheet.16 Hardware IP cores 硬件 IP 核心 Sheet.17 NPU (DSP/HMX/HTP) NPU (DSP/HMX/HTP) Sheet.18 GPU GPU Sheet.19 CPU CPU Sheet.20 Sheet.21 TensorFlow TensorFlow Sheet.22 LiteRT LiteRT Sheet.23 ONNX ONNX Sheet.24 PyTorch PyTorch Sheet.25 .pb .pb Sheet.26 .tflite .tflite Sheet.27 .onnx .onnx Sheet.28 .ts .ts Sheet.29 Sheet.30 Sheet.31 Sheet.32 Sheet.33 QTI QTI Sheet.34 Hardware 硬件 Sheet.35 OSS OSS Sheet.36 Third-party 第三方 Sheet.37 ML runtime frameworks, applications ML runtime 框架、应用程序 Sheet.38 Qualcomm Neural Processing SDK Qualcomm Neural Processing SDK Sheet.39 LiteRT LiteRT Sheet.40 ONNX RT ONNX RT Sheet.41 Other ML frameworks 其他 ML 框架 Sheet.42 ### AI 硬件加速器 您可以使用以下硬件核心加速 AI 工作流： - Qualcomm^®^ Hexagon™ Tensor Processor (HTP)：HTP（又称 NPU、DSP 或 HMX）适用于以低功耗、高性能运行 AI 工作负载。为优化性能，需要将预训练模型量化到任意一种支持的精度。 - Qualcomm^®^ Adreno™ GPU：适合以中等功率、中等性能运行 AI 工作负载。AI 工作负载可以通过 OpenCL 内核进行加速。您还可以使用 GPU 加速模型预处理和后处理。 - Qualcomm^®^ Kryo™ CPU：在 CPU 上使用 AI 推理，以其他硬件加速器为基准测试模型的准确性和性能。您还可以使用 CPU 运行模型预处理和后处理。 ### AI 软件 从以下软件中选择以部署 AI 工作负载。除了 TFLite 模型外，您必须先使用 SDK 将预训练模型转换为可执行格式，然后才能运行它们。预训练模型（LiteRT 模型除外）在运行之前需要使用所选的 AI Stack SDK 转换为可执行格式。TFLite Delegate 允许您直接运行 LiteRT 模型。 - [Qualcomm Neural Processing Engine (SNPE)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2)：一体化 SDK 提供 C、C++ 和 Java API，以支持异构计算、系统级配置并将 AI 工作负载引导至所有加速器核心。为您提供灵活性，例如核心间协作支持。 - [Qualcomm AI Engine Direct (QNN)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50)：底层、高度可定制的统一 API，使用单独的库来加速所有 AI 加速器核心上的 AI 模型。可用于直接定位特定的加速器核心或从流行的 runtime 委派工作负载，包括 Qualcomm Neural Processing Engine SDK、LiteRT（前身为 TensorFlow Lite）和 ONNX runtime。低级 SDK 提供更多功能和调试能力。 - [AI Model Efficiency Toolkit (AIMET)](https://quic.github.io/aimet-pages/releases/latest/index.html)：用于优化（压缩和量化）训练的神经网络模型的开源库。这是一个复杂的 SDK，旨在生成优化的量化模型。 ## 后续步骤 - [AI Hub](https://aihub.qualcomm.com/get-started) - [Qualcomm AI Model Efficiency Toolkit](https://quic.github.io/aimet-pages/releases/latest/index.html) - [Qualcomm Neural Processing Engine](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2/) - [Qualcomm AI Engine Direct](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/) - [AI Engine Direct: TFLite Delegate](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50/tflite_delegate.html) - [Qualcomm Intelligent Multimedia SDK](https://docs.qualcomm.com/bundle/publicresource/topics/80-70022-50/example-applications.html) Last Published: Oct 27, 2025 [Previous Topic AI/ML 文档](https://docs.qualcomm.com/bundle/publicresource/80-70022-15SC/topics/home.md) [Next Topic GStreamer ML 插件和 AI SDK API](https://docs.qualcomm.com/bundle/publicresource/80-70022-15SC/topics/interfaces.md)