ai_arch

# 架构 Qualcomm AI 产品包括硬件加速器和 AI SDK，以充分利用硬件的强大功能。 ## AI 硬件加速器 AI 工作负载可以在多个硬件核心上加速： - Qualcomm^®^ Hexagon™ 张量处理器 (HTP) - 又称 NPU/DSP/HMX，适合以低功耗、高性能执行 AI 工作负载。为优化性能，需要对预训练模型进行量化，使其达到支持的任一种精度。 - Qualcomm^®^ Adreno™ GPU - 适合以中等功率、中等性能执行 AI 工作负载。AI 工作负载可以通过 OpenCL 内核进行加速。GPU 还可用于加速模型预处理/后处理。 - Qualcomm^®^ Kryo™ CPU - 在 CPU 上进行 AI 推理可以用来与其他硬件加速器进行模型准确性/性能的基准测试。CPU 还可以用于运行模型的预处理/后处理。 ## AI 软件栈 AI 堆栈包含各种 SDK，以便利用 AI 硬件加速器的强大功能。开发者可以选择他们喜欢的技术栈来部署 AI 工作负载。预训练模型（TFLite 模型除外）在运行之前需要使用所选 AI 栈 SDK 将其转换为可执行格式。需要注意的是，TFLite Delegate 允许开发者直接运行 TFLite 模型。 - [Qualcomm Neural Processing Engine (SNPE)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-2) > > > 一站式解决方案 SDK 提供 C、C++ 和 Java API，以支持异构计算、系统级配置并将 AI 工作负载引导至所有加速器核心。为开发者提供灵活性，包括核心间协作支持和其他高级功能。 - [Qualcomm AI Engine Direct (QNN)](https://docs.qualcomm.com/bundle/publicresource/topics/80-63442-50) > > > 低层的，高度可定制的统一 API，通过各自的库加速所有 AI 加速核心上的 AI 模型。可以直接用于针对特定的加速器核心或从各流行 runtime（包括 Qualcomm Neural Processing Engine SDK、TensorFlow Lite 和 ONNX runtime）的 delegate 工作负载。低层 SDK 提供更多功能和调试能力。 - [AI Model Efficiency Toolkit (AIMET)](https://quic.github.io/aimet-pages/releases/latest/index.html) > > > 用于优化（压缩和量化）训练后的神经网络模型的开源库。这是一个旨在生成优化过的量化模型的复杂 SDK。它仅供高级开发者使用。 Last Published: Apr 29, 2025 [Previous Topic 概述](https://docs.qualcomm.com/bundle/publicresource/80-70018-15SC/topics/overview.md) [Next Topic API](https://docs.qualcomm.com/bundle/publicresource/80-70018-15SC/topics/interfaces.md)