# TensorFlow Lite Runtime

Source: [https://docs.qualcomm.com/doc/80-70014-54Y/topic/tensorflow-lite-runtime.html](https://docs.qualcomm.com/doc/80-70014-54Y/topic/tensorflow-lite-runtime.html)

TensorFlow Lite 设备推理将模型加载到解析器中，解析器解析模型并使用 delegate 来运行它。

TensorFlow Lite 设备推理执行以下操作：

1. 将 TensorFlow Lite 模型加载到 TensorFlow Lite 解析器接口中，该接口会解析模型以识别模型中存在的神经网络算子。
2. 解析器接口进一步配置为使用 delegate 来运行模型。
3. 解析器根据提供的输入调用模型推理，并将模型推理的相应输出保存到为解析器接口提供的缓冲区中。

Qualcomm 支持使用 delegate 在以下加速器上执行 TensorFlow Lite 模型：

- CPU
- Adreno GPU
- Hexagon Tensor Processor

下表列出了 delegate 以及支持这些 delegate 的加速器：

Table : 支持的 delegate 和加速器

| Delegate | 加速 |
| --- | --- |
| XNNPACK delegate | CPU |
| GPU delegate | GPU |
| Qualcomm® AI Engine Direct delegate (Qualcomm® Neural Network (QNN) delegate) | CPU、GPU 和 Hexagon Tensor Processor |

**Parent Topic:** [架构](https://docs.qualcomm.com/doc/80-70014-54Y/topic/arch.html)

Last Published: Aug 06, 2024

[Previous Topic
架构](https://docs.qualcomm.com/bundle/publicresource/80-70014-54Y/topics/arch.md) [Next Topic
Delegate](https://docs.qualcomm.com/bundle/publicresource/80-70014-54Y/topics/delegates.md)