ai-ml-developer-workflow

# Tổng quan Hãy tham gia cùng chúng tôi và xem buổi đào tạo xoay quanh chủ đề Quy trình làm việc của nhà phát triển AI trên Qualcomm Linux. Quy trình này được điều chỉnh phù hợp cho các nhà phát triển và chuyên gia trong lĩnh vực IoT mong muốn nâng cao hiểu biết và kỹ năng trong việc triển khai các giải pháp AI trên thiết bị trên nền tảng Qualcomm. Quy trình làm việc của nhà phát triển AI/ML trên Qualcomm Linux có hai bước chính: | Bước 1

Biên dịch và tối ưu hóa mô hình |

Biên dịch và tối ưu hóa mô hình từ AI framework bên thứ ba để chạy một cách hiệu quả trên phần cứng Qualcomm. Ví dụ: bạn có thể xuất mô hình Tensorflow thành mô hình LiteRT.

Bạn cũng có thể lượng tử hóa, tinh chỉnh hiệu suất và độ chính xác bằng cách sử dụng các tùy chỉnh dành riêng cho phần cứng.

| | --- | --- | | Bước 2

Tạo ứng dụng để sử dụng mô hình được tối ưu hóa nhằm chạy suy luận trên thiết bị |

Tích hợp mô hình AI vào pipeline.

Biên dịch chéo ứng dụng để tạo tệp nhị phân có thể thực thi bằng các thư viện phụ thuộc.

| Quan trọng - Đảm bảo rằng máy chủ sử dụng Ubuntu 22.04. - Các lệnh trong tài liệu này tương thích với Qualcomm Linux 1.4. Xác minh phiên bản phát hành của Qualcomm Linux bằng cách chạy các lệnh được mô tả trong [Hướng dẫn bắt đầu nhanh cho Bộ công cụ phát triển](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-253/getting_started.html) Nếu phiên bản phát hành của bạn không phải là 1.4, [hãy cập nhật phần mềm](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-253/set_up_the_device.html#panel-0-VWJ1bnR1tab$update-software). - Ứng dụng mẫu và quy trình AI trong tài liệu này tương thích với [các phiên bản được hỗ trợ](https://docs.qualcomm.com/bundle/publicresource/topics/80-70018-51/introduction.html#supported-component-versions). Đảm bảo bạn tải SDK phù hợp xuống máy chủ trước khi bắt đầu phát triển AI/ML. ## Kiến trúc AI Nhà phát triển có thể dùng các mô hình ONNX, PyTorch, TensorFlow hoặc TFLite và chạy một cách hiệu quả trên Phần cứng AI Qualcomm –HTP (NPU), GPU, CPU bằng Qualcomm AI SDKs. ## Phần cứng AI - **Qualcomm Kryo™ CPU** : CPU hàng đầu với hiệu suất cao và tiết kiệm điện năng đáng kể. - **Qualcomm Adreno GPU** : Phù hợp để chạy các tải AI với công suất và hiệu suất cân bằng. Các tải AI được tăng tốc bằng nhân OpenCL. GPU cũng có thể được sử dụng để tăng tốc quy trình tiền/hậu xử lý mô hình. - **Qualcomm Hexagon Tensor Processor (HTP)** : Còn được gọi là NPU/DSP/HMX, phù hợp để chạy các tải AI với công suất thấp và hiệu suất cao. Để có hiệu suất tối ưu, các mô hình huấn luyện sẵn cần được lượng tử hóa theo một trong các độ chính xác được hỗ trợ. ## Phần mềm AI AI stack chứa các SDK để khai thác sức mạnh của trình tăng tốc phần cứng AI. Nhà phát triển có thể sử dụng một trong các SDK mà họ lựa chọn để triển khai AI workload. Cần chuyển đổi các mô hình huấn luyện sẵn (trừ các mô hình LiteRT) sang định dạng có thể thực thi với SDK đã chọn trước khi chạy. Các mô hình LiteRT có thể chạy trực tiếp bằng TFLite Delegate. TFLite Các mô hình LiteRT có thể chạy trực tiếp trên phần cứng Qualcomm với khả năng tăng tốc nhờ các Delegate (Trình ủy quyền tăng tốc) sau đây. | Delegate | Bộ Tăng tốc | | --- | --- | | AI Engine Direct Delegate (QNN Delegate) | CPU, GPU và HTP | | XNNPACK Delegate | CPU | | GPU Delegate | GPU | Qualcomm Neural Processing Engine SDK (SNPE) Qualcomm Neural Processing Engine (SNPE) là runtime được tăng tốc bằng phần mềm để thực thi các mạng nơ-ron sâu. SNPE cung cấp các công cụ để chuyển đổi, lượng tử hóa mạng nơ-ron và tăng tốc chúng trên các phần cứng bao gồm CPU, GPU và HTP. Qualcomm AI Engine Direct (QNN) Qualcomm AI Engine Direct là một kiến trúc phần mềm dành cho các trường hợp sử dụng AI/ML trên chipset của Qualcomm và lõi tăng tốc AI. Kiến trúc này được thiết kế để cung cấp API thống nhất và thư viện dạng mô-đun có thể mở rộng theo từng trình tăng tốc, tạo nền tảng tái sử dụng cho các giải pháp AI toàn diện. Kiến trúc này hỗ trợ các runtime như Qualcomm Neural Processing SDK, LiteRT AI Engine Direct Delegate. AI Model Efficiency Toolkit (AIMET) Thư viện nguồn mở để tối ưu hóa (nén và lượng tử hóa) các mô hình mạng nơ-ron đã được huấn luyện. Đây là một SDK phức tạp được thiết kế để tạo ra mô hình lượng tử hóa được tối ưu hóa và chỉ dành cho nhà phát triển nâng cao. Last Published: Oct 22, 2025 [Previous Topic Tài liệu quy trình làm việc của nhà phát triển AI](https://docs.qualcomm.com/bundle/publicresource/80-70018-15BV/topics/introduction.md) [Next Topic Biên dịch và tối ưu hóa mô hình AI](https://docs.qualcomm.com/bundle/publicresource/80-70018-15BV/topics/compile-and-optimize-model.md)