# Áp dụng semantic segmentation cho khung hình của video

Trước khi chạy pipeline cho một mô hình, hãy tuân thủ các [Điều kiện tiên quyết](https://docs.qualcomm.com/doc/80-70018-15BV/topic/ai-hub-qualcomm-im-sdk.html#prerequisites) bắt buộc.

Chạy lệnh sau để đảm bảo kết quả hiển thị trên màn hình được kết nối:

export XDG_RUNTIME_DIR=/dev/socket/weston && export WAYLAND_DISPLAY=wayland-1
    Copy to clipboard

## DeepLabV3-Plus\_MobileNet-Quantized

DeepLabV3 Quantized được thiết kế cho semantic segmentation trên nhiều quy mô và được huấn luyện trên các tập dữ liệu khác nhau.

Mô hình AI Hub dựa trên [cách triển khai DeepLabV3-Plus-MobileNet-Quantized này](https://github.com/jfzhang95/pytorch-deeplab-xception).

- Mô hình: [deeplabv3_plus_mobilenet_quantized.tflite](https://aihub.qualcomm.com/iot/models/deeplabv3_plus_mobilenet_quantized)
- Nhãn: [voc_labels.txt](https://github.com/quic/ai-hub-models/blob/main/qai_hub_models/labels/voc_labels.txt)

gst-launch-1.0 -e --gst-debug=2 \
    filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split \
    split. ! queue ! qtivcomposer name=mixer sink_1::alpha=0.5 ! queue ! waylandsink sync=true fullscreen=true \
    split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \
    external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/deeplabv3_plus_mobilenet_quantized.tflite ! queue ! \
    qtimlvsegmentation module=deeplab-argmax labels=/etc/labels/voc_labels.txt \
    constants="deeplab,q-offsets=<92.0>,q-scales=<0.04518842324614525>;" ! video/x-raw,format=BGRA,width=256,height=144 ! queue ! mixer.
    Copy to clipboard

## FCN-Resnet50-Quantized

FCN\_ResNet50 là một mô hình học máy được lượng tử hóa có thể phân đoạn hình ảnh từ tập dữ liệu COCO.

Mô hình AI Hub dựa trên [cách triển khai FCN-ResNet50-Quantized này](https://github.com/pytorch/vision/blob/main/torchvision/models/segmentation/fcn.py).

- Mô hình: [FCN-ResNet50-Quantized.tflite](https://aihub.qualcomm.com/iot/models/fcn_resnet50_quantized)
- Nhãn: [voc_labels.txt](https://github.com/quic/ai-hub-models/blob/main/qai_hub_models/labels/voc_labels.txt)

Ghi chú

Pipeline này hiện chưa được hỗ trợ trên QCS6490.

gst-launch-1.0 -e --gst-debug=2 \
    filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split \
    split. ! queue ! qtivcomposer name=mixer sink_1::alpha=0.5 ! queue ! waylandsink sync=true fullscreen=true \
    split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \
    external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/fcn_resnet50_quantized.tflite ! queue ! \
    qtimlvsegmentation module=deeplab-argmax labels=/etc/labels/voc_labels.txt \
    constants="deeplab,q-offsets=<0.0>,q-scales=<1.0>;" ! video/x-raw,format=BGRA,width=256,height=144 ! queue ! mixer.
    Copy to clipboard

## FFNet-40S-Quantized

FFNet-40S-Quantized là mạng đơn giản dùng để phân đoạn hình ảnh cảnh đường phố với các lớp theo pixel như đường, vỉa hè và người đi bộ.

Mạng này được huấn luyện trên tập dữ liệu cảnh quan thành phố.

Mô hình AI Hub dựa trên [cách triển khai FFNet-40S-Quantized này](https://github.com/Qualcomm-AI-research/FFNet)

- Mô hình: [ffnet_40s_quantized.tflite](https://aihub.qualcomm.com/iot/models/ffnet_40s_quantized)
- Nhãn: [voc_labels.txt](https://github.com/quic/ai-hub-models/blob/main/qai_hub_models/labels/voc_labels.txt)

gst-launch-1.0 -e --gst-debug=2 \
    filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split \
    split. ! queue ! qtivcomposer name=mixer sink_1::alpha=0.5 ! queue ! waylandsink sync=false fullscreen=true \
    split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \
    external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/ffnet_40s_quantized.tflite ! queue ! \
    qtimlvsegmentation module=deeplab-argmax labels=/etc/labels/voc_labels.txt constants="ffnet,q-offsets=<178.0>,q-scales=<0.31378185749053955>;" ! \
    video/x-raw,format=BGRA,width=256,height=144 ! queue ! mixer.
    Copy to clipboard

## FFNet-54S-Quantized

FFNet-54S-Quantized là mạng đơn giản dùng để phân đoạn hình ảnh cảnh đường phố với các lớp theo pixel như đường, vỉa hè và người đi bộ.

Mạng này được huấn luyện trên tập dữ liệu cảnh quan thành phố.

Mô hình AI Hub dựa trên [cách triển khai FFNet-54S-Quantized này](https://github.com/Qualcomm-AI-research/FFNet).

- Mô hình: [ffnet_54s_quantized.tflite](https://aihub.qualcomm.com/iot/models/ffnet_54s_quantized)
- Nhãn: [voc_labels.txt](https://github.com/quic/ai-hub-models/blob/main/qai_hub_models/labels/voc_labels.txt)

gst-launch-1.0 -e --gst-debug=2 \
    filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split \
    split. ! queue ! qtivcomposer name=mixer sink_1::alpha=0.5 ! queue ! waylandsink sync=false fullscreen=true \
    split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \
    external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/ffnet_54s_quantized.tflite ! queue ! \
    qtimlvsegmentation module=deeplab-argmax labels=/etc/labels/voc_labels.txt constants="ffnet,q-offsets=<178.0>,q-scales=<0.2929433584213257>;" ! \
    video/x-raw,format=BGRA,width=256,height=144 ! queue ! mixer.
    Copy to clipboard

## FFNet-78S-Quantized

FFNet-78S-Quantized là mạng đơn giản dùng để phân đoạn hình ảnh cảnh đường phố với các lớp theo pixel như đường, vỉa hè và người đi bộ.

Mạng này được huấn luyện trên tập dữ liệu cảnh quan thành phố.

Mô hình AI Hub dựa trên [cách triển khai FFNet-78S-Quantized này](https://github.com/Qualcomm-AI-research/FFNet).

- Mô hình: [ffnet_78s_quantized.tflite](https://aihub.qualcomm.com/iot/models/ffnet_78s_quantized)
- Nhãn: [voc_labels.txt](https://github.com/quic/ai-hub-models/blob/main/qai_hub_models/labels/voc_labels.txt)

gst-launch-1.0 -e --gst-debug=2 \
    filesrc location=/etc/media/video.mp4 ! qtdemux ! queue ! h264parse ! v4l2h264dec capture-io-mode=4 output-io-mode=4 ! video/x-raw,format=NV12 ! queue ! tee name=split \
    split. ! queue ! qtivcomposer name=mixer sink_1::alpha=0.5 ! queue ! waylandsink sync=false fullscreen=true \
    split. ! queue ! qtimlvconverter ! queue ! qtimltflite delegate=external external-delegate-path=libQnnTFLiteDelegate.so \
    external-delegate-options="QNNExternalDelegate,backend_type=htp;" model=/etc/models/ffnet_78s_quantized.tflite ! queue ! \
    qtimlvsegmentation module=deeplab-argmax labels=/etc/labels/voc_labels.txt constants="ffnet,q-offsets=<171.0>,q-scales=<0.3849360942840576>;" ! \
    video/x-raw,format=BGRA,width=256,height=144 ! queue ! mixer.
    Copy to clipboard

Last Published: Oct 22, 2025

[Previous Topic
Phát hiện đối tượng](https://docs.qualcomm.com/bundle/publicresource/80-70018-15BV/topics/object-detection.md) [Next Topic
Tăng độ phân giải hình ảnh bằng super resolution](https://docs.qualcomm.com/bundle/publicresource/80-70018-15BV/topics/super-resolution.md)