Technical Tutorials

استقرار مدل‌های بینایی ماشین بر روی دستگاه‌های لبه، مجموعه‌ای منحصر‌به‌فرد از چالش‌ها را به همراه دارد. اگرچه YOLOv8 (نسخه ۸ از You Only Look Once) استانداردی جدید برای دقت و سرعت در تشخیص شیء تعیین کرده است، اما اجرای یک مدل با دقت کامل بر روی سخت‌افزارهای محدود مانند NVIDIA Jetson، Raspberry Pi یا دستگاه‌های موبایل اغلب منجر به تأخیر غیرقابل قبول می‌شود. برای کاربردهایی که از رباتیک خودران تا تحلیل ویدیویی در زمان واقعی را شامل می‌شوند، هر میلی‌ثانیه اهمیت دارد. این پست به بررسی استراتژی‌های معماری و تکنیک‌های بهینه‌سازی عملی می‌پردازد که برای تبدیل یک مدل استاندارد YOLOv8 به یک استقرار لبه با عملکرد بالا مورد نیاز است.

چالش استقرار در لبه

دستگاه‌های لبه معمولاً تحت محدودیت‌های سخت‌گیرانه‌ای از نظر مصرف انرژی، حد حرارتی و منابع محاسباتی (FLOPs) عمل می‌کنند. یک مدل استاندارد YOLOv8 مبتنی بر PyTorch، اگرچه برای آموزش و استنتاج بر روی GPUها عالی است، اما اغلب برای استقرار مستقیم در لبه سنگین است. گلوگاه‌های اصلی عبارتند از:

پهنای باند حافظه: جابجایی تنسورهای بزرگ بین RAM و GPU/CPU پرهزینه است.
محدودیت‌های محاسباتی: TPUs و NPUs لبه اغلب دارای توان پردازشی لازم برای عملیات اعشاری شناور با دقت کامل نیستند.
حساسیت به تأخیر: پایپ‌لاین‌های در زمان واقعی به زمان‌های پردازش فریم ثابت نیاز دارند، نه فقط میانگین FPS بالا.

برای رفع این مشکلات، باید فراتر از صادرات ساده مدل حرکت کنیم و در یک پایپ‌لاین بهینه‌سازی جامع شامل تبدیل فرمت، کوانتیزه‌سازی و شتاب‌دهی خاص سخت‌افزاری مشارکت کنیم.

گام ۱: صادرات به ONNX برای بی‌طرفی سخت‌افزاری

اولین مرحله در بهینه‌سازی، تبدیل مدل از چارچوب بومی آن (PyTorch) به یک نمایش میانی مانند ONNX (Exchange Neural Network باز) است. ONNX به عنوان یک فرمت جهانی عمل می‌کند که به ما اجازه می‌دهد از موتورهای استنتاج و ابزارهای بهینه‌سازی مختلف بدون بازنویسی معماری مدل بهره ببریم.

با استفاده از خط فرمان Ultralytics، صادرات به ONNX ساده است:

yolo export model=yolov8n.pt format=onnx opset=11 simplify=true

پرچم simplify=true ONNX Simplifier را فعال می‌کند که بهینه‌سازی‌های گراف را مانند جمع‌بندی ثابت و ادغام عملگرها انجام می‌دهد و اندازه گراف محاسباتی را قبل از پردازش بیشتر کاهش می‌دهد.

گام ۲: کوانتیزه‌سازی برای کاهش دقت

کوانتیزه‌سازی تأثیرگذارترین تکنیک برای بهینه‌سازی لبه است. این روش دقت عددی پارامترها و فعال‌سازی‌های مدل را کاهش می‌دهد. اگرچه YOLOv8 در FP32 (شناور ۳۲ بیتی) آموزش دیده است، اما سخت‌افزارهای لبه در استنتاج INT8 (صحیح ۸ بیتی) عالی عمل می‌کنند. این کار می‌تواند اندازه مدل را تا ۷۵٪ کاهش دهد و سرعت استنتاج را به طور قابل توجهی افزایش دهد.

دو رویکرد اصلی وجود دارد:

کوانتیزه‌سازی پس از آموزش (PTQ): وزن‌های مدل را به INT8 بدون آموزش مجدد تبدیل می‌کند. این روش سریع است اما ممکن است دقت را کمی کاهش دهد.
آموزش آگاهانه از کوانتیزه‌سازی (QAT): کوانتیزه‌سازی را در طول آموزش شبیه‌سازی می‌کند تا به وزن‌ها اجازه سازگاری دهد و دقت را بهتر از PTQ حفظ می‌کند.

برای بیشتر موارد استفاده لبه، PTQ کافی است. هنگام استفاده از TensorRT، این فرآیند به طور خودکار در مرحله ساخت موتور انجام می‌شود، اما باید یک مجموعه داده کالیبراسیون ارائه دهید تا مطمئن شوید که محدوده پویای مقادیر INT8 با توزیع داده‌های شما مطابقت دارد.

گام ۳: شتاب‌دهی خاص سخت‌افزاری با TensorRT

اگر دستگاه لبه شما از GPU NVIDIA استفاده می‌کند، TensorRT استاندارد طلایی برای شتاب استنتاج است. این ابزار ادغام لایه‌ها، تنظیم خودکار کرنل‌ها و کالیبراسیون دقت را انجام می‌دهد تا یک موتور استنتاج بهینه ایجاد کند.

در اینجا نحوه ساخت یک موتور TensorRT از مدل ONNX شما آورده شده است:

# استفاده از ابزار خط فرمان trtexec
trtexec --onnx=yolov8n.onnx \
        --saveEngine=yolov8n.engine \
        --fp16 \
        --int8 \
        --calib=input_tensor_batch.bin \
        --workspace=1024

این دستور مدل ONNX را به FP16 (نیم‌دقت) تبدیل کرده و سپس آن را برای INT8 کالیبره می‌کند. فایل .engine حاصل به طور خاص برای معماری GPU شما بهینه شده است و کمترین تأخیر ممکن را ارائه می‌دهد.

پیاده‌سازی عملی: حلقه استنتاج

بهینه‌سازی مدل تنها نبرد نیمه است؛ خود پایپ‌لاین استنتاج باید کارآمد باشد. از پردازش دسته‌ای ناهمگام و استخر حافظه برای به حداقل رساندن سربار استفاده کنید.

import tensorrt as trt
import pycuda.driver as cuda
import numpy as np

# راه‌اندازی موتور TensorRT
engine = trt.Runtime(logger).deserialize_engine(open("yolov8n.engine", "rb").read())
context = engine.create_execution_context()

# پیش‌تخصیص حافظه میزبان و دستگاه
input_buffer = cuda.mem_alloc(1 * 3 * 640 * 640 * 4)  # مثال FP32
output_buffer = cuda.mem_alloc(1 * 300 * 6 * 4)

def infer(frame):
    # پیش‌پردازش فریم (تغییر اندازه، نرمال‌سازی، انتقال)
    data = preprocess(frame)
    
    # کپی حافظه ناهمگام
    cuda.memcpy_htod_async(input_buffer, data, stream)
    
    # اجرای استنتاج
    context.execute_async_v3 bindings=[int(input_buffer), int(output_buffer)], stream_handle=stream.handle
    
    # دریافت نتایج
    results = np.empty(300 * 6, dtype=np.float32)
    cuda.memcpy_dtoh_async(results, output_buffer, stream)
    stream.synchronize()
    
    return postprocess(results)

نتیجه‌گیری

بهینه‌سازی YOLOv8 برای استقرار در لبه یک مرحله واحد نیست، بلکه یک فرآیند چندمرحله‌ای شامل صادرات، کوانتیزه‌سازی و تنظیم خاص سخت‌افزاری است. با بهره‌گیری از ONNX برای قابلیت همکاری، کوانتیزه‌سازی برای کارایی و TensorRT برای شتاب‌دهی، توسعه‌دهندگان می‌توانند حتی بر روی سخت‌افزارهای محدود به عملکرد در زمان واقعی دست یابند. با ادامه تکامل هوش مصنوعی در لبه، تسلط بر این تکنیک‌های بهینه‌سازی برای ساخت کاربردهای بینایی ماشین پاسخگو، مقیاس‌پذیر و کارآمد ضروری خواهد بود. با PTQ برای پیروزی‌های سریع شروع کنید و همان‌طور که نیازهای عملکردی شما ایجاب می‌کند، به QAT و کرنل‌های سفارشی ارتقا دهید.