با مقیاس‌پذیری مدل‌های زبانی بزرگ (LLM) به صدها میلیارد پارامتر، گلوگاه از محاسبات به ارتباطات منتقل می‌شود. در دنیای زیرساخت هوش مصنوعی، تأخیر شبکه و پهنای باند دیگر تنها معیارها نیستند؛ بلکه عوامل تعیین‌کننده زمان آموزش و زمان استنتاج هستند. برای مهندسانی که خوشه‌های GPU را بهینه می‌کنند، انتخاب لایه پروتکل مناسب به اندازه انتخاب معماری ترنسفورمر مناسب حیاتی است. این پست سه ستون اصلی شبکه با عملکرد بالا—TCP، UDP و RDMA— را بررسی کرده و تناسب آن‌ها را برای بارهای کاری هوش مصنوعی مدرن ارزیابی می‌کند.
درک خط مبنا: TCP و UDP
برای دهه‌ها، مجموعه پروتکل اینترنت بر پروتکل کنترل انتقال (TCP) و پروتکل دیتاگرام کاربر (UDP) متکی بوده است. اگرچه این پروتکل‌ها همه‌جا حاضر هستند، اما پیکربندی پیش‌فرض آن‌ها اغلب در برابر پهنای باند عظیم داده‌ای که برای آموزش توزیع‌شده مورد نیاز است، با مشکل مواجه می‌شوند.
TCP (پروتکل کنترل انتقال) تحویل و ترتیب داده‌ها را تضمین می‌کند. این قابلیت اطمینان هزینه‌ای دارد: اثر «مسدود شدن خط مقدم» (head-of-line blocking) و سربار قابل توجه پردازنده به دلیل جابجایی زمینه کرنل. در آموزش LLM، که همگام‌سازی گرادیان میلیون‌ها بار در ثانیه رخ می‌دهد، ویژگی‌های قابلیت اطمینان TCP می‌تواند باعث ایجاد جیتر (لرزش/نوسان) شود که خطوط لوله GPU را متوقف می‌کند.
UDP (پروتکل دیتاگرام کاربر) بدون اتصال و سبک است. این پروتکل تأخیر کمی ارائه می‌دهد اما فاقد اصلاح خطا است. برخی از چارچوب‌های هوش مصنوعی از UDP برای صفحات کنترل یا عملیات خاص all-reduce استفاده می‌کنند زیرا سربار را کاهش می‌دهد، اما این کار نیاز به منطق لایه برنامه‌ای پیچیده برای مدیریت از دست رفتن بسته‌ها دارد که پیاده‌سازی صحیح آن در مقیاس بزرگ غیرقابل چشم‌پوشی است.
تغییردهنده بازی: RDMA روی اترنت همگرا (RoCE)
RDMA (دسترسی مستقیم حافظه از راه دور) با اجازه دادن به کارت رابط شبکه (NIC) برای تبادل داده مستقیماً بین حافظه یک ماشین و ماشین دیگر، بدون دور زدن کامل کرنل سیستم‌عامل، شبکه‌های دیتاسنتر را متحول می‌کند. این تکنیک که به عنوان Kernel Bypass شناخته می‌شود، استفاده از CPU و تأخیر را به شدت کاهش می‌دهد.
در زمینه مدل‌های LLM، RoCE (RDMA روی اترنت همگرا) امکان‌پذیر می‌کند:
- تأخیر میکروثانیه: حیاتی برای استنتاج، جایی که هر میلی‌ثانیه برای تجربه کاربر اهمیت دارد.
- انتقال داده بدون کپی (Zero-Copy): کپی داده بین فضای کرنل و فضای کاربر را حذف می‌کند و چرخه‌های CPU را برای اجرای مدل حفظ می‌نماید.
- پهنای باند بالا: انتقال کارآمد ترابایت‌ها داده گرادیان مورد نیاز در طول آموزش توزیع‌شده.
پیکربندی عملی برای RDMA
پیاده‌سازی RDMA به سخت‌افزار خاص (اینفینی‌بند یا NICهای مجهز به RoCE) و پیکربندی دقیق نیاز دارد. در زیر نمونه‌ای از بررسی وضعیت دستگاه RDMA روی یک نود لینوکس آورده شده است که اولین گام ضروری در عیب‌یابی مشکلات شبکه هوش مصنوعی است.
# List available RDMA devices
ibstatus
# Check if RoCE is enabled on the specific interface
ethtool -k eth0 | grep rdma
# Sample output might look like:
# RDMA VLAN offload: onهنگام پیکربندی خوشه خود، اطمینان حاصل کنید که نگاشت‌های ibdev2netdev شما صحیح است و تنظیمات کیفیت خدمات (QoS) ترافیک RDMA را برای جلوگیری از از دست رفتن بسته در شبکه‌های شلوغ در اولویت قرار می‌دهند.
انتخاب پروتکل مناسب: آموزش در مقابل استنتاج
انتخاب بین پروتکل‌ها به شدت به فاز بار کاری بستگی دارد:
بارهای کاری آموزش
آموزش توزیع‌شده شامل ارتباطات جمعی عظیم (All-Reduce، All-Gather) است. در اینجا، پهنای باند پادشاه است. RDMA/RoCE انتخاب برتر برای خوشه‌های آموزش در مقیاس بزرگ (مثلاً آموزش یک مدل با بیش از 70 میلیارد پارامتر) است. این پروتکل «موانع ارتباطی» را به حداقل می‌رساند و اطمینان حاصل می‌کند که GPUها زمان بیشتری را صرف محاسبات و زمان کمتری را منتظر داده‌ها می‌گذرانند. TCP می‌تواند برای مدل‌های کوچک‌تر یا تنظیم دقیق تک‌نودی استفاده شود، جایی که پیچیدگی راه‌اندازی بر مزایای آن غلبه دارد.
بارهای کاری استنتاج
استنتاج اغلب مبتنی بر درخواست و بسیار متغیر است. اگرچه RDMA کمترین تأخیر را ارائه می‌دهد، اما سربار راه‌اندازی اتصالات RDMA برای هر درخواست استنتاج می‌تواند بازدارنده باشد، مگر اینکه از استخر اتصال یا شتاب‌دهنده‌های سخت‌افزاری خاص استفاده شود. برای بسیاری از سناریوهای استنتاج، TCP با تنظیمات کرنل بهینه‌شده (مانند افزایش net.core.somaxconn) و شتاب‌دهنده‌های سخت‌افزاری (TCP segmentation offload) عملکرد کافی را با پیچیدگی عملیاتی بسیار کمتر ارائه می‌دهد.
نتیجه‌گیری
با رشد مدل‌های هوش مصنوعی، پیچیدگی لایه شبکه زیرین نیز افزایش می‌یابد. در حالی که TCP به عنوان یک پیش‌فرض قابل اعتماد برای محاسبات عمومی باقی می‌ماند و UDP سرعت را با پیچیدگی ارائه می‌دهد، RDMA به عنوان تکامل ضروری برای زیرساخت هوش مصنوعی با عملکرد بالا برجسته می‌شود. برای سازمان‌هایی که در حال مقیاس‌پذیری به صدها GPU هستند، سرمایه‌گذاری در سخت‌افزارهای مجهز به RDMA و بهینه‌سازی لایه شبکه نه تنها یک گزینه، بلکه پیش‌نیازی برای توسعه و استقرار کارآمد مدل است.