InfiniBand در مقابل RoCE برای شبکه های استنتاج هوش مصنوعی

انتخاب کنیدInfiniBandهنگامی که حجم کار استنتاج شما با تأخیر قابل پیش بینی ادامه پیدا می کند یا می میرد، و انتخاب کنیدRoCE(RDMA از طریق اترنت همگرا) هنگامی که می‌خواهید عملکرد کلاس RDMA{0}}روی یک پارچه اترنت را داشته باشید، می‌توانید با تیمی که در حال حاضر دارید، مقیاس، اشتراک‌گذاری و کار کنید. هیچ کدام از گزینه ها در همه جا برنده نمی شوند. تماس صحیح به الگوی استنتاج شما، اهداف تأخیر p99 و p999، مقیاس GPU، بودجه و میزان{5}}تخصص تنظیم اترنت بدون تلفات واقعاً در تیم شما بستگی دارد.

چرا شبکه بیش از انتظار تیم های استنتاج اهمیت دارد؟

برای سال‌ها، استنتاج به‌عنوان نیمه آسان داستان GPU تلقی می‌شد: مدلی که روی یک گره بارگذاری می‌شود، درخواست‌ها به طور مستقل ارائه می‌شوند، ترافیک بسیار کمی از شرق-غرب. اون عکس الان قدیمی شده استنتاج مدرن به طور فزاینده ای توزیع می شود و چندین الگو فشار واقعی را بر پارچه وارد می کند.

• موازی تانسوریک لایه واحد را در بین GPUها تقسیم می کند، بنابراین هر مرحله نشانه همه-کاهش یا همه{1}}عملیات جمع آوری بین آنها را فعال می کند. این ترافیک متقاطع، تأخیر{3}}حساس، متقاطع{4}}GPU است که GPU ها در حین انتظار آن را مسدود می کنند.
• موازی خط لولهفعال‌سازی‌های دستی از یک مرحله به مرحله دیگر، اغلب در میان گره‌ها، اضافه کردن وابستگی‌های متقاطع-گره به هر پاس رو به جلو.
• پیش پر کردن و رمزگشایی تفکیک شدهفاز محاسباتی-پیش پر کردن سنگین را از فاز رمزگشایی حساس-تأخیر جدا می‌کند، سپس حافظه پنهان KV را بین آنها جابه‌جا می‌کند. این انتقال‌ها بزرگ و پشت سر هم هستند و هرگونه تأخیر مستقیماً به‌عنوان زمان کندتر-به-اولین-توکن-و تأخیر بین نشانه‌ها نشان داده می‌شود.
• بازیابی-نسل افزوده (RAG)ترافیک شرقی-غربی را به خدمات بردار و جستجو اضافه می‌کند. معمولاً تأخیر کمتری-از عملیات جمعی مهم است، اما همچنان فابریک را بارگیری می‌کند، به خصوص در حجم درخواست بالا.
• خدمات چند- مستاجربسیاری از مدل‌ها و کاربران را روی یک پارچه قرار می‌دهد، جایی که انفجارهای ریز و{0}}همسایه‌های پر سر و صدا به خطر غالب تبدیل می‌شوند.

هنگامی که شبکه گلوگاه است، علائم گران هستند: زمان-به-اول-زمان بالاتر، GPUها در حین انتظار برای داده متوقف می‌شوند، توان عملیاتی که در اثر انفجار از بین می‌رود و p95 و p99 ناپایدار. و در اینجا بخشی است که معیارها را بالا می‌برد: تأخیر متوسط ​​همه آن‌ها را پنهان می‌کند. استنباط تولید بر اساس دم قضاوت می شود، نه میانگین.

InfiniBand در مقابل RoCE: جدول خلاصه برای استنتاج هوش مصنوعی

InfiniBand چیست؟

InfiniBand یک پارچه شبکه{0}} ساخته شده است که از ابتدا برای تاخیر کم، توان عملیاتی بالا و ارتباطات بدون تلفات طراحی شده است. این یک طعم سریعتر از اترنت نیست. با آداپتورهای کانال میزبان، سوئیچ‌ها، مدیر زیرشبکه، اکوسیستم کابل‌کشی و مدل کنترل تراکم{3}}خود ارائه می‌شود. ارزش تعیین کننده آن رفتار قطعی است: بسیاری از GPU ها می توانند با الزامات زمان بندی محدود ارتباط برقرار کنند، و پارچه حتی زمانی که ترافیک جمعی سنگین است به طور مداوم رفتار می کند.

پلت‌فرم‌های InfiniBand مبتنی بر هوش مصنوعی{0}}این پایه را با قابلیت‌هایی گسترش می‌دهند که مستقیماً خوشه‌های GPU بزرگ را هدف قرار می‌دهند. برای مثال، خط Quantum InfiniBand NVIDIA اضافه می کندمسیریابی تطبیقی، در-محاسبات شبکه، و کنترل ازدحام مبتنی بر تله متری{1}}، که به پارچه کمک می کند ترافیک را به طور هوشمند گسترش دهد و بار یک مستاجر را از بار دیگری جدا کند. برای استنباط، InfiniBand زمانی جایگاه خود را به دست می‌آورد که حجم کار نمی‌تواند لرزش را تحمل کند یا زمانی که چندین گره GPU باید داده‌ها را به سرعت و به طور مداوم مبادله کنند.

مبادله-هزینه، تمرکز اکوسیستم و تخصص عملیاتی است. پارچه اختصاصی InfiniBand به معنی سوئیچ‌ها، آداپتورها، کابل‌ها یا ماژول‌های نوری اختصاصی است و مهندسین با مدیریت پارچه InfiniBand راحت هستند. برای سازمانی که در حال حاضر دارای املاک بزرگ اترنت است، پیچ و مهره روی پارچه جداگانه پیچیدگی تدارکات، برنامه ریزی قطعات یدکی-و سربار نظارت را اضافه می کند.

RoCE (RDMA از طریق اترنت همگرا) چیست؟

RoCE RDMA، حافظه مستقیم-به-حرکت داده های حافظه با سربار کم CPU را به شبکه های اترنت می آورد. RoCEv2، نسخه ای که در مراکز داده مدرن استفاده می شود، در شبکه های IP لایه 3 قابل مسیریابی است و توسطانجمن تجارت InfiniBand. این مسیریابی چیزی است که به RoCE اجازه می‌دهد به طور طبیعی در طرح‌های{1}}برگ اترنت در حین استفاده مجدد از NIC‌ها، سوئیچ‌ها، اپتیک و ابزارهای نظارتی آشنا قرار گیرد.

نکته مهم این است که حمل و نقل RDMA یک شبکه تقریباً-بدون تلفات را فرض می کند. یک بسته را رها کنید و حمل و نقل به رفتار ارسال مجدد باز می گردد که تأخیر دم را از بین می برد. بنابراین RoCE به اترنت زیر آن نیاز دارد تا مانند یک پارچه بدون تلفات رفتار کند، و این بستگی به پیکربندی دقیق دو مکانیسم دارد:کنترل جریان اولویت (IEEE 802.1Qbb)، که برای جلوگیری از سقوط یک کلاس ترافیکی را متوقف می کند واعلان تراکم صریح (ECN)، که زودتر ازدحام را نشان می دهد بنابراین فرستنده ها قبل از سرریز شدن بافرها سرعت خود را کاهش می دهند. مدیریت صف، تخصیص بافر و نقشه‌برداری QoS را به آن اضافه کنید، و مشخص می‌شود که RoCE با کارایی بالا، اترنت معمولی نیست.

اگر RoCE به خوبی انجام شود، تأخیر و توان عملیاتی کافی را برای طیف وسیعی از خدمات استنتاج تولید ارائه می‌کند، و بسیاری از بارهای کاری استنتاج نسبت به آموزش توزیع‌شده، که به نفع RoCE کار می‌کند، کمتر هماهنگ هستند. اگر ضعیف انجام شود، از دست دادن بسته،-مسدود-خط، گسترش ازدحام، و دنباله‌های ناپایدار ایجاد می‌کند که همگی مستقیماً به کیفیت خدمات کاهش می‌یابند.

InfiniBand در مقابل RoCE Latency: کدام یک برای استنتاج p99 بهتر است؟

هر دو فابریک می‌توانند شبکه‌های-پهنای باند و کم{1}}تأخیر را ارائه دهند. آنها در نحوه رسیدن به آنجا تفاوت دارند. InfiniBand از نظر ساختاری قطعی است، بنابراین لرزش حتی در بارهای مختلط کم می ماند. RoCE می تواند آن را برای بسیاری از بارهای کاری مطابقت دهد، اما نتیجه به پارچه اترنت و نحوه تنظیم آن بستگی دارد.

از منظر استقرار، مشکل واقعی در تولید بندرت پهنای باند اوج است. تحت ترافیک مختلط، ترکیدگی و چند مستاجر-ترس می کند. پارچه RoCE که تست توان عملیاتی تمیز و iperf را انجام می‌دهد-هنوز می‌تواند هدف p99 خود را در لحظه‌ای که انفجارهای کوچک و مشاجره وارد تصویر می‌شود از دست بدهد. این شکاف بین یک معیار آزمایشگاهی و یک SLA تولید، جایی است که بیشتر شگفتی ها زندگی می کنند.

InfiniBand زمانی که:

• این سرویس دارای اهداف تأخیر دقیق p99 یا p999 است.
• استنتاج چندین گره GPU را با تانسور یا موازی خط لوله در بر می گیرد یا از پیش پر کردن و رمزگشایی تفکیک شده استفاده می کند.
• استفاده از GPU به تأخیر شبکه بسیار حساس است، بنابراین استال ها گران هستند.
• این خوشه تعداد کمی از{0}}بارهای کاری با اولویت بالا را اجرا می‌کند که در آن قابلیت پیش‌بینی بیشتر از انعطاف‌پذیری است.

RoCE معمولاً زمانی که:

• درخواست‌ها عمدتاً مستقل هستند، یا کوپلینگ شل است.
• کار در یک گره یا تعداد کمی از گره ها اجرا می شود.
• توان عملیاتی دسته ای بیشتر از تأخیر دم فوق العاده-کم اهمیت دارد.
• این تیم در حال حاضر اترنت را اجرا می کند و انعطاف پذیری هزینه یا فروشنده در اولویت است.
• این خوشه از چندین مستأجر یا بار کاری ترکیبی پشتیبانی می کند.

RoCE در مقابل هزینه InfiniBand: در واقع چه چیزی TCO را هدایت می کند؟

RoCE اغلب گزینه ارزان‌تر نامیده می‌شود، اما قیمت سوئیچ بخش کوچکی از تصویر است. یک مقایسه واقع بینانه به کل پشته نگاه می کند: آداپتورهای شبکه یا HCA ها، سوئیچ ها، ماژول های نوری، DAC، AOC و کابل های فیبر، توپولوژی رک، برق و خنک کننده، سیستم عامل شبکه، نظارت و تله متری، زمان مهندسی، قطعات یدکی، پشتیبانی فروشنده، و مسیر رسیدن به 400G یا 800G.

InfiniBand معمولاً هزینه اولیه بالاتری دارد زیرا به پارچه اختصاصی و قطعات تخصصی نیاز دارد. در محیط‌هایی که رفتار قطعی اولویت اصلی است، می‌تواند تلاش‌های تنظیم و عیب‌یابی را که یک پارچه اترنت بدون تلفات نیاز دارد، کاهش دهد. RoCE هزینه سخت‌افزار را زمانی کاهش می‌دهد که یک دارایی اترنت موجود، با پشتیبانی مناسب از Data Center Bridging، قابل استفاده مجدد باشد، اما تلاش‌ها را به سمت طراحی، اعتبارسنجی، نظارت و عیب‌یابی بافت بدون تلفات سوق می‌دهد. طراحی RoCE کم هزینه اگر باعث تأخیر ناپایدار و آتش‌نشانی مکرر شود، به سرعت گران می‌شود.

با افزایش سرعت، هزینه و ریسک در لایه فیزیکی متمرکز می شود. در 400G و 800G، اپتیک بر هر دو حالت صورتحساب و خرابی غالب است. بیشتر پورت‌های{4}}سرعت بالا روی آن قرار می‌گیرندQSFP-DD یا عوامل شکل قابل مقایسه، و مطابق با سمت راستاپتیک یک-حالت یا چند حالتهدسترسی واقعی شما یکی از ساده‌ترین راه‌ها برای جلوگیری از خرج کردن بیش از حد برای پارچه‌ای است که نیازی به ماژول‌های مسافت طولانی- ندارد.

به صراحت بگویم: اگر تیم شما فاقد تخصص اترنت{0}} بدون ضرر باشد، RoCE گزینه ارزان‌تری نیست. صرفه جویی در سخت افزار را می توان به سرعت با هزینه مهندسی پایدار نگه داشتن پارچه کاهش داد.

مقیاس پذیری و عملیات

مقیاس پذیری بیشتر از تعداد پورت است. این شامل این است که چگونه پارچه به راحتی مستقر می شود، نظارت می شود، منبسط می شود، و هنگامی که چیزی از کار می افتد، بازیابی می شود.

InfiniBand زمانی قوی است که خوشه از روز اول به‌عنوان یک پارچه اختصاصی-با عملکرد بالا طراحی شده باشد. رفتار ثابتی را در مقیاس ارائه می‌کند، اما انتظار دارد ابزارهای خاص InfiniBand-مانند مدیر زیرشبکه و مدیریت پارچه یکپارچه، و کارکنانی که با مفاهیم InfiniBand راحت باشند. این باعث می‌شود که آن را برای خوشه‌های متمرکز هوش مصنوعی که بر اساس بار کاری GPU ساخته شده‌اند، مناسب باشد.

RoCE در طرح‌های مرکز داده اترنت جای می‌گیرد: توپولوژی‌های{0}}برگی، مسیریابی IP، ECMP و شیوه‌های نظارت آشنا. دقیقاً به همین دلیل است که زیرساخت‌های گرافیکی-به سبک ابری و چند{3}}مستاجر را جذب می‌کند. نظم و انضباط مورد نیاز آن ثبات است. PFC، ECN، QoS، مدیریت بافر و کنترل ازدحام باید به طور منسجم در کل مسیر طراحی شوند، زیرا یک پیکربندی نادرست کوچک در یک گوشه از پارچه می‌تواند بسیاری از بارهای کاری را به طور همزمان پخش و کاهش دهد. لایه فیزیکی نیز باید به طور تمیز مقیاس شود. چگالی-بالاکابل کشی صندوق عقب و MPO و MTPبه جای اینکه هر انبساط را به یک پازل کابل کشی تبدیل کند، یک پارچه برگ-در حال رشد را قابل کنترل نگه می دارد.

نکته آینه-تصویر قابل ذکر است: وقتی استنتاج عمدتاً در یک گره باقی می‌ماند و پارچه به سختی اعمال می‌شود، توجیه InfiniBand دشوار است.

کدام شبکه برای هر بار کار استنتاج

زمانی که RoCE به اندازه کافی خوب است، و زمانی که خطرناک می شود

RoCE برای درخواست‌های مستقل یا بدون جفت، کار دسته جمعی{0}}خروجی{0}}و خوشه‌های چند مستاجر که در آن می‌توانید جداسازی را تنظیم کنید، به اندازه کافی خوب است، به‌ویژه زمانی که تیم به اترنت پل ارتباطی مرکز داده مسلط است. از راه های مشخص و قابل تشخیص خطرناک می شود:

• طوفان PFCفریم‌های مکث در بالادست پخش می‌شوند و ترافیکی را که ربطی به ازدحام اولیه نداشتند متوقف می‌کنند.
• مسدود کردن سر-خط-.نگاشت اولویت درشت به یک کلاس شلوغ اجازه می دهد تا دیگران را در صف به اشتراک بگذارد.
• اشتباه ECNخیلی دیر علامت بزنید و افت می کنید. علامت گذاری بیش از حد تهاجمی و شما بی جهت دریچه گاز را کاهش می دهید.
• تراکم میکرو انفجار.بافرهای سرریز زیر-ثانیه فوران می‌کنند، اما برای نظارت بر نمونه‌ها با وضوح-ثانیه نامرئی می‌مانند.
• پیکربندی ناسازگارتنظیمات ناهماهنگ در برگ و ستون فقرات باعث گسترش احتقان به جای ماندن موضعی می شود.

هیچ کدام از اینها دلیلی برای اجتناب از RoCE نیستند. آنها دلایلی هستند برای طراحی پارچه بدون تلفات به طور منسجم از انتها به انتها و سرمایه گذاری بر روی-دله متری آگاهانه با دانه بندی ریز- قبل از مقیاس.

وقتی InfiniBand ارزشش را دارد و زمانی که بیش از حد خرید می کنید

InfiniBand برای اهداف سختگیرانه p99 و p999، سرویس‌دهی چند گره به‌هم‌پیوسته، و بارهای کاری حیاتی{3}}که در آن جریمه‌های SLA زیاد است، به ویژه در یک کلاستر GPU اختصاصی طراحی شده در اطراف پارچه، ارزش دارد. زمانی که استنتاج در یک گره باقی می‌ماند، زمانی که کار به صورت دسته‌ای{5}روی توان انجام می‌شود، زمانی که به همان پارچه برای حمل فضای ذخیره‌سازی، مدیریت، و ترافیک ابری چند{6}}مستاجر نیز نیاز دارید، یا زمانی که صرفاً فاقد ظرفیت عملیاتی برای اجرای خوب InfiniBand هستید، احتمالاً بیش از حد خرید می‌کنید.

هزینه‌هایی که در قیمت سوئیچ ظاهر نمی‌شوند واقعی هستند: تمرکز اکوسیستم، سربار اجرای فابریک دوم به موازات شبکه اترنت شما، و برنامه‌ریزی جداگانه برای قطعات یدکی، اپتیک و نظارت.

نحوه تست InfiniBand در مقابل RoCE قبل از انتخاب

در مورد شهرت پروتکل یا برگه مشخصات تصمیم نگیرید. در مورد معیاری که شبیه تولید است تصمیم بگیرید. یک دنباله عملی:

• SLA را در دم تعریف کنید.p50، p95، p99 و p999 را برای زمان-روی-اولین-توکن و تأخیر بین-توکن، نه فقط میانگین، تنظیم کنید.
• ترافیک واقعی را دوباره پخش کنید.از اندازه‌های مدل پراکنده و مختلط و همزمانی چند مستاجر به جای یک جریان ساده استفاده کنید.
• بار به ازدحام.پارچه را فشار دهید تا واقعاً درگیر شود، سپس میزان استفاده از GPU را اندازه بگیرید. اگر پردازنده‌های گرافیکی در شبکه متوقف شده‌اند، فابریک گلوگاه شماست.
• به شمارنده های مناسب دقت کنید.فریم‌های مکث، علامت‌های ECN، ریزش بسته‌ها، ارسال‌های مجدد، شمارنده‌های خطای پورت، و در 400G و 800G، خطاهای FEC را ردیابی کنید.
• لایه فیزیکی را تایید کنید.مسائل فیبر تمیز و به درستی نصب شده؛نصب دقیق فیبراز خطاهای متناوب و دشوار-تشخیص-پیوندهای{2}}سرعت بالا که مستعد ابتلا به آن هستند جلوگیری می‌کند.

اگر RoCE هدف p99 خود را تحت بار واقعی، متضاد و چند مستاجر با شمارنده های پایدار نگه دارد، انتخابی قوی و مقرون به صرفه است. اگر فقط تست‌های جریانی{4} تمیز را پشت سر بگذارد، هنوز چیزی را که SLA شما را تعیین می‌کند آزمایش نکرده‌اید.

اشتباهات رایجی که باید از آنها اجتناب کنید

• با فرض اینکه تمام استنتاج ها شبکه های سبک هستند.برخی استنباط ساده و مستقل است. مقداری توزیع شده، تأخیر-حساس، و پهنای باند-گرسنه است. تلقی آسان همه اینها به زیرساخت های ضعیف منجر می شود.
• مقایسه تنها تاخیر متوسطاستنباط تولید به دم بستگی دارد. همیشه p95، p99 و p999 را تحت ترافیک واقعی ارزیابی کنید.
• در نظر گرفتن RoCE به عنوان پلاگین-و-پخش اترنت.RoCE با کارایی بالا-به طراحی پارچه بدون تلفات عمدی-، کنترل ازدحام و قابلیت مشاهده مداوم نیاز دارد.
• انتخاب InfiniBand فقط به این دلیل که سریعتر است.بهترین گزینه عملکرد همیشه بهترین گزینه تجاری نیست. اگر حجم کار به رفتار قطعی نیاز نداشته باشد، RoCE ممکن است ارزش بهتری ارائه دهد.
• نادیده گرفتن لایه فیزیکیدر 400G و 800G، کابل‌ها، اپتیک‌ها، کانکتورها و تمیزی فیبر خطاهای متناوب ایجاد می‌کنند که یافتن آن‌ها سخت و گران است.

خط پایین

برای استنباط هوش مصنوعی، InfiniBand و RoCE هر دو معتبر هستند و اولویت‌های متفاوتی را ارائه می‌کنند. زمانی که به ثابت‌ترین شبکه با تأخیر کم-زمان واقعی، استنتاج SLA{3}}حساس یا کاملاً جفت شده نیاز دارید، InfiniBand را انتخاب کنید. زمانی که برای استنتاج دسته‌ای، سرویس‌های GPU چند مستاجر، بارهای کاری RAG و زیرساخت‌های انعطاف‌پذیر نیاز دارید، RoCE را انتخاب کنید.

تصمیم باید با حجم کار، هدف تأخیر، مقیاس خوشه، قابلیت عملیات شما و نقشه راه ارتقاء شروع شود، نه با پروتکل. اگر خوشه شما باید یک p99 دقیق را تحت بار سنگین نگه دارد، InfiniBand شایسته توجه جدی است. اگر هدف شما این است که استنتاج را از نظر اقتصادی در یک مرکز داده اترنت مقیاس کنید، RoCE معمولاً مسیر عملی‌تری است. در هر صورت، قبل از اینکه متعهد شوید، در حال تولید{4}}معیار کنید.