طراحی شبکه خوشه هوش مصنوعی: ستون فقرات-برگ، RoCE و NIC

طراحی شبکه خوشه هوش مصنوعی فرآیند اندازه‌گیری کارت‌های کارت گرافیک سرور GPU، پهنای باند برگ-، نسبت اشتراک بیش از حد، تنظیمات RoCE، اپتیک و کابل‌کشی است، بنابراین ترافیک آموزشی توزیع‌شده در مقیاس خوشه قابل پیش‌بینی باقی می‌ماند. هر یک از اینها را اشتباه بگیرید و شبکه - نه GPU - به گلوگاه تبدیل می شود.

چرا شبکه های خوشه ای هوش مصنوعی متفاوت است؟

در یک مرکز داده سنتی سازمانی، شبکه ترکیبی از ترافیک کاربر شمال-جنوب، دسترسی به فضای ذخیره‌سازی، مجازی‌سازی و مدیریت را مدیریت می‌کند. ترافیک شرقی-غربی وجود دارد اما به ندرت بار غالب است. در یک خوشه هوش مصنوعی، وضعیت تغییر می کند. سرورهای GPU در حال اجرا، شیب های آموزشی توزیع شده را مبادله می کنند و پارامترها را در هر مرحله از کار همگام می کنند. این ارتباط بخشی از محاسبات است، نه یک عارضه جانبی آن.

اگر یک GPU 30,000 دلاری، 30 درصد از زمان خود را در طول تمام{3}}کاهش عملیات در شبکه صرف کند، خوشه عملاً 30 درصد از ظرفیت محاسباتی خود را برای بیکار ماندن پرداخت می کند. این دلیل اقتصادی است که شبکه های هوش مصنوعی بسیار مورد توجه قرار می گیرند.

سه ویژگی حجم کاری طراحی را هدایت می کند:

• ترافیک شدید شرق-غرب.عملیات ارتباط جمعی مانند همه-کاهش، همه-جمع آوری و کاهش-پراکندگی، انفجارهای همزمان در بسیاری از گره ها به طور همزمان ایجاد می کنند.
• حساسیت به تأخیر{0} دم.یک گره آهسته کل مرحله آموزش را به تاخیر می اندازد. تأخیر قابل پیش بینی بیشتر از تأخیر متوسط ​​اهمیت دارد.
• رشد{0}}را کاهش دهید.خوشه هایی که از 32 GPU شروع می شوند، اغلب در عرض 18 ماه به 256 یا 1024 افزایش می یابند. پارچه باید بدون طراحی مجدد مقیاس شود.

چرا ستون فقرات-برگ متناسب با خوشه‌های هوش مصنوعی است

ستون فقرات-برگ پارچه استاندارد برای مراکز داده در مقیاس فوق‌العاده است زیرا به هر سرور-به-مسیر سرور، تعداد پرش و پهنای باند نظری یکسانی می‌دهد. برای بارهای کاری هوش مصنوعی، این یکنواختی مستقیماً به زمان های گام های آموزشی قابل پیش بینی تر تبدیل می شود.

در توپولوژی برگ- ستون فقرات، سرورهای GPU به سوئیچ‌های برگ متصل می‌شوند و هر برگ به هر ستون فقرات متصل می‌شود. هر ارتباط GPU-به-GPU دقیقاً از یک برگ، یک ستون فقرات و یک برگ دیگر عبور می‌کند. هیچ لایه تجمعی وجود ندارد که تأخیر متغیر یا نقاط خفه را معرفی کند.

تأخیر قابل پیش بینی

مسیریابی-چند مسیری{1}}برابر (ECMP) در سراسر سوئیچ‌های ستون فقرات پخش می‌شود. هنگامی که به درستی با مسیریابی تطبیقی ​​یا متعادل‌سازی بار پویا پیکربندی شود، از برخورد هش‌ها که باعث می‌شود برخی از جریان‌ها بسیار کندتر از سایرین باشند، جلوگیری می‌کند - یک مشکل شناخته شده در پارچه‌های ECMP استاتیک که جریان‌های کم اما بزرگ را حمل می‌کنند، که دقیقاً همان چیزی است که آموزش هوش مصنوعی ایجاد می‌کند.

پهنای باند نصف بالا

پهنای باند دو بخش، توان عملیاتی موجود بین هر دو نیمه مساوی از خوشه است. آموزش هوش مصنوعی از طراحی‌های غیرمسدود یا نزدیک-غیر{3}}بدون مسدود کردن-به-طبق‌بندی ظرفیت لینک بالا برابر یا تقریباً برابر با ظرفیت لینک پایین رو به روی سرورها سود می‌برد. IETF این مفاهیم را تعریف و مورد بحث قرار می دهدRFC 7938، که پارچه‌های Clos مسیریابی شده BGP را پوشش می‌دهد که به طور گسترده در مراکز داده در مقیاس بزرگ-استفاده می‌شوند.

مقیاس آسان‌تر-خروجی

برای افزودن سرورهای بیشتر، برگ های بیشتری اضافه کنید. برای افزودن پهنای باند دوقسمتی بیشتر، خارهای بیشتری اضافه کنید. برای خوشه‌های فراتر از چند هزار پردازنده گرافیکی، توپولوژی فوق-اسپین (5-کلاس مرحله) یا توپولوژی بهینه‌سازی ریل همان اصل را یک لایه بیشتر گسترش می‌دهد.

اجزای اصلی یک شبکه خوشه ای هوش مصنوعی

سرورهای GPU و NIC

NIC جایی است که پارچه با میزبان ملاقات می کند. در خوشه‌های هوش مصنوعی، انتخاب NIC سرعت پورت سوئیچ، انتخاب اپتیک و تراکم کابل‌کشی را در پایین‌دست - هدایت می‌کند.

معیارهای انتخاب برای بار کاری هوش مصنوعی:

• سرعت بندر:200G، 400G یا 800G در هر پورت. مطابقت با تولید GPU و پهنای باند PCIe.
• تولید PCIe:یک NIC 400G به PCIe Gen5 x16 برای جلوگیری از درگیری جانبی میزبان نیاز دارد. PCIe Gen4 x16 با سرعت ~256 گیگابیت بر ثانیه قابل استفاده است.
• پشتیبانی از RDMA و RoCEv2:برای دور زدن کتابخانه‌های ارتباطی GPU مانند NCCL-کرنل لازم است.
• GPUDirect RDMA:اجازه می دهد تا GPU{0}}به-NIC DMA هدایت شود و نسخه های حافظه میزبان حذف شود.
• قابلیت ریل{0} چندگانه:بسیاری از سرورهای هوش مصنوعی از 4 یا 8 NIC در هر گره، یکی در هر جفت GPU، برای توپولوژی های بهینه شده ریلی استفاده می کنند.

یک سرور معمولی 8 GPU امروزه بسته به حجم کاری و بودجه از کارت‌های شبکه 4×400G (یکی در هر دو GPU) یا 8×400G (یکی برای هر GPU) استفاده می‌کند. معماری های مرجع ازمستندات شبکه NVIDIAمبادلات طراحی را با جزئیات پوشش دهید.

کلیدهای برگ و ستون فقرات

معیارهای انتخاب سوئیچ برای پارچه های هوش مصنوعی با انتخاب سازمانی متفاوت است. اندازه بافر، رفتار کنترل تراکم و تله متری بیش از وسعت ویژگی مهم هستند.

• هر-سرعت و ریشه در پورت:سوئیچ 51.2 ترابیت بر ثانیه ASIC پورت های 64×800G یا پورت های 128×400G را ارائه می دهد. رادیکس تعیین می کند که پارچه چقدر می تواند صاف باشد.
• معماری بافر:بافرهای عمیق، انفجارهای از بین رفته را جذب می کنند اما تأخیر را اضافه می کنند. بافرهای کم عمق تأخیر را کاهش می دهند اما به کنترل دقیق تراکم نیاز دارند.
• مجموعه ویژگی RoCE:علامت‌گذاری ECN، PFC، DCQCN یا کنترل ازدحام معادل، و مدیریت صحیح صف‌های اولویت پایان-تا-.
• تله متری:تله متری شبکه درون باند (INT)، گزارش عمق صف در هر-و شمارشگرهای وضوح میکروثانیه- برای علامت های ECN و مکث های PFC.

اپتیک، کابل DAC و AOC

در 400G و 800G، کارخانه کابل کشی به یک مشکل مهندسی واقعی تبدیل می شود. عوامل شکل، بودجه پیوندها و پیکربندی‌های شکست همگی به برنامه‌ریزی اولیه نیاز دارند.

• DAC (اتصال مستقیم مس):تا 3 متر برای 400G، کمترین هزینه و کمترین قدرت. در مقیاس سنگین و حجیم.
• AOC (کابل نوری فعال):تا 30 متر، نازک‌تر از DAC، اما طول ثابت-و مصرف انرژی نوری در هر دو طرف.
• اپتیک قابل اتصال:فراتر از فاصله AOC مورد نیاز است. فاکتورهای فرم QSFP-DD و OSFP بر 400G/800G غالب هستند. مجموعه‌های فیبر MPO/MTP اتصالات فیبر موازی-را انجام می‌دهند.

برای پیوندهای بین-رک و کابل‌کشی ساختاریافته در 400G/800G، اپتیک‌های موازی روی پایانه‌های MPO اکنون استاندارد هستند. انتخاب بین کابل‌های ترانک و مجموعه‌های شکست بستگی به تخصیص پورت سوئیچ شما دارد - به ما مراجعه کنیدراهنمای کابل شکست MPOبرای منطق انتخاب عملی، و گسترده ترمقایسه تنه MPO در مقابل شکستهنگام برنامه ریزی برای دویدن از برگ-تا-.

RoCE و اترنت بدون اتلاف در AI Fabrics

RoCEv2 (RDMA over Converged Ethernet v2) حمل و نقل اترنت غالب برای بار کاری هوش مصنوعی است. این به NIC ها اجازه می دهد تا داده ها را مستقیماً بین مناطق حافظه GPU بدون دخالت هسته در هر دو طرف منتقل کنند. NCCL، کتابخانه ارتباطی GPU که زیربنای تقریباً تمام چارچوب‌های آموزشی توزیع شده است، زمانی که InfiniBand در دسترس نیست از RoCEv2 استفاده می‌کند.

RoCE زمانی که به درستی پیکربندی شده باشد به خوبی کار می کند. هنگامی که به درستی پیکربندی نشده باشد، به طرز نادرستی شکست می خورد. راانجمن تجارت InfiniBandمشخصات RoCE را منتشر می‌کند، و اکثر فروشندگان NIC و سوئیچ، راهنماهای پیکربندی دقیقی را منتشر می‌کنند که باید از انتها-تا- دنبال شوند.

چرا رفتار بدون ضرر مهم است

RDMA با فرض حمل و نقل بدون تلفات طراحی شد. هنگامی که بسته‌ها سقوط می‌کنند، بازیابی RDMA گران است - برو-به عقب-انتقال مجدد N می‌تواند یک مرحله آموزشی را برای میلی‌ثانیه‌ها متوقف کند، که نسبت به بودجه RDMA{4} در مقیاس میکروثانیه بسیار زیاد است.

برای تقریب رفتار بدون تلفات در اترنت، فابریک از دو مکانیسم استفاده می کند که با هم کار می کنند:

• PFC (کنترل جریان اولویت، IEEE 802.1Qbb):یک سوئیچ ترافیک ورودی را در یک صف اولویت خاص زمانی که بافر آن پر می شود، متوقف می کند. این مکانیزم آخرین-راه حل است.
• ECN (اعلان ازدحام صریح، RFC 3168):هنگامی که صف ها به آستانه نزدیک می شوند، بسته ها را علامت گذاری می کند. NIC سرعت ارسال خود را قبل از پر شدن بافرها کاهش می دهد و در حالت ایده آل از PFC به طور کامل اجتناب می کند.

هدف این است که ECN تقریباً تمام مدیریت ازدحام را با PFC به عنوان یک شبکه ایمنی انجام دهد. اگر مکث های مکرر PFC را در ترافیک وضعیت ثابت- مشاهده کردید، آستانه ECN شما اشتباه است یا اندازه پارچه شما کمتر است.

شکست های رایج در استقرار RoCE

نحوه طراحی یک شبکه خوشه هوش مصنوعی: یک چارچوب کاری

این بخشی است که بیشتر مقالات "شبکه هوش مصنوعی" از آن صرف نظر می کنند. هفت مرحله زیر ورودی ها و خروجی های مشخصی را در هر مرحله به شما ارائه می دهد.

مرحله 1: حجم کار و مقیاس را تعریف کنید

ورودی ها:نوع بار کاری (پیش‌آموزش، تنظیم دقیق، استنتاج، ترکیبی)، تعداد GPU هدف امروز، تعداد GPU هدف در 18 ماه، محدوده اندازه مدل.

خروجی:نمایه حجم کاری که سرعت NIC و تحمل بیش از حد اشتراک را اعلام می کند. پیش‌آموزش بزرگ مدل‌های مرزی نیازمند پارچه‌های 400G+ غیر مسدودکننده است. بارهای کاری تنظیم دقیق می تواند اشتراک بیش از حد 2:1 را تحمل کند. خوشه‌های استنتاج اغلب به پهنای باند کمتر اما تأخیر دنباله کمتری نیاز دارند.

مرحله 2: سرعت NIC و تعداد در هر سرور را انتخاب کنید

منطق تصمیم گیری:

• پیش‌آموزش مدل‌های بزرگ، سرورهای 8-GPU ← 4–8×400G کارت شبکه در هر سرور، یا 4×800G
• آموزش متوسط-، سرورهای 8-GPU → 2–4× 400G NIC در هر سرور
• سرویس استنتاج ← 1–2× 200G یا 400G کارت شبکه در هر سرور، بسته به موازی بودن مدل

پهنای باند PCIe روی هاست را تأیید کنید. یک پورت 400G برای اجرا با نرخ خط به PCIe Gen5 x16 نیاز دارد. دو برابر شدن به 800G نیاز به Gen6 یا تقسیم در دو اسلات دارد.

مرحله 3: لایه برگ را اندازه کنید

نمونه کار شده - 32-خوشه گره، 8 پردازنده گرافیکی در هر گره، 4× 400G کارت شبکه در هر گره:

• مجموع پورت‌های مورد نیاز-روی سرور: 32 × 4=128 پورت در 400G
• پهنای باند لینک پایین برای هر گره: 4 × 400=1.6 ترابیت در ثانیه
• کل پهنای باند پایین پیوند خوشه: 32 × 1.6=51.2 ترابیت بر ثانیه

با استفاده از یک سوئیچ برگ 64 پورت 400G (ظرفیت کل 25.6 ترابیت بر ثانیه)، هر برگ می تواند 32 پورت سرور را به هم متصل کند و از 32 پورت باقی مانده به عنوان لینک بالا استفاده کند. با 4 برگ، تمام 128 پورت سرور را پوشش می دهید. هر برگ 32 × 400 گرم=12.8 ترابایت در ثانیه پیوند بالا به ستون فقرات ایجاد می کند.

مرحله 4: لایه ستون فقرات را اندازه کنید

برای طراحی غیرمسدود کننده (1:1)، ظرفیت کل لینک بالا باید با کل ظرفیت لینک پایین برابر باشد. از مرحله 3:

• کل پیوند بالا برگ مورد نیاز: 4 برگ × 12.8 ترابیت در ثانیه=51.2 ترابیت در ثانیه
• اگر هر ستون دارای پورت 32×400G=12.8 ترابیت بر ثانیه باشد، به 4 اسپین نیاز دارید.
• هر برگ با استفاده از 8 لینک بالا در هر ستون (8 × 400 گرم × 4=12.8 ترابایت در ثانیه در هر برگ - منطبق) به هر 4 خار متصل می شود

در صورت استفاده از سوئیچ های 400G 64 پورت، هر ستون دارای ظرفیت اضافی برای رشد خوشه است که برای برنامه 18 ماهه از مرحله 1 مفید است.

مرحله 5: نسبت اضافه اشتراک را تنظیم کنید

مرحله 6: محاسبه، ذخیره سازی و مدیریت ترافیک جدا

سه گزینه به ترتیب افزایش انزوا:

• پارچه مشترک با کلاس های QoS:محاسبه، ذخیره سازی و مدیریت بر روی اولویت های جداگانه DSCP. کمترین هزینه؛ نیاز به پیکربندی دقیق QoS دارد.
• VLAN/VRFهای جدا شده منطقی:همان سخت افزار، هواپیماهای کنترل جداگانه. برای چند{1}}خوشه‌های مستاجر مفید است.
• پارچه های جدا از هم فیزیکی:NIC های اختصاصی، سوئیچ ها و کابل کشی برای محاسبات در مقابل ذخیره سازی. بالاترین هزینه؛ در خوشه‌های مدل مرزی که در آن هر گونه اختلاف غیرقابل قبول است، رایج است.

ترافیک ذخیره سازی برای هوش مصنوعی به خودی خود سنگین است - ایست بازرسی برای یک مدل بزرگ می تواند صدها گیگابایت را در فواصل کوتاه جابه جا کند. برای آن به صراحت برنامه ریزی کنید. یک نیروگاه کابل کشی ساخت یافته با چگالی بالا-کابل های صندوق عقب MPO/MTPاجرای پارچه های موازی در زیرساخت های فیزیکی یکسان را ساده می کند.

مرحله 7: اعتبارسنجی قبل از تولید

آزمایش‌های سطح شبکه{0}}مشکلاتی را نشان می‌دهند. آزمون‌های سطح بار کاری{2}} بقیه را می‌گیرند.

• پهنای باند:iperf3 یا ib_send_bw بین هر جفت گره. باید به 90% + نرخ خط NIC برسد.
• تأخیر:ib_read_lat یا مشابه؛ توزیع چک، نه فقط متوسط. P99.9 بیش از میانگین اهمیت دارد.
• از دست دادن بسته:تست خیساندن 24-ساعته را تحت بار انجام دهید. هر گونه ضرر غیر صفر در کلاس ترافیک RoCE یک مشکل است.
• رفتار علامت گذاری ECN:بررسی علائم قبل از آتش سوزی PFC ظاهر می شود. اگر مکث های PFC در حالت ثابت مکرر است، دوباره تنظیم کنید.
• ارتباطات جمعی:آزمایش‌های NCCL (all_reduce_perf، all_gather_perf) را در اندازه خوشه کامل اجرا کنید. مقایسه با شماره های مرجع فروشنده
• آزمون سطح شغلی-:یک کار آموزشی نماینده را برای 4 تا 6 ساعت اجرا کنید. مقادیر پایدار - استفاده از GPU زیر 50% در یک مدل با اندازه مناسب-معمولاً نشان دهنده مشکل شبکه است.

شبکه مرکز داده سنتی در مقابل AI Spine-Leaf Fabric

Ethernet RoCE در مقابل InfiniBand: راهنمای تصمیم گیری سریع

این سوال تقریباً در هر پروژه خوشه هوش مصنوعی مطرح می شود. هر دو کار می کنند. انتخاب معمولاً به تناسب عملیاتی بستگی دارد، نه عملکرد خالص.

• InfiniBand را انتخاب کنید اگر:تیم شما در حال حاضر از پارچه های InfiniBand استفاده می کند، شما ساده ترین مسیر را برای حمل و نقل بدون تلفات می خواهید، یا یک معماری مرجع کاملاً یکپارچه فروشنده-را خریداری می کنید.
• اگر Ethernet RoCE را انتخاب کنید:تیم عملیات شما اترنت{0}}بومی است، گزینه‌های سوئیچ چند فروشنده می‌خواهید، باید بافت هوش مصنوعی را با شبکه‌های مرکز داده موجود ادغام کنید، یا پیش‌بینی می‌کنید که مقیاسی فراتر از آنچه توپولوژی‌های InfiniBand کنونی به طور خالص پشتیبانی می‌کنند، شود.

کنسرسیوم Ultra Ethernet که در سال 2023 تشکیل شد، فعالانه روی استانداردسازی پیشرفت‌های اترنت به‌طور خاص برای بارهای کاری هوش مصنوعی کار می‌کند. برای اکثر خوشه های جدید در سال 2026، Ethernet RoCE یک پیش فرض قابل دفاع است، مگر اینکه دلیل خاصی برای انتخاب دیگری وجود داشته باشد.

اشتباهات رایجی که باید از آنها اجتناب کنید

ارتقاء سوئیچ ها بدون بررسی NIC

یک پارچه سوئیچ 800G هیچ کاری برای شما نمی کند اگر کارت های کارت شبکه شما با 400 گیگ کار کنند یا پهنای باند PCIe میزبان شما تمام شود. ابتدا سمت میزبان و سپس سمت سوییچ را طراحی کنید. PCIe Gen5 x16 یک پورت واحد را به حدود 504 گیگابیت بر ثانیه-توان عملیاتی جهانی - راحت برای 400G، حاشیه برای 800G محدود می‌کند.

بهینه سازی سرعت پورت اما نادیده گرفتن تراکم کابل

در خروجی 64-پورت 400G، کابل کشی زیر هر سوئیچ می تواند بدون برنامه ریزی از نظر فیزیکی غیرقابل مدیریت شود. در صورت لزوم از کابل‌های شکسته استفاده کنید، فیبرها را از طریق مسیرهای ساختاریافته هدایت کنید و انواع اتصالات را استاندارد کنید. کیفیت کانکتور و پایان کار در سرعت های بالا مهم است - ماراهنمای انواع کانکتور فیبر نوریمبادلات بین LC، MPO و عوامل شکل{0}}تراکم بالا در حال ظهور را پوشش می‌دهد.

در نظر گرفتن RoCE به عنوان Plug-و-Play

بزرگ‌ترین اشتباه طراحی در خوشه‌های هوش مصنوعی واقعی، انتخاب نکردن سوئیچ اشتباه است. زمان بودجه برای تنظیم آستانه های ECN، اولویت های PFC و سازگاری MTU. قبل از اجرای هر حجم کاری تولید، یک مرحله اعتبار سنجی اختصاصی را برنامه ریزی کنید.

اختلاط تمام ترافیک روی یک پارچه بدون QoS

تکثیر ذخیره سازی، عوامل نظارتی و ترافیک مدیریتی اگر بافرها را با ترافیک محاسبه به اشتراک بگذارند، می توانند زمان مراحل آموزش را از بین ببرند. یا آنها را به صورت فیزیکی جدا کنید یا کلاس های QoS سختگیرانه را با اولویت های جداگانه و پیکربندی ECN اجرا کنید.

ساختمان فقط برای خوشه امروزی

بیشتر خوشه های هوش مصنوعی در عرض دو سال پس از استقرار اولیه، 4 تا 8× رشد می کنند. ظرفیت ریشه سوئیچ و ستون فقرات را انتخاب کنید که امکان انبساط غیر مخرب-را فراهم کند. کشیدن کابل ها در یک مرکز داده زنده هوش مصنوعی گران است. ظرفیت مجرای برنامه ریزی و پچ در زمان استقرار ارزان است.

چه زمانی باید از 400 گرم به 800 گرم افزایش یافت

کارت‌های شبکه و سوئیچ‌های 800G در دسترس هستند اما برای هر پورت گران‌تر هستند. زمانی که:

• به ازای هر{0}}نیاز به پهنای باند GPU بیشتر از چیزی است که 400G می‌تواند ارائه کند - برای مثال، H100 و GPUهای جدیدتر با NVLink 5 پهنای باند خارجی بیشتری را انتظار دارند.
• NCCL همه-مقیاس زمان را با اندازه خوشه ضعیف کاهش می‌دهد، که نشان‌دهنده اشباع شبکه است
• تراکم کابل در 400G از نظر فیزیکی غیرقابل مدیریت می شود - پورت های 800G کمتر می توانند جایگزین پورت های 400G بیشتر شوند
• انتظار می‌رود نسل بعدی GPU در نقشه راه شما به آن در پنجره استهلاک خوشه نیاز داشته باشد
• شما در حال ساختن یک کلاستر آموزشی{0}}مدلی هستید که در آن زمان بیکاری محاسبه به طور قابل توجهی بیشتر از ارتقاء اپتیک است.

برای بیشتر خوشه‌های تولیدی در سال 2026، 400G تعادل مناسب هزینه، بلوغ اکوسیستم و قابلیت باقی می‌ماند. 800G در بالاترین سطح و به عنوان سرمایه‌گذاری آینده برای خوشه‌هایی که امروز ساخته می‌شوند و انتظار می‌رود برای 4 تا 5 سال اجرا شوند، منطقی است.

نتیجه گیری

قوی ترین شبکه خوشه ای هوش مصنوعی شبکه ای نیست که سریع ترین سوئیچ ها را داشته باشد. این یکی است که در آن انتخاب NIC، اندازه برگ / ستون فقرات، اشتراک بیش از حد، پیکربندی RoCE، جداسازی ترافیک و کابل کشی فیزیکی همگی از یکدیگر و حجم کاری که برای آن انتخاب شده اند پشتیبانی می کنند.

از حجم کار و برنامه رشد 18 ماهه شروع کنید. نیازهای پهنای باند را در هر لایه با استفاده از اعداد واقعی محاسبه کنید، نه فقط قوانین سرانگشتی. پایان RoCE را پیکربندی کنید-تا-به معیارهای ارتباط جمعی واقعی پایان داده و اعتبار سنجی کنید. بودجه برای کارخانه کابل کشی - در 400G و 800G، لایه فیزیکی دیگر بی اهمیت نیست.

خوشه‌ای که پردازنده‌های گرافیکی خود را با استفاده بیش از 95% در هر مرحله آموزشی مشغول نگه می‌دارد، همان چیزی است که به همه این لایه‌ها توجه کرده است. خوشه‌ای که با سوئیچ سریع‌تر و پارچه کندتر عرضه می‌شود، سال‌ها صرف توضیح دلیل بی‌کار بودن پردازنده‌های گرافیکی خواهد شد.

ادامه مطلب

• RFC 7938 - BGP در مراکز داده بزرگ-
• InfiniBand Trade Association - مشخصات RoCE
• مستندات شبکه NVIDIA
• راهنمای نصب کابل فیبر نوری
• درج ضرر در مقابل ضرر بازگشت توضیح داده شده است