زمانی که سوئیچ یا نقطه پایانی قبلاً از یک قفس بومی QSFP-DD استفاده میکند، زمانی که پایگاه بزرگی از ماژولهای خانوادگی و فیبر واجد شرایط QSFP-باید در خدمت بمانند، و زمانی که پلتفرم میتواند ماژولهای انتخابی را با هر پورت پر شده خنک کند، QSFP-DD برای یک خوشه هوش مصنوعی مناسب است. زمانی که سرورها و سوئیچهای GPU در اطراف قفسهای OSFP بومی ساخته میشوند، یا زمانی که اپتیکهایی که واقعاً به آنها نیاز دارید، به فضای بالای حرارتی بیشتری نیاز دارند، نقطه شروع اشتباه است.
فاکتور فرم اولین تصمیم نیست. تقریباً چهارم است. طراحی شبکه ای که از اولین دوره آموزشی تولید خود جان سالم به در می برد، با رابط های سرور، تعداد ریل ها، توپولوژی هدف، نسبت اشتراک بیش از حد قابل قبول و مسیر کابل اندازه گیری شده شروع می شود. فقط در این صورت است که شکل ماژول اهمیت دارد.
این راهنما با یک محاسبه ظرفیت کارکرده، یک جدول انتخاب پیوند-و یک ترتیب اعتبارسنجی که میتوانید به یک تیم آزمایشگاهی تحویل دهید، این ترتیب را از انتها به انتها ارائه میکند.

کدام فرم فاکتور را باید انتخاب کنید؟
| شرط نقطه پایانی | اولین انتخاب برای ارزیابی |
|---|---|
| هر دو انتهای اصلی QSFP-DD / QSFP-DD800 | QSFP-DD |
| هر دو به طور بومی OSFP به پایان می رسد | OSFP |
| مهاجرت از پایه نصب شده 400G QSFP | QSFP{0}}DD، مشروط بر اینکه میزبان حالت پورت مورد نیاز را پشتیبانی کند |
| نوری-بالا در پلتفرمی که قفس اصلی آن OSFP است | OSFP |
| یک سر OSFP، دیگری QSFP-DD | یک -فرم-ضریب متقاطع-DAC/AEC، یا یک پیوند نوری با PMD، نرخ خط و حالت FEC منطبق در هر دو انتها |
قانون اساسی کوتاه است:قفسی را که در نقطه پایانی بومی است انتخاب کنید، سپس نرخ خط الکتریکی، رابط نوری، حالت FEC، کلاس قدرت و سیستم عامل را برای آن شماره قطعه دقیق بررسی کنید.همه چیز زیر کار مورد نیاز برای اعمال صادقانه آن قانون است.
پنج تصمیم، به ترتیب
اکثر ساختهای بد شبکههای هوش مصنوعی ناشی از تصمیمگیری خارج از ترتیب - ابتدا انتخاب یک ماژول و کشف محدودیت بعداً هستند. هر مرحله زیر، مرحله بعدی را تغذیه میکند، و هر کدام چیزی را که میتوانید در مرحله بعد از آن بخرید، تغییر میدهد.
- نقاط پایانی را تأیید کنید.نوع قفس بومی و حالت پروتکل در هر دو انتهای هر پیوند.
- محاسبه ظرفیتپورتها در هر گره، در هر ریل، سپس ظرفیت پایین لینک و لینک بالا در نسبت اشتراک بیش از حد هدف شما.
- پیوند فیزیکی را انتخاب کنید.طول مسیر اندازه گیری شده، کارخانه فیبر، اتصال دهنده، نیاز شکست.
- شماره قطعه را تایید کنید.FEC، نرخ خط، کلاس قدرت، سیستم عامل، ویرایش CMIS، صلاحیت فروشنده.
- استقرار بر اساس دامنه شکست.ابتدا آزمایشگاه، سپس یک قفسه، ریل یا واحد مقیاس پذیر در یک زمان.
مرحله 1: فرم فاکتور، پروتکل و رابط نوری را از هم جدا کنید
این سه چیز دائماً در یک تصمیم جمع میشوند، و این فروپاشی جایی است که بیشتر شگفتیهای سازگاری سرچشمه میگیرد. آنها لایه های جداگانه با اسناد حاکم جداگانه هستند.
فاکتور فرمابعاد مکانیکی، رابط میزبان، خطوط الکتریکی، رفتار مدیریت و طراحی حرارتی را تعریف می کند. راQSFP{0}}مشخصات سخت افزاری DD MSAنیازمندیهای مکانیکی، الکتریکی و حرارتی را پوشش میدهد و بازبینیهای بعدی آن همان پورت میزبان هشت خط-را به انواع 800G و 1.6T گسترش میدهد و در عین حال سازگاری با خانواده QSFP را حفظ میکند. اگر قبل از ادامه کار، پیشینه مکانیکی و مدیریتی را می خواهید، ماQSFP{0}}بررسی کلی فنی DDخود فاکتور فرم را با جزئیات پوشش می دهد.
پروتکل- اترنت، RoCEv2 یا InfiniBand - توسط NIC، سوئیچ ASIC، میانافزار و پیکربندی پورت تعیین میشود، نه بر اساس شکل قفس. یک ماژول QSFP{4}}DD هرگز نباید به عنوان "پشتیبانی از اترنت و InfiniBand" به عنوان ویژگی فاکتور فرم توصیف شود. این قابلیت متعلق به میزبان است و باید در پورت خاص تأیید شود.
رابط نوری- DR8، FR4، SR8، LR - سازماندهی خط، دسترسی و کاربرد را توصیف میکند. این کانکتور، تعداد فیبر، نقشه شکست یا نرخ خطوط الکتریکی را توصیف نمی کند. دو ماژول دارای برچسب نوری یکسان می توانند در هر یک از آنها متفاوت باشند. خود سیگنالینگ توسط IEEE تعریف می شود نه توسط MSA:IEEE Std 802.3df-2024پارامترهای MAC و لایه های فیزیکی را برای عملکرد 800 گیگابیت بر ثانیه و PHY های اضافی 400 گیگابیت بر ثانیه اضافه کرد.
رفتار مدیریت لایه چهارم و ساکت تر است. هم ماژولهای QSFP-DD و هم OSFP از طریق CMIS مدیریت میشوند، و بازبینی برای رفتار بهروزرسانی میانافزار، انتخاب برنامه و زمانبندی ماژول میزبان اهمیت دارد. ویرایش های منتشر شده در فهرست شده استموافقت نامه های اجرایی OIF.
مرحله 2: اندازه شبکه از پورت های سرور، نه تعداد GPU
تعداد GPU به شما می گوید که یک خوشه چقدر بزرگ است. به شما نمی گوید که شبکه باید چه چیزی را حمل کند، زیرا شبکه فقط رابط های سرور را می بیند.
دو مثال این نکته را نشان می دهد. یک سیستم NVIDIA DGX H100/H200 هشت رابط فابریک ConnectX-7 محاسباتی- را با حداکثر سرعت 400 گیگابیت بر ثانیه در معرض نمایش میگذارد - اما آنها هشت قفس فیزیکی نیستند. معماری مرجع SuperPOD پارچه محاسباتی ارائه شده را نشان می دهدچهار فرستنده گیرنده-دو پورتی که به هر هشت GPU دسترسی دارند. در مقابل، یک DGX B300 ارائه می شودهشت پورت شبکه در سینی GPUهشت رابط ConnectX-8 را تا 800 گیگابیت بر ثانیه ارائه می دهد. تعداد GPU یکسان، موجودی پورت کاملاً متفاوت، تعداد کابل و صورتحساب اپتیک.
بنابراین، قبل از اینکه به یک برگه داده سوئیچ نگاه کنید، برای هر نوع گره مستند کنید: محاسبه-درگاههای فابریک، نرخ پورت، NIC-به{2}}GPU یا نقشهبرداری ریلی، نوع قفس بومی، حالتهای پروتکل پشتیبانی شده، به علاوه رابطهای ذخیرهسازی و مدیریت جداگانه. این موجودی، نه شماره GPU، ورودی هر محاسبه ای است که در ادامه می آید.
محاسبه ظرفیت کاری
یک واحد مقیاسپذیر از 32 گره، هر کدام با هشت پورت محاسباتی 400G، یک پورت در هر ریل، در یک طراحی بهینه ریل-. هر بار یک ریل کار کنید:
- ظرفیت داون لینک در هر برگ ریل= 32 گره × 1 پورت × 400G =12.8 ترابایت بر ثانیه
- در 1:1 (غیر-مسدود کننده), ظرفیت uplink مورد نیاز=12.8 Tb/s → 12,800 ÷ 800 =16 × 800G uplinks
- در 2:1, ظرفیت uplink مورد نیاز=6.4 Tb/s →8 × 800G uplinks
سپس نتیجه را در مقابل ریشه سوئیچ بررسی کنید: 32 لینک پایین به اضافه 16 لینک بالا به 48 پورت قابل استفاده در آن برگ نیاز دارند که انتخاب سوئیچ شما را بلافاصله محدود می کند. پیوندهایی را برای افزونگی و تعمیر و نگهداری اضافه کنید و در هر ریل - هشت ریل، هشت گروه برگ، نه یک عدد مجموع، تکرار کنید. اینجاست که 800G جایگاه خود را به دست میآورد یا نمیکند: در اینجا تعداد پورتهای uplink را نصف میکند، که یک آرگومان ریشهای است، نه یک آرگومان پهنای باند.
پارچههای درختی{0}}بهینهسازی و چربی متعادل{1}}راه آهن الگوی اسناد NVIDIA برای خوشههای آموزشی بزرگ هستند -معماری مرجع DGX H100 SuperPODاز یک درخت پرچرب-با هشت اتصال در هر-سیستم استفاده میکند. اینکه آیا این الگو با حجم کاری شما مطابقت دارد یا نه یک قضاوت طراحی است، اما روش محاسبه فوق صرف نظر از توپولوژی برقرار است.
مرحله 3: هر چهار پارچه را برنامه ریزی کنید، سپس به ماژول ها بازگردید
یک خوشه هوش مصنوعی یک شبکه نیست. معماری های مرجع DGX SuperPOD جدا هستندمحاسبات، ذخیره سازی، در{0}}مدیریت باند و خارج از-مدیریت باند-پارچه ها، و هر یک نیاز پورت و اپتیک خود را تولید می کند.
راپارچه را محاسبه کنیدتبادل گرادیان، همگام سازی پارامترها، مجموعه ها و عملیات حافظه راه دور را انجام می دهد. سختترین نیازهای تأخیر، تراکم و تقارن مسیر-و جایی است که آرگومان 800G-در مقابل-400G در واقع حل میشود.
راپارچه ذخیره سازیداده های آموزشی، پست های بازرسی و مصنوعات مدل را حمل می کند. ظرفیت آن بستگی به قالب مجموعه داده، نرخ ضربه حافظه پنهان، موازی بودن بارگذار داده، فراوانی نقطه بازرسی و شدت ابرداده - دارد، به همین دلیل است که "400G برای ذخیره سازی کافی است" یک پیش فرض امن نیست. معماریهای مرجع عملکرد ذخیرهسازی را در سطح سیستم مشخص میکنند و دقیقاً آن را از بافت محاسباتی دور نگه میدارند تا این دو بار کاری نتوانند به یکدیگر آسیب برسانند.
رادر -شبکه مدیریت باندتامین، ترافیک زمانبندی، ثبت، مخازن و نظارت را انجام می دهد. راخارج از-شبکه باند-به BMC ها، پورت های مدیریت سوئیچ و قدرت رک می رسد و باید تا زمانی که پارچه تولید شکسته است، در دسترس باقی بماند. آن را بهعنوان یک مسیر بازیابی و امنیتی با لینک بالا خود در نظر بگیرید، نه بهعنوان ترافیک کمسرعت-.
برای انتخاب ماژول، نتیجه عملی این است: هر پارچه تعداد پورت، مشخصات فاصله و نوع قفس خاص خود را دارد و اغلب متفاوت هستند. یک خوشه می تواند OSFP در محاسبات و QSFP{1}}DD در ذخیره سازی و مدیریت بدون هیچ مشکلی باشد.
مرحله 4: 400G یا 800G را از یک محدودیت، نه یک روند انتخاب کنید
یک پورت 800G ظرفیت اسمی را دو برابر می کند. ترافیک ایجاد شده توسط برنامه شما را کاهش نمی دهد. مقدار آن تقریباً همیشه ساختاری است - پیوندهای کمتر، راندمان ریشه بهتر، یا نقطه پایانی 800G بومی.
400G همچنان انتخاب بهتری استهنگامی که نقاط پایانی محاسباتی به طور طبیعی 400G هستند، پارچه فعلی از قبل به هدف مسدود کننده خود رسیده است، خوشه در داخل ریشه در دسترس رشد می کند، یک ماژول واجد شرایط 400G و پایه کابل کشی از قبل وجود دارد، یا محدودیت های قدرت و خنک کننده باعث می شود 800G غیرجذاب باشد. با استفاده از 800Gلینک های بالاسرورهای بالای 400G هنوز کاملاً معقول است - اما آن را از حساب پورت بالا توجیه کنید، نه از روی برچسب.
800G طراحی را بهبود می بخشدوقتی سرورها رابطهای 800G بومی را در معرض نمایش میگذارند، زمانی که بسیاری از جریانهای 400G باید در پیوندهای ستون فقرات کمتری جمع شوند، وقتی تعداد پورت سوئیچ محدودیت اتصال است، یا زمانی که خروج از 800G به رابطهای فرزند کمتر-سرعت انتقال را ساده میکند. دقیقاً بیان شد: 800G می تواند تعداد پیوندهای فیزیکی یا پورت های سوئیچ را کاهش دهددر طرح هایی که تجمع و ریشه محدودیت های محدود کننده هستند. به عنوان قانون طبیعت این کار را نمی کند.

مهاجرت ترکیبی{0}}به مستندات صریح نیاز دارد
Breakout جایی است که طرحهای با سرعت ترکیبی-بیصدا از کار میافتند. NIC های مدرن این را به جای ثابت کردن - NVIDIA's ConnectX-8 قابل تنظیم می کننداسناد تقسیم پورت-یک قفس OSFP 800G را نشان می دهد که در حال پیکربندی مجدد به دو درگاه 400 گیگابیتی یا هشت پورت 100 گیگابیتی است که هر کدام به تغییر پیکربندی{3}}سطح سیستم عامل و چرخه برق نیاز دارند. این انعطاف فقط در جایی وجود دارد که فروشنده آن را آزمایش و منتشر کرده باشد.
بنابراین یک طرح انتقال باید به ازای هر پورت بیان کند: کدام پورتها با چه سرعتی اجرا میشوند، آیا میزبان حالت شکست مورد نظر را پشتیبانی میکند، نرخ خط الکتریکی در هر دو انتها، اینکه آیا شکست منطقی، نوری یا کابلی- است، حالت FEC که هر رابط کودک نیاز دارد، آیا تعداد فیبر موجود و نوع اتصال میتواند دوباره استفاده شود، و نظارت چگونه هر پورت فرزند را شناسایی میکند. قرار دادن یک ماژول با سرعت کمتر-همه حالت میزبان را در دسترس قرار نمی دهد.
QSFP-DD در مقابل OSFP
| عامل تصمیم گیری | QSFP-DD | OSFP |
|---|---|---|
| QSFP{0}}سازگاری خانوادگی | Native، جایی که میزبان از حالت پشتیبانی می کند | برای برخی از ماژولها از طریق یک آداپتور{0}}ساختشده ممکن است |
| اندازه ماژول | کوچکتر | بزرگتر |
| طراحی حرارتی | طراحی-هیت سینک سواری؛ بررسی در جمعیت کامل | هیت سینک یکپارچه یا سواری؛ MSA کلاس های توان بالاتر را تعریف می کند |
| استفاده معمولی از سیستم هوش مصنوعی- | سوئیچهای اترنت، پلتفرمهای سرعت ترکیبی- | چندین پلت فرم-GPU و InfiniBand با عملکرد بالا |
| قاعده تصمیم گیری | ترجیح می دهند زمانی که نقاط پایانی بومی QSFP هستند{0}}موضوع استفاده مجدد از DD و QSFP | ترجیح می دهند زمانی که نقاط پایانی OSFP بومی هستند یا اپتیک به انرژی آن نیاز دارد |
دو ادعا نیاز به محدودیت دارند. اول، "OSFP هیچ سازگاری با عقب نیست" بسیار گسترده است -OSFP MSAسازگاری QSFP را از طریق یک آداپتور اختصاصی مستند می کند و مشخصات ماژول آن کلاس های توان بالاتر و گزینه های هیت سینک یکپارچه- را تعریف می کند که به OSFP شهرت حرارتی آن را می بخشد. دوم اینکه شهرت یک سقف مشخصات است نه تضمین. اینکه آیا یک شاسی معین واقعاً میتواند ماژولهای کلاس 30 وات{4}} را در هر قفس اجرا کند به طراحی قفس، جهت جریان هوا، دمای ورودی، خطمشی فن،-دریافت پورت مجاور و محدودیتهای خود فروشنده سیستم بستگی دارد.
به همین دلیل است که-تأیید سنجی حرارتی کامل جمعیت غیرقابل مذاکره-است: یک ماژول که در یک پورت عبور میکند میتواند از حد دمای مورد-ش فراتر رود وقتی همه 32 یا 64 پورت روشن هستند، و دوباره زمانی که یک فن یا منبع تغذیه از کار بیفتد. سیستم پر شده را در دمای ورودی واقعی خود تست کنید.
اگر سرور OSFP است و سوئیچ QSFP{0}}DD است، در مقابل بازتاب استاندارد مقاومت کنید. آداپتورها فاصله مکانیکی، جریان هوا، قدرت، سیگنال{2}}یکپارچگی، موجودی و ملاحظات پشتیبانی را اضافه می کنند. کابل فاکتور متقاطع-شکل{5}} واجد شرایط، یا پیوند نوری با PMD و FEC منطبق در هر انتها، اغلب تمیزتر از جایگزین کردن سخت افزار برای مطابقت دادن اشکال است.

مرحله 5: پیوند را بر اساس فاصله اندازه گیری شده و فیبر موجود انتخاب کنید
ظرفیت و نقاط پایانی اکنون سرعت پورت و قفس را ثابت کردهاند. فاصله و کارخانه فیبر نصب شده همه چیز را برطرف می کند. به عنوان یک دستورالعمل مهندسی و نه یک قانون، کوتاهترین پیوند از نظر فنی معتبر معمولاً سادهترین پیوند برای کار است - اما انعطافپذیری، قطر کابل، قابلیت سرویسدهی و الزامات شکست همگی در مقابل آن هستند.
| مسیر | گزینه معمولی | چه چیزی را تایید کنیم |
|---|---|---|
| داخل قفسه-، بسیار کوتاه | DAC غیرفعال | طول دقیق و نوع کابل در هر دو انتها پشتیبانی می شود. شعاع خم شدن؛ وزن |
| کوتاه اما فراتر از مس غیرفعال | AEC / ACC | مصرف برق، تأخیر اضافه شده، انسداد جریان هوا، صلاحیت فروشنده، پشتیبانی از حالت پورت |
| نوری کوتاه، طول ثابت قابل قبول است | AOC | قابلیت سرویس دهی - یک خرابی جایگزین کل مجموعه می شود |
| چند حالته، در ردیف- ردیف به مجاور- | اپتیک موازی کلاس SR- | درجه فیبر و رسیدن به محدودیت ها؛ ما را ببینیدراهنمای محدودیت های فاصله OM1–OM5 |
| تک حالت-زیر-کیلومتر، شکست مورد نظر | اپتیک موازی کلاس DR- | اندازه MPO، قطبیت، پرداخت APC/UPC، نقشه برداری شکست |
| یک حالت-، مقیاس کیلومتر | FR{0}}دوبلکس یا موازی، بسته به محصول | نوع رابط بر اساس شماره قطعه متفاوت است. درجه فیبر - مقایسه کنیدفیبر تک حالته OS1 و OS2- |
پیاده سازی رابط در اینجا تله است، زیرا توسط برچسب نوری مشخص نمی شود. فروشندگان محصولات 800G DR8 را با اتصال دوگانه MPO-12 یا تک MPO-16، و محصولات کلاس FR 2 کیلومتری را با MPO موازی یا دوبلکس LC ارسال میکنند. هر دو نوع مشروع هستند. آنها به کابل کشی کاملاً متفاوت نیاز دارند. قبل از سفارش ترانک، سؤال رابط را عمداً حل کنید - ماراهنمای انتخاب MTP در مقابل MPOتفاوت های مکانیکی و قطبی را پوشش می دهد وراهنمای کابل شکست MPOنقشهکشی فن{0}}که پورتهای شکست به آن بستگی دارند را پوشش میدهد.
دو مورد دیگر متعلق به همان مکالمه است. از دست دادن کانال باید بر اساس مشخصات ماژول با شمارش اتصالات و اتصالات بودجه بندی شود، فرض نمی شود - ببینیدچگونه از دست دادن درج در شبکه های فیبر تجمع می یابد. و نگهداری کابلکشی ساختاریافته بین ردیفها زمانی که بر روی-قبل پایانیافته ساخته شده باشد، آسانتر است.کابل های صندوق عقب MPO/MTPبا روش قطبیت مستند به جای اجراهای مونتاژ شده در میدان-. در جایی که از پیوندهای FR دوطرفه استفاده میشود، درایوهای کیفیت انتهایی رابط مستقیماً ضرر را برمیگردانند. راراهنمای اتصال ال سیپوشش می دهد که چه چیزی را بازرسی کنید.
برای هر پیوند، موارد زیر را ثبت کنید: قفس میزبان، نرخ خط میزبان، سرعت پورت پیکربندی شده، نوع کابل یا PMD، کانکتور، نوع فیبر و تعداد، حداکثر تلفات کانال، حالت FEC، نقشه برداری شکست، کد برنامه ماژول، CMIS و سیستم عامل مورد نیاز، حداکثر توان، و وضعیت صلاحیت. این رکورد در هر پیوند بیشتر از هر قانون کلی در مورد اینکه کدام اپتیک کجا می رود ارزش دارد.

RoCEv2 یا InfiniBand: مستقلاً تصمیم بگیرید
انتخاب پروتکل متعامد به شکل فاکتور است و باید بر اساس زمینه های عملیاتی انجام شود.
RoCEv2مناسب سازمانهایی است که قبلاً اترنت را در مقیاس اجرا میکنند، با ویژگیهای معتبر RoCE در پلتفرم سوئیچینگ و تیمی که میتواند QoS، کنترل ازدحام، تله متری و پیکربندی میزبان را داشته باشد. هشدار این است که "فعال کردن PFC و ECN" یک برنامه استقرار نیست. مستندات لینوکس کومولوس NVIDIA توضیح می دهدRoCE به عنوان یک پیکربندی پیچیدهشامل مخزنهای بافر، طبقهبندی ترافیک، نگاشت اولویت، آستانههای PFC و ECN و زمانبندی، با حالت بدون تلفات با استفاده از PFC و ECN با هم و حالت تلفاتی که فقط از ECN استفاده میکند - و توجه میکند که پیکربندی ایجاد شده برای یک نسل ASIC سوییچ به دیگری منتقل نمیشود.
InfiniBandمناسب استقرارها به دنبال معماری معتبر فروشنده است، جایی که مدیریت یکپارچه پارچه ارزشمند است و تیم از قبل ابزار و تخصص را دارد.
انتخاب را بر اساس رفتار برنامه آزمایش شده، مهارت عملیاتی، مرزهای پشتیبانی و طراحی کلی سیستم قرار دهید. درصد عملکرد بازاریابی به توپولوژی، نسخه نرم افزار، اندازه پیام، وضعیت تراکم و پیکربندی NIC بستگی دارد و به ندرت به خوشه دیگری منتقل می شود.
اعتبار سنجی: قبل از خرید در حجم چه چیزی را تست کنید
یک آزمایش آزمایشگاهی نماینده چهار حوزه را پوشش میدهد، و ترتیب در ابتدا - پایداری پیوند مهم است، زیرا اعداد عملکرد از یک پیوند ناپایدار بیمعنی هستند.
بیاورید-:بوت سرد، راهاندازی مجدد گرم، درج و حذف ماژول، غیرفعال کردن/فعال کردن پورت، ایجاد و حذف شکست، و هر دو انتها در توالیهای مختلف راهاندازی مجدد میشوند.یکپارچگی سیگنال:قبل از {0}FEC BER، تعداد FEC تصحیح شده و غیرقابل اصلاح، خطاهای سطح خط-، PRBS یا BERT در جایی که پشتیبانی میشود، توان انتقال و دریافت نوری، دمای مورد ماژول و تعداد پیوند-تعداد فلپها تحت بار حرارتی.عملکرد:توان عملیاتی پایدار، مجموعهها و اندازههای پیامی که مشاغل شما واقعاً از آنها استفاده میکنند، ترافیک همزمان چندگانه-راهآهن، ورودی، ذخیرهسازی{1}}بهعلاوه{2}}مشاهده محاسباتی، و غوطهور شدن طولانی مدت.شکست:تک پیوند، سوئیچ برگ، پیوند ستون فقرات،-بازیابی چرخه برق، جایگزینی کابل و ماژول، مدیریت{1}}از دست دادن مسیر.
آستانه ها را ضبط کنید، نه فقط قبولی/شکست. خطاهای غیرقابل اصلاح FEC باید در یک پیوند سالم صفر باشد. نرخ خطای pre{1}}FEC باید به خوبی در حاشیه مشخص شده ماژول قرار گیرد و با افزایش دمای مورد در حین خیساندن در آنجا باقی بماند. پیوندی که در طول 48 ساعت خیساندن روند صعودی داشته باشد، پیوندی است که در تولید شکست خواهد خورد.
سپس با دامنه خرابی - یک قفسه، یک ریل، یک جفت برگ یا یک واحد مقیاسپذیر در یک زمان - و نظارت بر تغییرات وضعیت پیوند، شمارشهای تصحیحشده و غیرقابل اصلاح FEC، دمای ماژول، قدرت نوری، فعالیت توقف PFC، علامتگذاری ECN، اشغال صف و سطح ارتباط{2}. پیوندی که هنوز فعال است هنوز هم می تواند تحقیر کننده باشد. افزایش{4}}خطای اصلاح شده و روند دما اولین هشداری است که دریافت می کنید.
سه سناریو طراحی
گسترش پارچه اترنت 400G موجود.سوئیچ های واجد شرایط QSFP-DD 400G و کابل کشی ساختاریافته در حال حاضر وجود دارد. گره های جدید 400G را در معرض دید قرار می دهند. سرور{4}}روی پیوندها را در 400G نگه دارید، محاسبه uplink بالا را برای آزمایش نسبت مسدود کردن اجرا کنید، و 800G را فقط در جایی معرفی کنید که کارایی درگاه ستون فقرات را خریداری کند. هر جا که بودجه تلفات اجازه می دهد، از فیبرهای نوری واجد شرایط استفاده مجدد کنید، و قبل از خرید، هر پیکربندی ترکیبی سرعت را تأیید کنید. Switch radix این تصمیم را هدایت می کند، نه تعداد GPU.
ساخت یک خوشه بومی 800G-.سرورها 800G بومی را در معرض نمایش قرار می دهند. توپولوژی تایید شده فروشنده سرور را دنبال کنید، سوئیچ هایی را با قفس بومی منطبق انتخاب کنید، ظرفیت حرارتی جمعیت کامل-در دمای ورودی خود را بررسی کنید، اتصال را از طول مسیر اندازه گیری شده انتخاب کنید، و هر شکست و ترکیب FEC را قبل از انجام اعتبارسنجی کنید. در اینجا 800G با خود نقطه پایانی توجیه می شود.
زندگی با دو عامل شکلسرورها OSFP هستند. بخشی از وضعیت سوئیچینگ اترنت QSFP-DD است. مجموعههای متقاطع-فرم-فاکتور DAC یا AOC، قابلیت همکاری نوری با قفسهای مختلف در هر انتها، آداپتورهای تأیید شده، پیامدهای برق و حرارتی، موجودی یدکی و مالکیت پشتیبانی را مقایسه کنید. تعویض یک طرف صرفاً برای استاندارد کردن شکل ماژول اغلب گرانتر از اجرای یک محیط ترکیبی مستند است.
هفت اشتباه که باعث دوباره کاری می شود
- شروع از تعداد GPU.این تعداد NIC، نقشه راه آهن، نرخ پورت یا اشتراک بیش از حد را توصیف نمی کند. از رابط های سرور محاسبه کنید.
- با فرض اینکه 800G برای هر کاری سریعتر باشد.این فقط در جایی کمک می کند که نقاط پایانی، توپولوژی و الگوی ترافیک بتوانند از آن استفاده کنند. گروههایی را که واقعاً اداره میکنید، محک بزنید.
- در نظر گرفتن QSFP-DD به عنوان یک پروتکل.قفس است. قفس، پروتکل، حالت الکتریکی، اپتیک و FEC را جداگانه تأیید کنید.
- نادیده گرفتن پارچه های ذخیره سازی و مدیریتی.یک پارچه محاسباتی سریع نمی تواند تحویل کند ایست بازرسی یا BMC غیرقابل دسترس را جبران کند.
- خواندن برچسب نوری به عنوان مشخصات کابل کشی.DR8 و FR4 کانکتور، تعداد فیبر یا طراحی شکست را مشخص نمی کنند. از شماره قطعه دقیق و نمودار کابل کشی استفاده کنید.
- تست یک پورتجریان هوای کامل-جمعیت و دمای ورودی آزمایش واقعی است.
- ذکر درصد عملکرد بدون روش.توپولوژی و روش تست را منتشر کنید یا عدد را رها کنید.
ساخت یک مدل TCO که می توانید از آن دفاع کنید
هزینه های سرمایه NIC یا DPU، سوئیچ برگ و ستون فقرات، فرستنده گیرنده، DAC، AEC و AOC، فیبر ترانک و وصله، رک و مدیریت کابل، تجهیزات تست و قطعات یدکی را پوشش می دهد. هزینه های عملیاتی برق ماژول و سوئیچ، خنک کننده، نظارت، صلاحیت سیستم عامل، آموزش، نیروی کار جایگزین و پشتیبانی فروشنده را پوشش می دهد. هزینههای ریسک - مواردی که معمولا حذف میشوند - شامل خرابیهای سازگاری، تأخیر در استقرار، کاهش دمایی، ناپایداری پیوند، کابلکشی مجدد، کارهای آموزشی قطع شده و زمان بازیابی طولانیتر میشود.
سازگاری به عقب واقعاً هزینه را کاهش می دهد، اما صرفه جویی باید از روی تجهیزات خاصی محاسبه شود که می تواند با سرعت و حالت مورد نیاز دوباره استفاده شود. سازگاری فرم{1}}به تنهایی تضمین نمیکند که ASIC، PCB، قفس، سیستم خنککننده، سفتافزار یا بودجه برق فعلی بتواند نسل بعدی را اجرا کند. انتقال سرعت آینده را به عنوان یک سوال پلتفرم تلقی کنید، نه یک سوال رابط.
سوالات متداول
آیا QSFP-DD برای کلاسترهای آموزشی هوش مصنوعی مناسب است؟
بله، زمانی که سوئیچ یا نقطه پایانی انتخاب شده بومی باشد، نیازهای حرارتی را در جمعیت کامل پورت برآورده میکند و از حالت پورت و رابط نوری مورد نیاز پشتیبانی میکند. نرخ اسمی داده به تنهایی دلیلی برای انتخاب آن نیست.
چند پردازنده گرافیکی به شبکه 800G نیاز دارند؟
آستانه GPU وجود ندارد. از درگاه های شبکه به ازای هر سرور، سرعت پورت، نقشه ریلی، توپولوژی، هدف اشتراک بیش از حد و ترافیک برنامه - روش در مرحله 2 بالا را محاسبه کنید.
آیا QSFP-DD بهتر از OSFP است؟
هیچکدام به طور جهانی بهتر نیستند. QSFP{1}}DD سازگاری خانوادگی QSFP-بومی و ردپایی کوچکتر را ارائه میدهد. مشخصات OSFP کلاسهای توان بالاتر و گزینههای{3}}هیت سینک یکپارچه را تعریف میکند، و برای چندین پلتفرم هوش مصنوعی با عملکرد بالا{4} است. نقطه پایان تصمیم می گیرد.
آیا پورت OSFP می تواند از ماژول QSFP استفاده کند؟
برخی از پیادهسازیهای OSFP از ماژولهای QSFP از طریق یک آداپتور تأیید شده پشتیبانی میکنند، اما سازگاری، قدرت، حالت پورت و پشتیبانی فروشنده همگی نیاز به تأیید برای پلتفرم خاص دارند.
آیا میتوان از QSFP-DD هم برای اترنت و هم برای InfiniBand استفاده کرد؟
فاکتور فرم پروتکل را تعیین نمی کند. پورت میزبان، NIC، سوئیچ، سیستم عامل، کابل و فرستنده و گیرنده همگی باید از حالت عملیاتی مورد نظر پشتیبانی کنند.
از کدام فرستنده گیرنده 800G استفاده کنم؟
از فاصله اندازه گیری شده، قفس نقطه پایانی، شکست مورد نیاز، نوع فیبر، رابط، نرخ خط، حالت FEC، کلاس قدرت و صلاحیت فروشنده شروع کنید. نام رابط نوری به تنهایی کافی نیست.
آیا سازگاری با QSFP{0}}DD ارتقاء آسان 1.6T را تضمین می کند؟
خیر. پورت میزبان ممکن است ماژول را به صورت مکانیکی بپذیرد در حالی که ASIC، PCB، قفس، خنک کننده یا بودجه برق نمی تواند نرخ خط جدید را پشتیبانی کند. در سطح پلت فرم تأیید کنید.
قبل از امضای سفارش خرید
قفس نقطه پایانی را در هر دو انتهای هر نوع پیوند تأیید کنید. تعداد و سرعت محاسبات-پورت های فابریک در هر گره؛ نقشه ریلی و نسبت اشتراک بیش از حد هدف؛ تعداد پورت برگ و ستون فقرات از جمله افزونگی. الزامات هر چهار پارچه؛ حالت عملیات و برای RoCE، طراحی کنترل کامل ازدحام-. مسیر کابل اندازه گیری شده و انتخاب اتصال متقابل حاصل؛ کانکتور، قطبیت و بودجه تلفات؛ FEC و حالت شکست؛ توان ماژول در برابر محدودیتهای حرارتی کامل جمعیت؛ سازگاری سیستم عامل و CMIS؛ وضعیت صلاحیت فروشنده؛ و نتایج آزمایشگاهی برای تست BER، عملکرد، تراکم، شکست و خیساندن.
QSFP{0}}DD از پارچه AI مقیاس پذیر 400G یا 800G به خوبی پشتیبانی می کند. هنوز هم تنها یکی از اجزای طراحی است. با نقاط پایانی و مدل ترافیک شروع کنید، توپولوژی را محاسبه کنید، پیوند فیزیکی را از فاصله اندازه گیری شده انتخاب کنید، و سیستم مونتاژ شده را قبل از انجام یک کار آموزشی اعتبار سنجی کنید.
روش شناسی و دامنه
این راهنما از سه نوع منبع استفاده می کند و آنها عمداً در متن بالا متمایز می شوند.استانداردها و اسناد MSA- IEEE 802.3df، مشخصات سخت افزاری QSFP-DD و OSFP MSA، و قراردادهای پیاده سازی OIF CMIS - عوامل شکل، سیگنال دهی و رفتار مدیریت را تعریف می کنند.اسناد فروشنده- راهنماهای سیستم NVIDIA DGX، معماریهای مرجع DGX SuperPOD، ConnectX-یادداشتهای پیکربندی 8 پورت و اسناد Cumulus Linux RoCE - بهعنوان مثال خاص فروشنده ذکر شدهاند، نه به عنوان رفتار جهانی. پلتفرم های دیگر متفاوت هستند.دستورالعمل های مهندسی- توصیه های توالی، ترجیح پیوندهای کوتاهتر، آستانه های اعتبارسنجی - توصیه های عملیاتی هستند که از رویه استقرار گرفته شده اند و به جای ارائه به عنوان مشخصات، به عنوان چنین برچسب گذاری می شوند.