الزامات کابل کشی مرکز داده هوش مصنوعی برای 400G/800G

هوش مصنوعی طراحی مرکز داده را تغییر شکل می دهد. بیشتر توجه به پردازنده‌های گرافیکی، شتاب‌دهنده‌ها و خنک‌کننده‌ها معطوف می‌شود، اما لایه‌ای که بی‌صدا تصمیم می‌گیرد که آیا بقیه ساخت‌ها موفق شوند یا خیر، کابل‌کشی است. در یک خوشه هوش مصنوعی، لایه فیزیکی تعیین می‌کند که آیا واقعاً می‌توانید به 400G و 800G برسید، آیا پیوندهای پرسرعت به اندازه کافی تمیز می‌مانند تا از ترافیک عبور کنند، آیا جریان هوا از یک قفسه کاملاً پرجمعیت جان سالم به در می‌برد، و اینکه آیا پرش سرعت بعدی شما تعویض کارت است یا ارتقاء لیفتراک.

این راهنما برای زیرساخت‌ها و تیم‌های{0}}شبکه نوری نوشته شده است. این توضیح می‌دهد که چه چیزی کابل‌کشی هوش مصنوعی را متفاوت می‌کند، الزامات مربوط به اعداد واقعی، نحوه مقایسه DAC، AOC، و فیبر ساخت‌یافته، گردش کار برنامه‌ریزی گام به گام، مواردی که قبل از انتقال 400G یا 800G باید آماده شود، و چک لیستی که واقعاً می‌توانید استفاده کنید، توضیح می‌دهد. مراجع فنی در اینجا بر اساس استانداردهای فعلی IEEE 802.3 و ANSI/TIA-942 است.

چرا بارهای کاری هوش مصنوعی الزامات کابل کشی مرکز داده را تغییر می دهد؟

مراکز داده سنتی سازمانی حول ترافیک برنامه‌های کاربردی نسبتاً قابل پیش‌بینی ساخته شده‌اند، که بیشتر آن‌ها در شمال{0}}جنوب هستند و بین کاربران، برنامه‌ها و شبکه‌های خارجی حرکت می‌کنند. خوشه های هوش مصنوعی این الگو را معکوس می کنند. در طول آموزش و استنتاج در مقیاس بزرگ، جریان غالب شرقی-غربی است: پردازنده‌های گرافیکی دائماً شیب‌ها و فعال‌سازی‌ها را با یکدیگر مبادله می‌کنند و از طریق عملیات جمعی مانند همه-کاهش می‌دهند، معمولاً از طریق یک بافت دسترسی مستقیم به حافظه از راه دور (RDMA).

این در طرح های مرجع فروشنده قابل مشاهده است. NVIDIA شبکه محاسباتی GPU را به عنوان یک پارچه پایه RDMA-بر پایه-با استفاده ازریل{0}}توپولوژی بهینه شده به طوری که هر پردازنده گرافیکی حداکثر یک پرش از هر پردازنده دیگری باشد، این چیزی است که ارتباط چند{0}}GPU را در مقیاس کارآمد نگه می دارد. پیامد کابل‌کشی تعداد پورت‌های محض است: یک گره هشت-GPU می‌تواند هشت پورت شرقی- 400G (یا 800G) ارائه دهد، و یک غلاف آموزشی با چندین سوئیچ برگ در هر رک، فیبر تنه و وصله‌دهی را خیلی سریع افزایش می‌دهد.

وقتی لایه فیزیکی تحت برنامه‌ریزی- قرار دارد، مشکلات در روز اول ظاهر نمی‌شوند. آنها بعداً ظاهر می شوند، به عنوان مسیرهای متراکم که جریان هوا را خفه می کنند، به عنوان جداسازی خطا که به جای چند دقیقه ساعت ها طول می کشد، و به عنوان کار مجدد در طول اولین چرخه ارتقا ظاهر می شوند. جزئیاتی که پیش پا افتاده به نظر می رسند، مانند قطبیت معکوس MPO یا سطح انتهایی آلوده، می تواند کل ریل را آفلاین کند. برای زیرساخت های هوش مصنوعی، کابل کشی از ابتدا به معماری تعلق دارد، نه به عنوان آخرین کار قبل از راه اندازی.

سنتی در مقابل AI{0}}کابل‌کشی مرکز داده آماده

شکاف بین کابل کشی سنتی و آماده{0}}هوش مصنوعی، تغییر در اولویت های طراحی است، نه فقط تعداد کابل های بزرگتر. طرح های سنتی برای اتصال امروزی بهینه می شوند. طراحی‌های آماده{2}}هوش مصنوعی برای انتقال سرعت، تراکم، کیفیت پیوند قابل پیش‌بینی و قابلیت سرویس در طی چندین چرخه ارتقا بهینه می‌شوند.

هدف یک کارخانه الیافی است که بتواند حداقل یک پرش سرعت و یک افزایش ظرفیت را بدون طراحی مجدد جذب کند.

الزامات کابل کشی کلیدی برای مراکز داده هوش مصنوعی

لایه فیزیکی را برای 400 گرم و 800 گرم برنامه ریزی کنید، نه فقط سرعت امروز

خوشه های هوش مصنوعی به سرعت از نردبان سرعت بالا می روند، از 100G به 400G، 800G و در نهایت 1.6T. رابط های 400G و 800G اکنون به طور رسمی استاندارد شده اند:IEEE 802.3df که در سال 2024 تایید شد، MAC، لایه فیزیکی و پارامترهای مدیریتی را برای اترنت 400 گیگابیت بر ثانیه و 800 گیگابیت بر ثانیه تعریف می کند.از جمله انواع رسانه فیزیکی مانند 800GBASE-SR8 و 800GBASE-DR8. در سمت تجهیزات، 400G معمولاً در فرم فاکتورهای QSFP-DD یا QSFP112 زندگی می‌کند، در حالی که 800G از OSFP یا QSFP-DD800 استفاده می‌کند. اگر بسته بندی فرستنده گیرنده و نقشه برداری خطوط را با هم مقایسه می کنید، اینQSFP{0}}بررسی کلی فنی DDنقطه شروع مفیدی است.

قاعده عملی: نوع فیبر اندازه، تعداد فیبر و پایه اتصال تا گیاه در پرش بعدی زنده بماند. یک صندوق عقب که فقط برای سرعت پورت امروزی طراحی شده است، در لحظه ای که سوئیچ سیلیکون و اپتیک به جلو حرکت می کنند، به گلوگاه تبدیل می شود.

استفاده از فیبر{0} MTP/MPO با چگالی بالا برای GPU{1}}اتصال کلاستر

پیوندهای{0}}هوش مصنوعی با سرعت بالا، اپتیک موازی هستند، و اپتیک موازی مستقیماً بر روی تعداد فیبرها نگاشت می‌شوند. یک پیوند 400G-DR4 از چهار خط یا هشت فیبر استفاده می‌کند که معمولاً به یک فرول MPO-12 ختم می‌شوند. یک پیوند 800G-SR8 یا 800G{17}}DR8 از هشت خط یا شانزده فیبر استفاده می‌کند که اغلب از یک MPO{19}}16 با سطوح انتهایی APC استفاده می‌کند. ترانک های پایه 8 و پایه 16 MTP/MPO به همراه کاست ها صدها مورد از این پیوندها را در هر رک یکپارچه می کنند و استقرار را به جای اتصال میدانی به حرکت های تکرارپذیر و آزمایش شده در کارخانه تبدیل می کنند. از قبل خاتمه یافته استکابل های ترانک MTP/MPOو مجموعه های شکست (MPO به LC یا MPO به MPO) ستون فقرات این رویکرد هستند.

تراکم هنوز باید برنامه ریزی شود، نه به حداکثر رساندن. بسته بندی فیبر در یک قفسه بدون فکر کردن در مورد پر شدن مسیر و جریان هوا، فشار برگشتی بر اگزوز تجهیزات ایجاد می‌کند و سرویس‌دهی پورت‌ها را غیرممکن می‌کند. نسبت پر کردن و قوانین مدیریتی شل- را قبل از اولین نصب، نه بعد از آن، تنظیم کنید.

فقدان درج، تمیزی رابط، و قطبیت را مدیریت کنید

اپتیک‌های{0}}هوش مصنوعی با سرعت بالا نسبت به پیوندهایی که قبل از آن‌ها آمده‌اند بخشنده‌تر هستند. سیگنال‌دهی PAM4 که در 400G و 800G استفاده می‌شود، با بودجه‌های تلفات کانال محدودتری نسبت به پیوندهای NRZ قدیمی‌تر اجرا می‌شود، و هر جفت MPO یا LC جفت شده، تلفات درج را اضافه می‌کند، اغلب چند دهم دسی بل در هر اتصال. در یک کانال ساختاریافته با چندین نقطه اتصال و طول فیبر، این بودجه به سرعت ناپدید می‌شود، بنابراین تعداد رابط‌ها یک متغیر طراحی است، نه یک فکر بعدی. تمایز بین از دست دادن درج و از دست دادن بازگشت، و چرا هر دو در اپتیک موازی اهمیت دارند، ارزش درک قبل از نهایی کردن یک کانال را دارد. این توضیح دهنده دراز دست دادن درج در شبکه های فیبرمکانیک را پوشش می دهد.

آلودگی یکی از دلایل اصلی خرابی پیوند میدان است، بنابراین هر قسمت انتهایی باید قبل از جفت گیری بررسی و تمیز شود. قطبیت به یک طرح صریح نیاز دارد (روش A، B، یا C)، و پیوندهای موازی تک حالته معمولاً از اتصال دهنده های APC زاویه دار برای کنترل تلفات برگشتی استفاده می کنند. شعاع خمش در پانل های متراکم مهم است، جایی که فیبر غیر حساس به خمش حاشیه خرید می کند. قابلیت اطمینان در اینجا به همان اندازه که یک انتخاب جزء است، یک رشته نصب و تعمیر و نگهداری است.

یک معماری مدولار و مقیاس‌پذیر{0} ساختار کابل‌کشی طراحی کنید

زیرساخت هوش مصنوعی در یک چرخه کوتاه تغییر می کند، بنابراین کارخانه ای که اصلاح آن سخت است، استقرار آینده را کند می کند. کابل کشی ساختاریافته، ساخته شده از تنه، نوار، محفظه، و مسیرهای تعریف شده، به تیم ها امکان می دهد بدون کشیدن مجدد کابل، ظرفیت اضافه کنند یا پارچه را دوباره-راه اندازی کنند.ANSI/TIA-942 حداقل الزامات زیرساخت مخابراتی را برای مراکز داده مشخص می کندو یک توپولوژی کابل کشی برای تطبیق برنامه های آینده، که دقیقا همان وضعیتی است که یک ساخت AI به آن نیاز دارد. با این پایه، بیشتر ارتقاء سرعت به جای بازسازی لایه فیزیکی، به موضوع تعویض اپتیک و کاست تبدیل می شود.

کابل‌ها را برای جریان هوا و خنک‌کننده در قفسه‌های{0} با چگالی بالا هدایت کنید

رک های هوش مصنوعی داغ کار می کنند. چگالی توان در متراکم ترین رک های GPU می تواند از 100 کیلو وات تجاوز کند و در آن سطوح کابل کشی متراکم مستقیماً باعث گردش مجدد و نقاط داغ موضعی می شود.قاب های هدایت ASHRAE TC 9.9 کنترل حرارتی در اطراف ورودی تجهیزات فناوری اطلاعات و جداسازی راهرو گرم/سرد- تمیزو کابل کشی یا از آن پشتیبانی می کند یا بر خلاف آن عمل می کند. در عمل این به معنای مسیرهای فیبر بالای سر است که در صورت امکان، جداسازی روشن نیرو و داده، مدیران عمودی و افقی با اندازه واقعی تعداد کابل، شلی منظم و مسیری که هرگز اگزوز عقب یا کابینت دودکش را مسدود نمی کند. مدیریت کابل که پیوندها را قابل ردیابی نگه می‌دارد، خطای انسانی را در حین حرکت و تغییرات کاهش می‌دهد.

DAC، AOC، یا فیبر ساختاری؟ ماتریس انتخاب کابل کشی مرکز داده هوش مصنوعی

بهترین رسانه واحد برای خوشه هوش مصنوعی وجود ندارد. انتخاب درست بر اساس دسترسی و نقش است. در داخل یک قفسه، مس دسترسی کوتاه-هنوز از نظر هزینه، قدرت و تأخیر برنده است. از آنجایی که پیوندها در ردیف ها و سالن ها قرار می گیرند، فیبر حالت تک-به ستون فقرات مقیاس پذیر تبدیل می شود. ماتریس زیر گزینه‌های رایج را با روشی که یک بررسی طراحی واقعاً وزن می‌کند، مقایسه می‌کند.

همچنین به همین دلیل است که عبارتی مانند "فیبر همیشه ترجیح داده می شود" به یک هشدار نیاز دارد: فیبر پایه مقیاس پذیر برای پارچه است، اما یک DAC غیرفعال همچنان انتخاب مهندسی بهتری برای یک -پرش یک متری در داخل قفسه است.

نحوه برنامه ریزی کابل کشی مرکز داده هوش مصنوعی، گام به گام

مرحله 1: بار کاری هوش مصنوعی و توپولوژی شبکه را ترسیم کنید

با حجم کار شروع کنید. یک غلاف آموزشی بزرگ، یک ناوگان استنتاج با توان بالا-، یک خوشه HPC، و یک ذخیره‌سازی{2}}سنگین نمایه ترافیک یکسانی ندارند. سپس محل اتصال شبکه های مدیریت باند (شرق-غرب)، ذخیره سازی، شمال-جنوب و خارج-از-باندهای گرافیکی را نقشه برداری کنید. یک استقرار استنتاج خالص ممکن است اصلاً نیازی به پارچه بزرگ شرقی-غربی نداشته باشد، در حالی که یک غلاف آموزشی چند{10}}را. طراحی بر اساس جریان ترافیک واقعی، نه فقط ارتفاع قفسه.

مرحله 2: قفل کردن اهداف سرعت فعلی و آینده

هم فاز اول و هم فاز بعدی را تعریف کنید. اگر یک غلاف امروز 400 گرم و سال آینده 800 گرم داشته باشد، اکنون کارخانه فیبر باید 800 گرم باشد. فراتر از این افق، کار روی اترنت کلاس-ترابیت در حال انجام است:کارگروه IEEE P802.3dj با استفاده از سیگنالینگ 200 گیگابیت بر ثانیه-در هر- خط، عملکرد 200G، 400G، 800G و 1.6 Tb/s را تعریف می‌کند.. دانستن اینکه نقشه راه به کجا می رود، به شما می گوید که تعداد فیبر و ظرفیت مسیر برای رزرو چقدر است.

مرحله 3: Media and Connectors With Margin را انتخاب کنید

سوال OS2-در مقابل-OM4 عمدتاً یک سؤال دسترسی است. OM4 برای پیوندهای زیر{8}}100 متری برگی-خط‌آهن مناسب است، اما با افزایش سرعت، دسترسی به آن کاهش می‌یابد، بنابراین هنگامی که پیوندها از ردیف‌ها یا سالن‌ها عبور می‌کنند، یا زمانی که می‌خواهید 800G فضای DR/FR داشته باشید، OS2 تک حالته پایه امن‌تری است. بررسیمحدودیت فاصله OM1 تا فیبر چند حالته OM5مبادله را-بتن می کند. پایه MPO (12 در مقابل 16) را با نقشه فیبر نوری مطابقت دهید و قطبیت را زودتر برنامه ریزی کنید. برای پانل های با چگالی بالا-اینراهنمای انتخاب MTP در مقابل MPOتفاوت های مهم را پوشش می دهد. در جایی که فرستنده و گیرنده و سرعت پورت در یک راستا نیستند، به جای بداهه سازی در زمان نصب، برنامه شکست (MPO به LC) را برنامه ریزی کنید.

مرحله 4: تراکم قفسه، مسیرها و جریان هوا را با هم برنامه ریزی کنید

چیدمان رک، مسیریابی کابل، و خنک‌کننده در یک محیط هوش مصنوعی با چگالی بالا یک تصمیم هستند، نه سه تصمیم. قبل از نصب، شمارش کنید که چه تعداد کابل وارد هر رک شده و از آن خارج می‌شود، تصمیم بگیرید که پچ‌پنل‌ها در کجا قرار می‌گیرند، شلی را برنامه‌ریزی کنید، و تأیید کنید که تکنسین می‌تواند به پورت دسترسی پیدا کند و بدون ایجاد لینک‌های زنده مزاحم جایگزین شود. فضای رشد را در سینی ها و نسبت های پر کنید. قفسه ای که در هنگام راه اندازی تمیز به نظر می رسد پس از دو دوره ارتقاء غیر قابل استفاده می شود اگر مسیرها در روز اول به حداکثر برسند.

مرحله 5: تست، مستندسازی و نگهداری تا Spec

هر پیوند به مشخصات پروژه را آزمایش کنید، که برای فیبر با سرعت بالا-به معنای درج-تست تلفات، OTDR در صورت لزوم، تأیید قطبیت، و بازرسی انتهایی است. هر پورت، ترانک، کاست، و مسیر، از جمله طرح قطبی، طول، و تلفات اندازه‌گیری شده را با برچسب‌هایی که به عنوان{3}}نقشه‌های ساخته شده ترسیم می‌شوند، مستند کنید. پس از آن تعمیر و نگهداری به روال تبدیل می شود: تمیز کردن انتها، ممیزی های دوره ای، و کنترل برچسب و تغییر. دنبال صداتمرین نصب کابل فیبر نوریبرای کشش کشش و شعاع خمش از بودجه ضرری که برای آن آزمایش کرده اید محافظت می کند.

قبل از مهاجرت 400 گرم یا 800 گرم چه چیزی را باید آماده کرد

مهاجرت ها در لایه فیزیکی بیشتر از اپتیک شکست می خورند. قبل از قطع کردن، موارد زیر را انجام دهید:

• نوع فیبر و شمارش را تأیید کنید و بررسی کنید که OM4 موجود هنوز به سرعت هدف می‌رسد، زیرا فاصله پشتیبانی شده با افزایش نرخ خط کاهش می‌یابد.
• بررسی کنید که پایه کانکتور با اپتیک جدید مطابقت داشته باشد (MPO-12 در مقابل MPO-16) و اینکه طرح قطبیت همچنان پایان به انتها باشد.
• بودجه از دست دادن پیوند را برای PAM4 مجدداً محاسبه کنید، سپس تعداد اتصالات را در جایی که می‌توانید کاهش دهید و-هر صفحه انتهایی را دوباره بررسی کنید.
• ظرفیت مسیر و سینی را برای کابل‌کشی اضافه‌شده تأیید کنید و فضای سر حرارتی قفسه‌ای را برای اپتیک-با قدرت بالاتر تأیید کنید.
• نوار کاست‌ها، ترانک‌ها، برچسب‌ها، و یک طرح آزمایشی از قبل، به طوری که برش یک جابجایی است-نه یک{1}}کشش مجدد.

اشتباهات رایجی که باید از آنها اجتناب کنید

اندازه گیری فقط برای پهنای باند امروزی.کارخانه ای که برای سرعت های فعلی ساخته شده است به سرعت تاریخ گذاری می شود. ساخت در یک مسیر واقعی به سرعت بالاتر و تراکم پورت بالاتر.

در نظر گرفتن مدیریت کابل به عنوان یک لوازم آرایشیکابل کشی منظم مفید است، اما مدیریت در واقع در مورد جریان هوا، دسترسی، و جداسازی خطا است، نه ظاهر.

فدا کردن دسترسی تعمیر و نگهداری برای تراکم.تراکم{0}بالا "تا حد امکان فشرده" نیست. اگر یک تکنسین نتواند با خیال راحت اتصال را ردیابی و جایگزین کند، طراحی در طول عملیات واقعی برای شما هزینه خواهد داشت.

خرید قطعات به صورت مجزاکابل ها، کانکتورها، پانل ها، فرستنده گیرنده، قفسه ها و مسیرها یک کانال را تشکیل می دهند. قسمتی که به خودی خود ارزان به نظر می رسد می تواند وقتی که پوسته می شود کل پارچه را درپوش ببندد.

AI-چک لیست آمادگی کابل‌کشی آماده

قبل از مقیاس‌بندی پردازنده‌های گرافیکی، روی این موارد کار کنید. هر مورد دارای یک شرط عبور مشخص است، نه بله یا خیر مبهم.

• فضای سر سرعت:آیا فیبر نصب شده می تواند حداقل یک پرش سرعت (به عنوان مثال 400G به 800G) را بدون کشیدن مجدد پشتیبانی کند و آیا تعداد فیبر به اندازه نقشه خط نوری (هشت یا شانزده فیبر) است؟
• بودجه ضرر:آیا هر{0}}کانال پرسرعت در داخل PAM4 درج شده-میزان ضرر، با تعداد اتصال و بازرسی نهایی تأیید شده است؟
• تراکم در مقابل سرویس:آیا یک تکنسین می تواند بدون ایجاد مزاحمت در راه آهن برقی به هر بندری دسترسی پیدا کند، ردیابی و جایگزین کند؟
• جریان هوا:آیا مسیرها اگزوز عقب و محفظه راهرو را روشن نگه می‌دارند و برق و داده از هم جدا هستند؟
• مستندات:آیا هر پیوندی با طرح قطبی، طول و از دست دادن خود آزمایش و ضبط می شود و برای مطابقت با{0}}نقشه های ساخته شده برچسب گذاری شده است؟
• مقیاس:آیا توپولوژی بهینه شده-خطار، ریل-به غلاف بعدی بدون طراحی مجدد گسترش می یابد؟
• تناسب رسانه:آیا رسانه هر پیوند بر اساس دسترسی، سرعت، تأثیر حرارتی، و قابلیت سرویس، با DAC در رک- و OS2 در سراسر سالن ها انتخاب می شود؟

اگر چندین پاسخ منفی است، لایه فیزیکی را قبل از مقیاس بارهای کاری هوش مصنوعی طراحی کنید، نه بعد از اولین بسط.

خوراکی های کلیدی

بارهای کاری هوش مصنوعی نیازمندی‌های کابل‌کشی مرکز داده را با پهنای باند بالاتر، فیبر موازی متراکم‌تر، بودجه‌های کم تلفات، مسیریابی آگاهانه جریان هوا-و چرخه‌های ارتقای کوتاه بازنویسی می‌کند. لایه فیزیکی به خودی خود پردازنده‌های گرافیکی را سریع‌تر نمی‌کند، اما لایه اشتباه عملکرد، قابلیت اطمینان و سرعت ارتقای کل محیط را محدود می‌کند.

ایمن‌ترین اصل طراحی این است که کارخانه فیبر، ظرفیت مسیر، معماری وصله‌ای و مدل مستندسازی را قبل از فرود رک‌های GPU، نه پس از اولین چرخه توسعه، برنامه‌ریزی کنیم. حداقل برای یک پرش سرعت بسازید، رسانه ها را بر اساس نقش انتخاب کنید تا عادت، و تمیزی رابط، قطبیت، و جریان هوا را به عنوان اولین محدودیت های طراحی-در نظر بگیرید. قبل از استقرار یا گسترش، کابل کشی فعلی خود را با چک لیست بالا مرور کنید. برای کابل کشی ساخت یافته و اجزای MTP/MPO، ما را بررسی کنیدمحلول های فیبر نوری.