هندسة البنية التحتية

البنية التحتية NVIDIA GB200 NVL72 وكابلات MPO-8 APC للوحدات القابلة للتوسع

تحليل بنية الكابلات لوحدة بلاكويل قابلة للتوسع (SU)، حيث تتقارب 8 رفوف في 9,216 خيطًا بصريًا نشطًا.

تمثل وحدة DGX GB200 القابلة للتوسع (SU) تحولًا كبيرًا في بنية مراكز البيانات. الـ SU هي كيان موحد يضم 576 وحدة معالجة رسوميات متصلة بـ 9,216 خيطًا بصريًا نشطًا. توفر ScaleFibre كابلات الترانك المنهية بدقة المطلوبة لإدارة هذه الكثافة.

الطبقات المادية الأربع لـ SuperPOD

تقوم NVIDIA بتقسيم الـ SU إلى طبقات مادية مميزة لعزل حركة مرور وحدات معالجة الرسوميات (GPU).

MN-NVL (NVLink 5)

توسيع رأسي (Scale-Up)

شبكة الرف ‘الداخلية’ التي تربط 72 وحدة معالجة رسوميات (GPU) بسرعة 1.8 تيرابايت/ثانية.

  • لا توجد ألياف بصرية
  • لوحة خلفية نحاسية سلبية
  • موصلات Blind-mate

InfiniBand للحساب

توسيع أفقي (Scale-Out)

الطبقة الرئيسية ‘الشرقية-الغربية’ للتدريب الضخم متعدد العُقد.

  • 4,608 ألياف نشطة لكل SU
  • هندسة محسّنة للسكك (Rail-optimized topology)
  • Quantum-3/Quantum-2

التخزين والنطاق الداخلي (In-Band)

الواجهة الأمامية

طبقة قائمة على الإيثرنت لابتلاع البيانات عالية السرعة والتزويد.

  • عامل حظر 5:3
  • تفريغ BlueField-3 DPU
  • دعم VXLAN/RoCE

إدارة OOB (خارج النطاق)

مستوى التحكم

الشبكة المعزولة لقياس أجهزة تتبع القياس عن بعد (telemetry) و BMC وإدارة PDU.

  • RJ45/نحاس Cat6
  • طبقة محول SN2201
  • أمان فصل الهواء المادي (Physical air-gap security)

مقاييس وحدة Exascale SU

وحدة قابلة للتوسع (SU) مكونة من 8 رفوف تمثل اللبنة الأساسية لمصنع NVIDIA للذكاء الاصطناعي.

9,216

ألياف نشطة لكل SU

4,608

ألياف للحساب فقط

5:3

نسبة حظر التخزين

400G/800G

سرعات المنافذ الأصلية

المستويات الثلاثة لاتصال SU

1
المستوى A: من الخادم إلى Leaf

1,152 ليفًا لكل رف باستخدام كابلات ترانك عالية الألياف أو وصلات لربط عُقد NVL72 بمحولات Leaf.

2
المستوى B: من Leaf إلى Spine

تجميع حركة المرور المحاذية للقضبان داخل SU باستخدام وصلات 1:1 غير محجوبة للحساب.

3
المستوى C: من Spine إلى Core

التوسع بما يتجاوز SU إلى منطقة Core مركزية باستخدام كابلات ترانك عالية العدد.

التوصيل القديم (نقطة إلى نقطة)

  • ✕
    تعقيد يدوي: يتطلب 9,216 سلك توصيل فردي لكل كتلة من 8 رفوف.
  • ✕
    إعاقة تدفق الهواء: حزم الكابلات الكثيفة تسد مسارات عوادم التبريد السائل.
  • ✕
    مخاطر عالية: احتمال كبير لحدوث ‘قضبان متقاطعة’ أثناء التوصيل اليدوي 1:1.
  • ✕
    وقت النشر: أكثر من 115 ساعة للتوجيه والتسمية اليدوية لكل وحدة قابلة للتوسع (SU).

كابلات ترانك معيارية عالية الألياف

  • ✓
    التوصيل والتشغيل: يجمع آلاف الألياف في كابلات ترانك مخصصة مسبقة الإنهاء 128F/144F/256F/288F/576F.
  • ✓
    تحسين حراري: كابلات ذات قطر صغير تزيد من تدفق الهواء في الرفوف الكثيفة.
  • ✓
    كفاءة المسار: يدمج 1,152 ليفًا نشطًا لكل رف في كابلات MPO رئيسية عالية العدد.
  • ✓
    ملف تعريف التثبيت: نشر سريع عبر مجموعات مجمعة مسبقة الإنهاء ومُختبرة في المصنع.

نمو الألياف النشطة: من العقدة إلى SuperPOD الكامل

تعقيد الكابلات
9,216 ليفًا نشطًا لكل وحدة قابلة للتوسع (SU) يتطلب كابلات ترانك معيارية عالية الألياف لتجنب 'فوضى الكابلات' التي تعيق تدفق الهواء.

تصور الوحدة القابلة للتوسع (SU)

كتلة الحوسبة المكونة من 8 رفوف
كتلة الحوسبة المكونة من 8 رفوف

تتكون وحدة NVIDIA GB200 SU (الوحدة القابلة للتوسع) من 8 رفوف، يضم كل منها نظام DGX GB200 NVL72 مع 72 وحدة معالجة رسوميات (GPU).

توزيع كابلات الترانك عالية الألياف
توزيع كابلات الترانك عالية الألياف

تجميع آلاف الألياف الموجودة في الرفوف في كابلات ترانك عالية الكثافة لتخليص تدفق الهواء، والتركيب السريع، وتقليل استخدام المسار.

التبريد السائل
التبريد السائل

ألواح التبريد السائل تحافظ على استقرار بيئة الدرج، مما يسمح لأجهزة الإرسال والاستقبال OSFP بتبديد الحرارة بفعالية عبر مشتتات الحرارة المرفقة.

Technical FAQ

+ كيف يظل عدد الـ SU قابلاً للإدارة عند 9,216 ليفًا؟
باستخدام تسلسل هرمي للكابلات متعدد المستويات. تحل كابلات ترانك عالية الألياف محل آلاف من أسلاك التوصيل MPO الفردية، مما يقلل الحجم المادي ويمنع عوائق التبريد.
+ ما هو 'عامل الحظر 5:3' في طبقة التخزين؟
على عكس طبقة الحوسبة غير المحظورة (1:1)، فإن شبكة التخزين مفرطة الاشتراك عمداً. يقلل هذا من تكاليف الألياف والتعقيد مع تلبية متطلبات 40 جيجابايت/ثانية لكل عقدة للتخزين. غالباً ما يستخدم النشر كابلات توصيل MPO متوافقة مع NVIDIA.
+ لماذا لا تحتوي طبقة NVLink الداخلية على ألياف؟
تستخدم NVIDIA لوحة خلفية نحاسية سلبية وخراطيش كابلات داخل رف NVL72. هذا يلغي آلاف أجهزة الإرسال والاستقبال والألياف البصرية، مما يقلل بشكل كبير من استهلاك الطاقة والتأخير. الألياف البصرية مخصصة لـ طبقة الحساب المتوسعة أفقيًا.
+ ماذا يحدث عندما نتوسع إلى 16 وحدة قابلة للتوسع (SU)؟
عند نطاق 16 وحدة قابلة للتوسع (9,216 وحدة معالجة رسوميات)، يصل إجمالي عدد الألياف النشطة لطبقة الحساب وحدها إلى 18,432 خيطًا. تتطلب إدارة هذه الكثافة حاويات عالية الكثافة مصممة خصيصًا للألياف البصرية عالية العدد وهياكل التبديل المركزية للمجموعات الأساسية.
+ لماذا يُستخدم MPO-8 بدلاً من MPO-12 القياسي؟
تستخدم أجهزة الإرسال والاستقبال الحديثة 400G NDR و 800G XDR بصريات متوازية من 4 أو 8 مسارات. يتطابق محاذاة MPO ذات 8 ألياف تمامًا مع تكوين 4x Tx و 4x Rx. يؤدي استخدام كابلات ترانك MPO نشطة بـ 8 ألياف إلى إلغاء الألياف ‘المظلمة’ أو المهدرة داخل طبقة المجموعة.
+ ما أهمية صقل APC (Angled Physical Contact)؟
إشارة 100G-PAM4 عالية السرعة حساسة للغاية للانعكاسات الخلفية. تضمن زاوية 8 درجات لموصل APC امتصاص الضوء المنعكس في غلاف الألياف، مما يحافظ على خسارة العودة البصرية (ORL) العالية المطلوبة للتدريب على الذكاء الاصطناعي الخالي من الأخطاء.
+ كيف تؤثر كثافة الألياف على قاعات الذكاء الاصطناعي المبردة بالسائل؟
حتى مع الصواني المبردة بالسائل، لا يزال الهواء يجب أن يدور لإدارة الحرارة الثانوية. يقلل استخدام كابلات SmartRibbon عالية الكثافة بشكل كبير من قطر الكابل، مما يضمن عدم إعاقة الكابلات المادية لتدفق الهواء أو مشعبات التبريد السائل.
+ ما هي قيود المسافة لكابلات على مستوى SU؟
يقتصر استخدام الألياف متعددة الأنماط (OM4/OM5) على 50 مترًا لـ 400G/800G. للروابط المركزية من Spine إلى Core التي تتجاوز هذا، الألياف أحادية النمط G.657.A1 إلزامية لدعم نطاقات أبعد دون تدهور الإشارة.
+ هل يمكنني استخدام الكابلات الخارجية القياسية لشبكات مراكز بيانات الذكاء الاصطناعي؟
لا. تتطلب قاعات الذكاء الاصطناعي الداخلية LSZH (قليل الدخان، خالي من الهالوجين)، أو Riser، أو Plenum لتلبية لوائح السلامة من الحرائق المطلوبة حسب اللوائح المحلية. للمسارات عالية الكثافة، توفر كابلات SlimCORE الداخلية المتخصصة العدد الضروري من الألياف بقطر مخفض.
+ ما فائدة ذيول الألياف (pigtails) المنهية في المصنع في الـ SU؟
تسمح ذيول الألياف البصرية MPO بالوصل السريع بالدمج الكلي (mass-fusion splicing) عند طبقة Spine أو Core. يوفر هذا الإنهاء المتحكم فيه في المصنع عند أحد الطرفين فوائد الإنهاء المسبق، بينما يسمح الطرف ‘غير المنهي’ بالمرونة ليناسب الطول المطلوب في الموقع.

صمم مصنع الذكاء الاصطناعي الخاص بك

تقدم ScaleFibre حلول كابلات مسبقة الإنهاء لنشر NVIDIA DGX SuperPOD.

تواصل معنا

احصل على تفاصيل حول كابلات الترانك عالية الألياف لوحدة NVidia DGX SU الخاصة بك.

مشاركة: