ארכיטקטורת תשתית

תשתית NVIDIA GB200 NVL72 וכבילת MPO-8 APC ליחידות ניתנות להרחבה

פירוק ארכיטקטורת הכבילה של יחידה ניתנת להרחבה (SU) של Blackwell, שבה 8 ארונות שרתים מתכנסים ל-9,216 גידי סיבים פעילים.

יחידת NVIDIA DGX GB200 הניתנת להרחבה (SU) מייצגת שינוי גדול בארכיטקטורת מרכזי נתונים. ה-SU הוא ישות מאוחדת של 576 מעבדי GPU המחוברים באמצעות 9,216 גידי סיבים פעילים. ScaleFibre מספקת את צרורות הכבילה בעלי הגימור המדויק הנדרשים לניהול צפיפות זו.

ארבעת מבני ה-SuperPOD הפיזיים

NVIDIA מפצלת את ה-SU לשכבות פיזיות נפרדות כדי לבודד תעבורת GPU.

MN-NVL (NVLink 5)

הרחבה אנכית

רשת הארון ‘הפנימית’ המחברת 72 מעבדי GPU במהירות 1.8 TB/s.

  • אפס סיבים אופטיים
  • Backplane פסיבי מנחושת
  • מחברים מסוג Blind-mate

InfiniBand חישובי

הרחבה אופקית

המבנה הראשי ‘מזרח-מערב’ לאימון מסיבי מרובה צמתים.

  • 4,608 סיבים פעילים לכל SU
  • טופולוגיה מותאמת מסילה
  • Quantum-3/Quantum-2

אחסון ובתוך הרצועה (In-Band)

חזית

מבנה מבוסס אתרנט להכנסת נתונים ופרוביז’נינג במהירות גבוהה.

  • פקטור חסימה 5:3
  • פריקה ל-BlueField-3 DPU
  • תמיכה ב-VXLAN/RoCE

ניהול מחוץ לרצועה (OOB Management)

מישור בקרה

הרשת המבודדת לטלמטריית חומרה, BMC וניהול PDU.

  • RJ45/Cat6 נחושת
  • שכבת מתגים SN2201
  • אבטחת Air-gap פיזית

מדדי SU בקנה מידה אקסה

יחידה ניתנת להרחבה (SU) של 8 ארונות שרתים מייצגת את אבן הבניין הבסיסית של מפעל ה-AI של NVIDIA.

9,216

סיבים פעילים ל-SU

4,608

גידים ייעודיים לחישוב

5:3

יחס חסימה לאחסון

400G/800G

מהירויות פורט מקוריות
Product Image
פתרון מומלץ

כבלי MPO Trunk בעלי ספירת סיבים גבוהה

מכלולי MPO Trunk בעלי ספירת סיבים גבוהה עם 48 עד 576 סיבים. מאפשרים פריסה מהירה בקנה מידה גדול עם עבודה מופחתת ועלויות התקנה מינימליות.

צפו בפרטי צרורות MPO בעלי ספירת סיבים גבוהה

שלוש רמות הקישוריות של SU

1
רמה א': שרת-ל-Leaf

1,152 סיבים לארון שרתים באמצעות צרורות סיבים בעלי ספירה גבוהה או מגשרים לחיבור צומתי NVL72 למתגי Leaf.

2
רמה ב': Leaf-ל-Spine

צבירת תעבורה מיושרת מסילה בתוך ה-SU באמצעות קישורי 1:1 ללא חסימה לחישוב.

3
רמה ג': Spine-ל-Core

הרחבה מעבר ל-SU לאזור Core מרכזי באמצעות צרורות בעלי ספירה גבוהה.

Patching מסורתי (נקודה לנקודה)

  • ✕
    מורכבות ידנית: דורש 9,216 כבלי חיבור בודדים לכל בלוק של 8 ארונות.
  • ✕
    חסימת זרימת אוויר: צרורות כבלים צפופים חוסמים נתיבי פליטה של קירור נוזלי.
  • ✕
    פרופיל סיכון: סבירות גבוהה ל’מסילות מצטלבות’ במהלך Patching ידני 1:1.
  • ✕
    זמן פריסה: 115+ שעות עבור ניתוב ותיוג ידני לכל SU.

חיבור מודולרי עם צרורות סיבים בעלי ספירה גבוהה

  • ✓
    Plug-and-Play: מאחד אלפי סיבים לצרורות בגימור מפעל מראש (pre-terminated) של 128F/144F/256F/288F/576F.
  • ✓
    אופטימיזציה תרמית: כבלים בקוטר קטן ממקסמים את זרימת האוויר בארונות צפופים.
  • ✓
    יעילות נתיב: מאחד 1,152 סיבים פעילים לכל ארון שרתים לעמוד שדרה MPO בעל ספירה גבוהה.
  • ✓
    פרופיל התקנה: פריסה מהירה באמצעות מכלולים בגימור מפעל מראש (pre-terminated) ונבדקים במפעל.

צמיחת סיבים פעילים: מצומת ל-SuperPOD מלא

מורכבות כבילה
9,216 סיבים פעילים ל-SU דורשים צרורות סיבים מודולריים בעלי ספירה גבוהה כדי למנוע 'כאוס כבלים' החוסם את זרימת האוויר.

יחידה ניתנת להרחבה מוצגת ויזואלית

בלוק החישוב של 8 ארונות
בלוק החישוב של 8 ארונות

יחידה ניתנת להרחבה (SU) של NVIDIA GB200 מורכבת מ-8 ארונות שרתים, שכל אחד מהם מכיל מערכת DGX GB200 NVL72 עם 72 מעבדי GPU.

הפצת צרורות סיבים בעלי ספירה גבוהה
הפצת צרורות סיבים בעלי ספירה גבוהה

איחוד אלפי סיבי ארונות לצרורות בצפיפות גבוהה לפינוי זרימת אוויר, התקנה מהירה ושימוש מינימלי בנתיבים.

קירור נוזלי
קירור נוזלי

לוחות קירור נוזלי מייצבים את סביבת המגש, ומאפשרים למשדרי-מקלטים (transceivers) OSFP לפלוט חום ביעילות באמצעות גופי קירור.

שאלות נפוצות טכניות

+ כיצד נשמרת ספירת הסיבים של ה-SU, 9,216 סיבים, ברת ניהול?
באמצעות שימוש בהיררכיית כבילה מדורגת. צרורות סיבים בעלי ספירה גבוהה מחליפים אלפי כבלי מגשר (פאץ’ קורד) MPO בודדים, מפחיתים את הנפח הפיזי ומונעים חסימות קירור.
+ מהו 'פקטור החסימה 5:3' במבנה האחסון?
בניגוד למבנה החישוב ללא חסימה (1:1), רשת האחסון היא בכוונה בעלת רישום יתר (oversubscribed). זה מפחית את עלויות הסיבים והמורכבות תוך עמידה בדרישת 40GB/s לכל צומת עבור אחסון. הפריסה לרוב משתמשת בכבלי מגשר (פאץ’ קורד) MPO תואמי NVIDIA.
+ מדוע מבנה ה-NVLink הפנימי נטול סיבים?
NVIDIA משתמשת ב-Backplane פסיבי מנחושת וברכיבי כבלים בתוך ארון NVL72. זה מבטל אלפי משדרי-מקלטים אופטיים וסיבים, ומפחית משמעותית את צריכת החשמל והשיהוי. סיבים אופטיים שמורים למבנה החישוב המורחב.
+ מה קורה כשאנו מרחיבים ל-16 יחידות ניתנות להרחבה?
בקנה מידה של 16 SU (9,216 מעבדי GPU), סך ספירת הסיבים הפעילים למבנה החישוב לבדו מגיע ל-73,728 גידים. ניהול צפיפות זו דורש מארזים בצפיפות גבוהה שתוכננו במיוחד עבור סיבים אופטיים בספירה גבוהה וארכיטקטורות מיתוג קבוצת ליבה מרכזיות.
+ מדוע משתמשים ב-MPO-8 במקום ב-MPO-12 הסטנדרטי?
משדרי-מקלטים (transceivers) מודרניים של 400G NDR ו-800G XDR משתמשים באופטיקה מקבילית של 4 או 8 נתיבים. יישור MPO של 8 סיבים תואם באופן מושלם את תצורת 4x Tx ו-4x Rx. שימוש בצרורות MPO פעילים בני 8 סיבים מבטל סיבים ‘חשוכים’ או מבוזבזים בתוך מבנה האשכול.
+ מהי חשיבות ליטוש APC (Angled Physical Contact)?
איתות 100G-PAM4 במהירות גבוהה רגיש ביותר להחזרים אחוריים. הזווית של 8 מעלות של מחבר APC מבטיחה שהאור המוחזר ייספג בציפוי הסיב, ושומרת על אובדן החזרה אופטי (ORL) גבוה הנדרש לאימון AI ללא שגיאות.
+ כיצד צפיפות הסיבים משפיעה על אולמות AI מקוררים בנוזל?
גם עם מגשים מקוררים בנוזל, האוויר עדיין חייב לנוע כדי לנהל חום משני. שימוש בכבלי SmartRibbon בצפיפות גבוהה מפחית משמעותית את קוטר הכבל, ומבטיח שהכבילה הפיזית לא תחסום את זרימת האוויר או את סעפות הקירור הנוזלי.
+ מהן מגבלות המרחק לכבילה ברמת ה-SU?
רב-מוד (OM4/OM5) מוגבל ל-50 מטר עבור 400G/800G. עבור קישורי Spine-to-Core מרכזיים החורגים מכך, סיב חד-מוד G.657.A1 הוא חובה לתמיכה בהגעה למרחקים גדולים יותר ללא ירידה באיכות האות.
+ האם ניתן להשתמש בכבלים חיצוניים סטנדרטיים עבור עמוד שדרה של מרכזי נתונים של AI?
לא. אולמות AI פנימיים דורשים LSZH (Low Smoke Zero Halogen), Riser או Plenum כדי לעמוד בתקנות בטיחות אש הנדרשות בהתאם לתקנות המקומיות. עבור נתיבים בצפיפות גבוהה, כבלי SlimCORE פנימיים מיוחדים מספקים את ספירת הגידים הנדרשת בקוטר מופחת.
+ מה היתרון של פיגטיילים בגימור מפעל ב-SU?
פיגטיילים מסיבים אופטיים של MPO מאפשרים חיבור מהיר בהיתוך המוני בשכבת ה-Spine או Core. גימור מפעל זה בקצה אחד מספק את היתרונות של גימור מראש, בעוד הקצה ה’קצוץ’ מאפשר גמישות להתאמה לאורך הנדרש באתר.

תכנן את מפעל ה-AI שלך

ScaleFibre מספקת פתרונות כבילה בגימור מפעל מראש עבור פריסות NVIDIA DGX SuperPOD.

צור קשר

קבל פרטים על צרורות סיבים בעלי ספירה גבוהה עבור NVIDIA DGX SU שלך.