אנבידיה מכריזה על NVIDIA HGX H200, הדור הבא לפלטפורמת מחשוב העל לבינה מלאכותית

בכנס Suprecomputer 2023 בדנבר, קולורדו, הציגה אנבידיה את פלטפורמת מחשוב העל NVIDIA HGX H200, המבוססת על ארכיטקטורת NVIDIA Hopper וכוללת את המעבדים הגרפיים (GPUs) מדגם H200 – הראשונים בעולם לשלב זיכרון מסוג HBM3e. 

מחשבי על מבוססי HGX H200 מיועדים להתמודד עם כמויות מידע עצומות עבור עומסי העבודה הנדרשים לבינה מלאכותית יוצרת (Generative AI), מודלי שפה גדולים (LLM) ומחשוב מדעי. NVIDIA H200 מספק עד ל-141 גיגה-בייט של זיכרון בקצב 4.8 טרה-ביט בשנייה, כמעט פי שניים בנפח ופי 2.4 ברוחב הפס, בהשוואה ל-NVIDIA A100. 

מערכות HGX H200 ישלבו שמונה או ארבעה מעבדים גרפיים מדגם H200. מחוברות באמצעות טכנולוגיות NVIDIA NVLink ו-NVSwitch לתקשורת מהירה, מערכות אלו יציעו את הביצועים הטובים ביותר במגוון משימות, כולל אימון והסקה של מודלי שפה גדולים (LLM) בגודל של למעלה מ-175 מיליארד פרמטרים. 

HGX H200 עם שמונה מעבדים גרפיים מסוג H200, יציעו למעלה מ-32 פטה-פלופס של יכולות למידה עמוקה ב-FP8.  מעבדי H200 יהיו זמינים גם בקונפיגורציה של סופר-שבב מדגם NVIDIA GH200 Grace Hopper Superchip, שהוכרזה באוגוסט האחרון. 

NVIDIA H200 יציעו זינוק משמעותי בביצועים של מערכות מחשוב מואץ. כך למשל, הכפלה של מהירות תהליכי ההיסק (inferencing) במודל השפה Llama 2 הכולל 70 מיליארד פרמטרים, לעומת המהירות של H100. התצורות המגוונות שלהם יאפשרו הטמעה שלהם במערכות שונות – On-Prem, בענן, בענן היברידי ואפילו במחשוב-קצה. 

מערכות מבוססות NVIDIA H200 יהיו זמינות החל מהרבעון השני של 2024. שירותי הענן של AWS, Google Cloud, Microsoft Azure ו-Oracle Cloud Infrastructure יהיו בין הראשונים להטמיע ולהציע גישה ל-H200, בנוסף ל-CoreWeave, Lambda ו-Vultr. 

סופר-שבבים מסדרת NVIDIA Grace Hopper יניעו את JUPITER, מחשב העל החזק בעולם לבינה מלאכותית

עוד חשפה אנבידיה ב-SC23 כי מחשב העל האירופאי JUPITER – שמשיק קטגוריה חדשה של מחשבי על המיועדים להניע פריצות דרך מדעיות המונעות באמצעות בינה מלאכותית – יבצע שימוש בסופר-שבב מדגם NVIDIA GH200 Grace Hopper Superchip. 

JUPITER, שיבנה במכון Forschungszentrum Jülich הגרמני, יאפשר בניית מודלי בינה מלאכותית מורכבים למחקר בתחום האקלים, חקר חומרים, גילוי תרופות, הנדסה תעשייתית ומחשוב קוונטי. הוא יכלול כ-24 אלף סופר-שבבים (Superchip) מסוג NVIDIA GH200 המחוברים באמצעות פלטפורמת התקשורת המואצת NVIDIA Quantum-2 InfiniBand – שפותחה במרכז הפיתוח של אנבידיה בישראל.

JUPITER יהיה מחשב העל החזק בעולם לחישובי בינה מלאכותית, ויציע למעלה מ-90 אקסה-פלופס של ביצועי AI לאימון מודלים, ואקסה-פלופ אחד עבור ביצועי אפליקציות HPC, תוך שמירה על צריכת חשמל של 18.2 מגה-וואט בלבד. 

מחשב זה יהיה הראשון בעולם להציג את התצורה החדשה של שבבי אנבידיה מסדרת Grace Hopper, והיא Quad GH200 Grace Hopper Superchip. תצורה זו כוללת 288 ליבות Arm Neoverse המסוגלים להציע 16 פטה-לופס של ביצועי AI, תוך שימוש בעד ל-2.3 טרה-בייט של זיכרון מהיר. ארבע מעבדי  GH200 מחוברים באמצעות NVIDIA NVLink.