חשיבה מחדש על אסטרטגיות אחסון עבור יישומי בינה מלאכותית – AI

התגברות על צווארי בקבוק באחסון AI לשיפור הפרודוקטיביות

הרבה ארגונים אשר משקיעים הון רב במעבדי GPU אינם ממשים את מלוא הפוטנציאל שלהם לאור שימוש בתשתיות האחסון הקיימות ו האיטיות שיש להם בארגון . מערכות אחסון אלו בדרך כלל מבוססת על גישה בפרוטוקול  NFS אשר אינו מקבילי ו ללא יכולת  RDMA- תופעה זו מאוד נפוצה בקרב לקוחות שמתחילים בקנה מידה קטן יחסית וללא ידע מספיק רחב לגבי האפשריות הקיימות.

חשיבות בחירת מערכת אחסון מותאמת ל-AI

הנקודות החשובות שכדאי לשים אליהם לב:

• בחירת מערכת אחסון מותאם לתהליכי  AI מפשט  התפעול, חוסך כסף והופך את המערכת הכוללת ליעילה יותר.
• זה בדוק ו מיושם שחברות ענק כגון NVIDIA , ספקי שרותי ענן, מכוני מחקר, חברות רכב, חברות פננסים ועוד משתמשות בטכנולוגיה שלנו.
• אחסון מותאם ל עומסי עבודה של בינה מלאכותית ישפר את הפרודוקטיביות ב פי 4-6 או יותר.

ייעול תנועת נתונים בתשתית AI

איך זה עובד? העברת נתונים היא כמובן, חלק אינהרנטי מאימון מודל AI. זה כולל העברת נתונים חדשים, הוספת נתונים (Tokens, Images) , העברת הנתונים ישירות למעבדים הגרפיים, העברת מודלים לזיכרון GPU , שמירת היפר-פרמטרים באחסון (נקודות ביקורת) והפצת הנתונים. כל תנועת הנתונים הזו מייצרת עומס רב.

ההשוואה להמתנה בסופרמרקט: תשתיות AI לא מותאמות

אפשר להשוות את זה להמתנה בקופה בסופרמרקט: לעמוד שם ולהמתין לא מוסיף שום ערך והוא רק צעד שצריך להשלים לפני שמתקדמים. אם היינו יכולים לצמצם את זמן ההמתנה לקופה לאפס, המרכולים היו יעילים יותר, הקונים היו מאושרים יותר, ואף אחד לא היה מפסיד.

בדיוק כפי שתור ארוך לקופה יכול לעכב את ארוחת הערב, המתנה לנתונים יכולה לעכב באופן רציני פרויקטים של בינה מלאכותית. אחוז גבוה של תשתיות AI מבוזבז מכיוון שהוא שורף ערך הון יחד עם חשמל, קירור וזמן יקר – בעוד המעבדים ממתין לקרוא או לכתוב.

וכל זאת לאור שימוש בתשתיות אחסון אשר (כגון מערכות שיש לכם אשר משתמשות ב NFS ללא יכולות כגון : RDMA and MMAP ואינן מותאמות לספק למעבדים את המידע בקצב מקבילי ומקסימלי.

גישות חלופיות להתייעלות בתשתיות AI

ארגונים מנסים להתפשר על יד גישות רבות כדי לייעל את ההכשרה של מודלים בסיסיים, לעתים קרובות על ידי הקטנת גודל הבעיה המחושבת מבלי להשפיע על היעילות. טכניקות פופולריות כוללות צמצום שטח חיפוש הפרמטרים לאימונים, מעבר לתנועות נתונים אסינכרוניות, הקטנת גודל הדגם, הקטנת הגודל האפקטיבי של נתוני אימון וכו – וכל זאת במקום לפתור את בעיית המקור שיש בארגון לאור ה שימוש במערכות אחסון איטית

מירוץ להתייעלות: הצורך בתשתית מאוזנת

בעוד שראינו אופטימיזציות מסוג זה בעבר ב- HPC, הן לעולם אינן מסוגלות לשלול לחלוטין את הצורך בארכיטקטורת חומרה ותוכנה מאוזנת. כדי למקסם את היעילות, יש לאזן את ביצועי המעבד הגרפי של המערכת, ביצועי המעבד המרכזי ורוחב הפס של הזיכרון, ארכיטקטורת PCI, רוחב הפס וההשהיה של הרשת, ביצועי מערכת הקבצים ויכולות האחסון מול עומס העבודה. ויעילות זו נמדדת בהספק מופחת, תשואות הון גדולות יותר, פחות הוצאות תפעוליות וניצול טוב יותר של זמנם של אנשים.

האתגר של בניית הדור הבא של מודלים בסיסיים

אציין גם שהדברים לא נעשים קלים יותר. עם המירוץ העצום כעת לבניית הדור הבא של מודלים בסיסיים, גדלי הבעיות גדלים מהר יותר ממה שהאופטימיזציות יכולות להפחית אותם. נוסף על כך, עוצמת המעבד הגרפי, טביעת הרגל של הזיכרון ורוחב הפס של הזיכרון גדלים במהירות, כאשר NVIDIA עושה עבודה מדהימה בשמירה על המומנטום בהתקדמות החומרה והתוכנה.

DDN ו-NVIDIA: שותפות בהנעת תשתיות AI מתקדמות

מהנאום המרכזי האחרון של ג'נסן ב-GTC, ציינתי את הדברים הבאים כמפתח עבורנו ב-DDN, בהיותנו חלק תורם מתשתית הבינה המלאכותית המונעת על ידי NVIDIA: "המטרה שלנו בנבידיה: להפחית ללא הרף את העלות והאנרגיה הקשורות למחשוב, כך שנוכל להמשיך להרחיב ולהגדיל את החישוב שעלינו לעשות כדי להכשיר את הדור הבא של המודלים".

זה היה על יעילות לפני חמש שנים, כאשר NVIDIA רכשה את פתרון ה- DDN הראשון הזה כדי להניע את הנתונים עבור מחשב העל Selene שלה. כך היה גם לפני שנה, כאשר NVIDIA פנתה שוב לפתרון DDN כדי להניע את הנתונים עבור מערכת ה-Eos שלה, וזה הולך להיות אותו הדבר עבור מערכות עתידיות כאשר היעד הנו הורדת עלויות ואנרגיה תוך העלאת התפוקה היצרנית היא היעד.