पिछले दो दिनों में, हमने एक बार फिर जीटीसी 2024 में हुआंग रेनक्सुन के भाषण की समीक्षा की। जब हमने उत्पाद का गहन विश्लेषण और व्याख्या की, तो हमें कुछ हाइलाइट्स का पता चला जो हम उस समय देर तक रहने के दौरान चूक गए थे।
सबसे पहले, हुआंग की भाषण शैली विनोदी, स्वाभाविक और बहुत संचारी है। इसमें कोई आश्चर्य की बात नहीं है कि वह एक प्रौद्योगिकी उत्पाद लॉन्च सम्मेलन को एक संगीत कार्यक्रम में बदल सकता है।
दूसरा, उत्पादों की पिछली पीढ़ियों के संयोजन में हाल ही में जारी ब्लैकवेल आर्किटेक्चर और जीपीयू की श्रृंखला की समीक्षा करना है। मैं केवल यह कह सकता हूं कि इसका कंप्यूटिंग प्रदर्शन, लागत और भविष्य का प्रदर्शन मेरी कल्पना से कहीं परे है।
NVIDIA नाम की तरह ही, NVIDIA के पहले दो अक्षर N और V अगले संस्करण "अगली पीढ़ी" का प्रतिनिधित्व करते हैं।
पिछले वर्षों में जीटीसी की तरह, एनवीडिया ने अगली पीढ़ी के उत्पादों को उच्च प्रदर्शन और बेहतर प्रदर्शन के साथ निर्धारित कार्यक्रम के अनुसार जारी किया; लेकिन यह पहले से पूरी तरह से अलग है, क्योंकि ब्लैकवेल न केवल अगली पीढ़ी के उत्पादों का प्रतिनिधित्व करता है, बल्कि अगले युग का भी प्रतिनिधित्व करता है।
पृथ्वी पर सबसे शक्तिशाली GPU को फिर से खोजें
आत्म-परिचय आमतौर पर आपके नाम से शुरू होता है, तो आइए यहां नवीनतम और सबसे शक्तिशाली एआई चिप के साथ शुरुआत करें।
ब्लैकवेल का पूरा नाम डेविड हेरोल्ड ब्लैकवेल है। वह एक अमेरिकी सांख्यिकीविद् हैं और राव-ब्लैकवेल प्रमेय के प्रस्तावकों में से एक हैं। इससे भी महत्वपूर्ण बात यह है कि वह नेशनल एकेडमी ऑफ साइंसेज के पहले अश्वेत सदस्य और कैलिफोर्निया विश्वविद्यालय, बर्कले के पहले अश्वेत कार्यकाल वाले संकाय सदस्य थे।
जीटीसी 2024 में जारी "ब्लैकवेल" इसी से आता है। ऐसा नहीं है कि ब्लैकवेल ने स्वयं NVIDIA में कोई उत्कृष्ट योगदान दिया है, लेकिन NVIDIA की नामकरण प्रणाली में, इतिहास के कुछ प्रसिद्ध वैज्ञानिकों (या गणितज्ञों) के नामों का उपयोग किया गया है। GPU माइक्रोआर्किटेक्चर को उनके नाम से नामित करने की परंपरा बन गई है।
2006 के बाद से, NVIDIA ने टेस्ला, फर्मी, केप्लर, मैक्सवेल, पास्कल, वोल्टा, ट्यूरिंग और एम्पीयर आर्किटेक्चर को क्रमिक रूप से लॉन्च किया है, जो टेस्ला, फर्मी, केप्लर, मैक्सवेल, पास्कल, वोल्टा, ट्यूरिंग, एम्पीयर और इन अकादमिक नेताओं के अनुरूप हैं।
एक यह कि यह प्रसिद्ध है, और दूसरा यह कि इसमें सामग्रियां हैं। जहां तक यह बात है कि क्या यह निर्दिष्ट उत्पाद से एक-से-एक मेल खाता है, वास्तव में यह इतना मजबूत सहसंबंध नहीं है।
यहां इस बात पर जोर देने की जरूरत है कि ऊपर उल्लिखित नामित वस्तुएं व्यक्तिगत चिप्स नहीं हैं, बल्कि संपूर्ण जीपीयू आर्किटेक्चर को संदर्भित करती हैं (हुआंग रेनक्सुन इसे एक प्लेटफॉर्म कहते हैं)।
चिप आर्किटेक्चर चिप के मूल डिजाइन और संगठनात्मक संरचना को संदर्भित करता है। विभिन्न आर्किटेक्चर चिप के प्रदर्शन, ऊर्जा दक्षता, प्रसंस्करण शक्ति और अनुकूलता को निर्धारित करते हैं, और अनुप्रयोगों की निष्पादन विधि और दक्षता को भी प्रभावित करते हैं।
सीधे शब्दों में कहें तो, अब आपके पास एक स्टेडियम (चिप्स बनाने के लिए कच्चा माल) है, और आप इसे पूरी तरह से बदलने की योजना बना रहे हैं। क्या भूमि का उपयोग संगीत समारोहों या खेल खेलों के लिए किया जाएगा (चिप का उद्देश्य) स्थल का लेआउट निर्धारित करता है, कर्मियों को काम पर रखना, और सजावट। और घोषणा का तरीका (चिप वास्तुकला)।
इसलिए, चिप आर्किटेक्चर और चिप डिज़ाइन आपस में जुड़े हुए हैं और संयुक्त रूप से चिप के प्रदर्शन को निर्धारित करते हैं।
उदाहरण के लिए, x86 और ARM, जो अक्सर सुनने में आते हैं, सीपीयू के लिए डिज़ाइन किए गए दो मुख्यधारा आर्किटेक्चर हैं। पहले में शक्तिशाली प्रदर्शन होता है और बाद में उत्कृष्ट ऊर्जा खपत नियंत्रण होता है। प्रत्येक की अपनी ताकत होती है।
NVIDIA तकनीक की कई पीढ़ियों पर निर्मित, ब्लैकवेल आर्किटेक्चर के तहत चिप्स B200 और B100 में उत्कृष्ट प्रदर्शन, दक्षता और स्केल है, और यह AIGC के लिए एक नया अध्याय भी खोलता है।
लेकिन इसे "एआई परमाणु बम" क्यों कहा जाता है? नया GPU कितना शक्तिशाली है? पिछली पीढ़ी के उत्पाद की तुलना में, हमें अधिक सहज अनुभूति होगी।
2022 GTC में, हुआंग रेनक्सुन ने एक नया आर्किटेक्चर हॉपर और एक नया चिप H100 जारी किया:
1. यह TSMC की 4nm प्रक्रिया का उपयोग करके निर्मित किया गया है और 80 बिलियन ट्रांजिस्टर को एकीकृत करता है, जो पिछली पीढ़ी के A100 से पूरे 26 बिलियन अधिक है।
2. H100 का FP16, TF32 और FP64 प्रदर्शन A100 के 3 गुना है, जो क्रमशः 2000TFLOPS, 1000TFLOPS और 60TFLOPS हैं। 395 बिलियन मापदंडों के साथ एक बड़े मॉडल को प्रशिक्षित करने में केवल 1 दिन लगता है। लाओ हुआंग के मूल शब्दों में, "20 तस्वीरें दुनिया का डेटा "इंटरनेट ट्रैफ़िक" ले जा सकती हैं।
3. H100 की रिलीज़ ने NVIDIA का बाज़ार मूल्य 2 ट्रिलियन अमेरिकी डॉलर से अधिक कर दिया है, जिससे यह Microsoft और Apple के बाद तीसरी सबसे बड़ी प्रौद्योगिकी कंपनी बन गई है।
मार्केट ट्रैकिंग कंपनी ओमडिया के सांख्यिकीय विश्लेषण के अनुसार, एनवीडिया ने पिछले साल की तीसरी तिमाही में लगभग 500,000 एच100 और ए100 जीपीयू बेचे, और इन ग्राफिक्स कार्ड का कुल वजन लगभग 1,000 टन था।
अब तक, व्यापक अंतर से, हॉपर एच100 अभी भी बिक्री पर सबसे शक्तिशाली जीपीयू है।
ब्लैकवेल बी200 ने पारंपरिक उत्पाद पुनरावृत्तियों से कहीं अधिक प्रदर्शन सुधार के साथ एक बार फिर "सबसे मजबूत" का नया रिकॉर्ड बनाया है।
प्रक्रिया प्रौद्योगिकी के परिप्रेक्ष्य से, B200 GPU दूसरी पीढ़ी की TSMC 4nm प्रक्रिया का उपयोग करता है, फोटोलिथोग्राफी सीमा आकार से दोगुना नंगे वेफर्स का उपयोग करता है, और एक एकीकृत GPU बनाने के लिए 10 TB/s इंटर-चिप इंटरकनेक्शन तकनीक के माध्यम से जुड़ा होता है। कुल 208 बिलियन ट्रांजिस्टर (एक चिप 104 बिलियन है), हॉपर H100 बनाने के लिए उपयोग की जाने वाली N4 तकनीक की तुलना में, प्रदर्शन में 6% सुधार हुआ है। , समग्र प्रदर्शन में लगभग 250% का सुधार हुआ है।
प्रदर्शन के संदर्भ में, दूसरी पीढ़ी का ट्रांसफार्मर इंजन ब्लैकवेल को नए 4-बिट फ्लोटिंग पॉइंट एआई के माध्यम से गणना और मॉडल आकार तर्क क्षमताओं को दोगुना करने में सक्षम बनाता है। सिंगल-चिप एआई प्रदर्शन 20 पेटाफ्लॉप्स जितना ऊंचा है (20× प्रदर्शन कर सकता है) 10^15 फ़्लोट प्रति सेकंड)। प्वाइंट ऑपरेशन), जो पिछली पीढ़ी के हॉपर एच100 से 4 गुना अधिक है, और एआई अनुमान प्रदर्शन पिछली पीढ़ी की तुलना में 30 गुना अधिक है।
ऊर्जा खपत नियंत्रण के दृष्टिकोण से, अतीत में, 1.8 ट्रिलियन पैरामीटर मॉडल के प्रशिक्षण के लिए 8,000 हॉपर जीपीयू और 15 मेगावाट बिजली की आवश्यकता होती थी। अब 2,000 ब्लैकवेल जीपीयू ऐसा कर सकते हैं, और बिजली की खपत केवल 4 मेगावाट है, जो सीधे 96% कम करती है।
इसलिए, हुआंग रेनक्सुन का यह कथन कि "ब्लैकवेल दुनिया की सबसे शक्तिशाली चिप बन जाएगी" सिर्फ झूठ नहीं है, बल्कि एक सच्चाई बन गई है।
सस्ता नहीं, उपयोग में आसान नहीं
वित्तीय सेवा फर्म रेमंड जेम्स के विश्लेषकों ने B200 की लागत का अनुमान लगाया था।
एनवीडिया की प्रत्येक H100 के निर्माण की लागत लगभग US$3,320 है, और कीमत US$25,000 और US$30,000 के बीच है। दोनों के बीच प्रदर्शन अंतर के आधार पर, यह अनुमान लगाया गया है कि B200 की लागत उससे 50% से 60% अधिक होगी H100, जो लगभग US$6,000 है।
प्रेस कॉन्फ्रेंस के बाद सीएनबीसी के साथ एक विशेष साक्षात्कार में, हुआंग रेनक्सुन ने खुलासा किया कि ब्लैकवेल जीपीयू की कीमत लगभग 30,000 अमेरिकी डॉलर से 40,000 अमेरिकी डॉलर है, और पूरे नए आर्किटेक्चर के अनुसंधान और विकास की लागत लगभग 10 बिलियन अमेरिकी डॉलर है।
इसे (नई वास्तुकला) संभव बनाने के लिए हमें कुछ नई तकनीक का आविष्कार करना पड़ा।
पिछली लय के अनुसार, एनवीडिया लगभग हर दो साल में एआई चिप्स की एक नई पीढ़ी जारी करेगा। उत्पादों की पिछली पीढ़ियों की तुलना में, नवीनतम ब्लैकवेल ने कंप्यूटिंग प्रदर्शन और ऊर्जा खपत नियंत्रण में काफी सुधार किया है। अधिक सहजता से, यह दो-जीपीयू ब्लैकवेल को जोड़ती है हूपर से लगभग दोगुना बड़ा है।
उच्च लागत न केवल चिप्स से संबंधित है, बल्कि डेटा केंद्रों को डिजाइन करने और अन्य कंपनियों के डेटा केंद्रों में एकीकृत करने से भी संबंधित है, क्योंकि हुआंग रेनक्सुन के विचार में, एनवीडिया चिप्स नहीं बनाता है, बल्कि डेटा केंद्रों का निर्माण कर रहा है।
एनवीडिया की नवीनतम वित्तीय रिपोर्ट के अनुसार, चौथी तिमाही में राजस्व रिकॉर्ड 22.1 बिलियन डॉलर तक पहुंच गया, जो साल-दर-साल 265% की वृद्धि है। चौथी तिमाही में शुद्ध लाभ 12.3 बिलियन अमेरिकी डॉलर था, जो साल-दर-साल 765% की वृद्धि है।
डेटा सेंटर खंड, राजस्व का सबसे बड़ा स्रोत, रिकॉर्ड $18.4 बिलियन तक पहुंच गया, तीसरी तिमाही से 27% की वृद्धि और पिछले वर्ष की समान अवधि से 409% की वृद्धि।
R&D लागत अधिक है, लेकिन सकारात्मक रिटर्न अधिक है।
NVIDIA वर्तमान में जो डेटा सेंटर बना रहा है, उसमें एक फुल-स्टैक सिस्टम और सभी सॉफ्टवेयर शामिल हैं। यह एक संपूर्ण सिस्टम है। ब्लैकवेल या जीपीयू इसका केवल एक हिस्सा है।
डेटा सेंटर को कई मॉड्यूल में विघटित किया गया है। उपयोगकर्ता अपनी आवश्यकताओं के अनुसार संबंधित सॉफ़्टवेयर और हार्डवेयर सेवाओं को स्वतंत्र रूप से चुन सकते हैं। NVIDIA विभिन्न आवश्यकताओं के अनुसार नेटवर्क, भंडारण, नियंत्रण प्लेटफ़ॉर्म, सुरक्षा और प्रबंधन को समायोजित करेगा, और एक समर्पित टीम होगी प्रौद्योगिकी सहायता प्रदान करना।
ऐसी वैश्विक दृष्टि और अनुकूलित सेवाएं अच्छी हैं या नहीं, डेटा सब कुछ बता सकता है: 5 मार्च तक, एनवीडिया का बाजार मूल्य अल्फाबेट और अमेज़ॅन जैसे दिग्गजों से आगे निकल गया है, और सऊदी अरामको को पीछे छोड़कर दुनिया की तीसरी सबसे बड़ी कंपनी बन गई है। दो प्रमुख प्रौद्योगिकी दिग्गजों, माइक्रोसॉफ्ट और एप्पल के बाद दूसरे स्थान पर है, जिनका संयुक्त बाजार मूल्य 2.4 ट्रिलियन अमेरिकी डॉलर है।
वर्तमान में, वैश्विक डेटा सेंटर बाज़ार लगभग 200 बिलियन यूरो (लगभग RMB 787.3 बिलियन) का है, और NVIDIA इसका हिस्सा है। हुआंग रेनक्सुन का अनुमान है कि भविष्य में यह बाज़ार 1-2 ट्रिलियन अमेरिकी डॉलर तक बढ़ने की संभावना है।
एनवीडिया सीएफओ क्रेस द्वारा विश्लेषण:
वित्तीय वर्ष की चौथी तिमाही में डेटा सेंटर का राजस्व मुख्य रूप से जेनेरिक एआई और उससे संबंधित प्रशिक्षण द्वारा संचालित था। हमारा अनुमान है कि पिछले वर्ष डेटा सेंटर का लगभग 40% राजस्व AI से प्राप्त हुआ था।
एक महीने से भी कम समय पहले, हुआंग रेनक्सुन ने वित्तीय रिपोर्ट में भी कहा था
दुनिया भर के व्यवसायों, उद्योगों और देशों में मांग बढ़ने के साथ, त्वरित कंप्यूटिंग और जेनरेटिव एआई चरम बिंदु पर पहुंच गए हैं।
दरअसल, अनुकूलन केवल NVIDIA के लिए नहीं है, लेकिन AI के युग में, कुछ कंपनियां बची हैं जो "सिर से पैर तक" सेवाएं प्रदान कर सकती हैं, और NVIDIA उनमें से एक है।
सूअरों को उड़ान भरने के लिए पहले उन्हें हवा में रहना होगा
आभासी वास्तविकता, उच्च-प्रदर्शन कंप्यूटिंग और कृत्रिम बुद्धिमत्ता के चौराहे पर, जीपीयू एआई कंप्यूटर के दिमाग के रूप में सीपीयू की जगह भी ले रहे हैं।
जेनरेटिव एआई ने विभिन्न उद्योगों में गरमागरम चर्चा क्यों पैदा की है, इसका मुख्य कारण यह है कि यह एक "मानव" की तरह काम करना और सीखना शुरू कर देता है, चैटिंग, कॉपी राइटिंग, चित्र बनाने, वीडियो बनाने से लेकर स्थितियों का विश्लेषण करने, शोध करने और सारांशित करने तक… सब कुछ जिनमें से रोमांचक आश्चर्यजनक परिणाम हैं, उन्हें समर्थन देने के लिए बड़ी मात्रा में नमूना डेटा की आवश्यकता होती है।
उदाहरण के लिए, यदि आप "ऐ फैन'एर" नाम को याद कर सकते हैं, तो ऐसा इसलिए हो सकता है क्योंकि सार्वजनिक खाते द्वारा प्रतिदिन दी जाने वाली जानकारी ने इसे दोहराकर आपकी याददाश्त को मजबूत किया है; ऐसा इसलिए भी हो सकता है क्योंकि आपने "का संयोजन कभी नहीं देखा है"। ऐ" और "फैनर" पहले, जो नया है। इसका भाव आप पर गहरा प्रभाव छोड़ता है; या हो सकता है कि नारंगी लोगो आपके दिमाग में एक अद्वितीय दृश्य प्रतीक छोड़ देता है।
हर साधारण छोटी जानकारी आपके दिमाग में "फैनर" की छवि को मजबूत करती है, लेकिन जब राष्ट्रीय प्रौद्योगिकी मीडिया की जानकारी को एक साथ मिलाया जाता है, तो भ्रम से बचने के लिए धारणा को गहरा करने के लिए अधिक प्रतीकों की आवश्यकता होती है।
एआई की गहन शिक्षा संभवतः इसी तर्क का अनुसरण करती है, और बड़ी मात्रा में जानकारी संसाधित करने के लिए जीपीयू सबसे अच्छा विकल्प है।
जब से ओपनएआई ने एआईजीसी को प्रज्वलित किया है, अधिकांश प्रसिद्ध कंपनियों ने अपने स्वयं के बड़े और छोटे मॉडल को जल्दी से अलमारियों पर रखना शुरू कर दिया है। स्मार्ट कार, अनुवाद सॉफ्टवेयर, इलेक्ट्रॉनिक दस्तावेज़, मोबाइल सहायक और यहां तक कि व्यापक रोबोट सभी में एआई है।
जीपीयू रातोंरात वैश्विक प्रतिस्पर्धा का विषय बन गया है। मार्केट ट्रैकिंग कंपनी ओमडिया के आंकड़ों के मुताबिक, टेनसेंट, अलीबाबा, बायडू, बाइटडांस, टेस्ला, मेटा और माइक्रोसॉफ्ट ने 150,000 इकाइयां खरीदी हैं। एच100 जीपीयू (पिछले साल की सबसे शक्तिशाली चिप)।
तकनीकी सिद्धांतों और समय की पृष्ठभूमि ने संयुक्त रूप से जीपीयू के विस्फोट को बढ़ावा दिया है और एनवीडिया से संबंधित "ग्राफिक्स कार्ड साम्राज्य" का निर्माण किया है। वेल्स फ़ार्गो के आंकड़ों के अनुसार, एनवीडिया के पास वर्तमान में डेटा सेंटर एआई बाज़ार में 98% बाज़ार हिस्सेदारी है।
पवन आउटलेट पर खड़ा होकर सुअर भी उड़ सकता है।
लेकिन जब किसी उद्योग में किसी कंपनी की हिस्सेदारी 100% के करीब होती है, तो उसके पीछे कोई कारण होना चाहिए जो सबसे आगे रहने जितना ही महत्वपूर्ण हो।
1999 में, NVIDIA ने GPU की अवधारणा को प्रस्तावित करने का बीड़ा उठाया और 2006 में CUDA लॉन्च किया। यह NVIDIA के विकास के इतिहास में एक महत्वपूर्ण तकनीकी मोड़ था। इसने GPU की एप्लिकेशन सीमा को कम कर दिया। डेवलपर्स C/C++ और अन्य का उपयोग कर सकते हैं जीपीयू पर भाषाएं बनाने के लिए। प्रोग्राम लिखना, जीपीयू इमेज प्रोसेसिंग के एकमात्र उद्देश्य से अलग हो गया है, और उच्च-प्रदर्शन कंप्यूटिंग ने ग्राफिक्स कार्ड की दुनिया में प्रवेश किया है।
2016 में अल्फ़ागो की जीत, 2017 में बिटकॉइन की उछाल और खनन में उछाल, इस अवधि के दौरान, हमने स्वायत्त ड्राइविंग बाजार पर दांव लगाया। 2023 में ChatGPT जैसे बड़े AI मॉडल के आगमन तक, NVIDIA ने फसल के क्षण की शुरुआत की जो बीज इसने कई साल पहले बोये थे।
आउटलेट महत्वपूर्ण है, लेकिन भविष्योन्मुखी बाजार लेआउट, विविध अनुप्रयोग क्षेत्र, बड़े पैमाने पर निवेश और नवाचार, कोई भी लिंक जो जगह से बाहर है, मौजूदा बाजार में सही स्कोर के करीब होने का मिथक नहीं बनाएगा।
हालाँकि, एनवीडिया के लिए, समय के चौराहे पर अपनी अग्रणी स्थिति कैसे बनाए रखी जाए, यह सबसे महत्वपूर्ण मुद्दा है।
ब्लैकवेल परिणामों को समेकित करने में एक महत्वपूर्ण कदम है। कई निर्माताओं को ऑर्डर किए गए H100 प्राप्त होने से पहले, B200 और B100 की असेंबली लाइनें पहले ही शुरू हो चुकी हैं।
अपने भाषण में, हुआंग रेनक्सुन ने पिछली वित्तीय रिपोर्टों में कही गई बात को दोहराया कि "सामान्य-उद्देश्य कंप्यूटिंग एक अड़चन तक पहुंच गई है।"
तो अब हमें बड़े मॉडलों की जरूरत है, हमें बड़े जीपीयू की जरूरत है, और हमें जीपीयू को एक साथ रखने की जरूरत है।
यह लागत कम करने के बारे में नहीं है, बल्कि पैमाने बढ़ाने के बारे में है।
इसमें कुछ विनम्रता है, लेकिन निश्चित रूप से बाजार में इसकी भारी मांग भी है।
वर्तमान में, OpenAI के सबसे बड़े मॉडल में पहले से ही 1.8T (ट्रिलियन) पैरामीटर हैं और इसे अरबों टोकन (स्ट्रिंग्स) को संभालने की आवश्यकता है। यहां तक कि पेटाFLOP (पेटाफ्लॉप्स) स्तर के GPU के साथ, इतने बड़े मॉडल को प्रशिक्षित करने के लिए 1,000 साल की आवश्यकता होती है।
हॉपर बढ़िया है, लेकिन हमें अधिक शक्तिशाली GPU की आवश्यकता है।
जीटीसी 2024 द्वारा लाई गई चर्चा की पहली लहर पिछले कुछ दिनों में धीरे-धीरे फीकी पड़ गई है। यह अनुमान लगाया जा सकता है कि सम्मेलन में ब्लैकवेल जीपीयू श्रृंखला, पांचवीं पीढ़ी के एनवीलिंक और आरएएस इंजन बाजार में आने पर और अधिक लाएंगे। चौंकाने वाला ; यह अनुमान लगाना मुश्किल है कि "जेनरेटिव एआई जिस निर्णायक बिंदु पर पहुंच गया है" वह दुनिया में कितने आश्चर्य और बदलाव लाएगा?
इस समय जब एआईजीसी टूट गया है और एजीआई के आगमन की पूर्व संध्या पर, एनवीडिया द्वारा शुरू किए गए एआई पटाखों की श्रृंखला में पहली बार विस्फोट हुआ है।
# aifaner के आधिकारिक WeChat सार्वजनिक खाते का अनुसरण करने के लिए आपका स्वागत है: aifaner (WeChat ID: ifanr)। जितनी जल्दी हो सके आपको अधिक रोमांचक सामग्री प्रदान की जाएगी।