डीपसीक V3 बनाम V4 आर्किटेक्चर इन्फोग्राफिक

{ "type": "साइड-बाय-साइड एआई आर्किटेक्चर तुलना इन्फोग्राफिक", "style": "सरल तकनीकी चार्ट, सफेद पृष्ठभूमि, पतली काली रूपरेखा, गोल आयत, डैश वाले एनोटेशन बॉक्स, रंग-कोडित हाइलाइट्स, प्रस्तुति शैली, वेक्टर इन्फोग्राफिक्स।", "canvas": { "aspect_ratio": "2:1", "resolution": "क्षैतिज चौड़ाई" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 बिलियन पैरामीटर)", "right_title": "DeepSeek V4 (1.2 ट्रिलियन पैरामीटर)", "left_title_color": "चमकीला नारंगी-लाल", "right_title_color": "चमकीला नीला" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 बिलियन पैरामीटर)", "position": "बायां आधा", "count": 9, "labels": [ "शब्दावली का आकार 129k", "फ़ीडफ़ॉरवर्ड (SwiGLU) मॉड्यूल", "मध्यवर्ती छिपी हुई परत का आयाम 2,048 है।", "MoE परत", "128k टोकन संदर्भ लंबाई का समर्थन करता है", "पहले तीन ब्लॉक MoE के बजाय 18,432 के छिपे हुए आकार वाले सघन FFN का उपयोग करते हैं।", "उदाहरण पाठ इनपुट", "एम्बेडिंग आयाम 7,168", "128 ध्यान शीर्ष" ] }, { "शीर्षक": "डीपसेक V4 (1.2 ट्रिलियन पैरामीटर)", "स्थिति": "दायाँ आधा", "गणना": 9, "लेबल": [ "शब्दावली का आकार 160k", "फ़ीडफ़ॉरवर्ड (SwiGLU) मॉड्यूल", "मध्यवर्ती छिपी हुई परत का आयाम 3,072 है।", "MoE परत", "256k टोकन संदर्भ लंबाई का समर्थन करता है", "पहले तीन ब्लॉक छिपे हुए आकार वाले सघन FFN का उपयोग करते हैं" 24,576 MoE के बजाय।", "उदाहरण पाठ इनपुट", "एम्बेडिंग आयाम 8,192", "128 ध्यान शीर्ष" ] }, { "शीर्षक": "निचली तुलना तालिका", "स्थिति": "निचली पूरी चौड़ाई", "गणना": 10, "लेबल": [ "पैरामीटरों की कुल संख्या", "प्रति टोकन सक्रिय पैरामीटरों की संख्या", "छिपी हुई परत का आकार", "उदाहरण आयाम", "डीपसेक V3/R1", "मध्यवर्ती परत (FF)", "ध्यान", "संदर्भ लंबाई", "एम्बेडेड आयाम", "शब्दावली का आकार" ] } ] }, "बायां पैनल": { "पृष्ठभूमि": "हल्का भूरा गोल आयत", "मुख्य स्टैक": { "गणना": 8, "ब्लॉक": [ "टोकनाइज्ड टेक्स्ट", "टोकन एम्बेडिंग परत", "RMSNorm 1", "मल्टी-हेड पोटेंशियल अटेंशन (MLA)", "RMSNorm 2", "MoE", "अंततः, RMSNorm", "रेखीय आउटपुट परत" ] }, "साइड_मॉड्यूल": "RoPE बाईं ओर ध्यान ब्लॉक से जुड़ता है।", "ध्यान_ब्लॉक": { "लेबल": "मल्टी-हेड पोटेंशियल अटेंशन (MLA)", "उच्चारण": "शब्द "लेटेंट" नारंगी-लाल अक्षरों में प्रदर्शित होता है।" }, "फीडफॉरवर्ड_इनसेट": { "शीर्षक": "फीडफॉरवर्ड (SwiGLU) मॉड्यूल", "गणना": 4, "ब्लॉक": [ "रेखीय परत", "SiLU सक्रियण फ़ंक्शन", "रेखीय परत", "रेखीय परत" ], "आरेख": "दो शाखाओं को गुणा करें, फिर उन्हें प्रोजेक्ट करें।" }, "moe_inset": { "title": "MoE लेयर", "count": 5, "blocks": [ "शीर्ष समग्र नोड", "फीडफॉरवर्ड नेटवर्क", "फीडफॉरवर्ड नेटवर्क", "रूटिंग", "विशेषज्ञ गणना बैज 256" ], "details": "एक छोटा काला वर्ग जिसमें एक चयनित विशेषज्ञ, विशेषज्ञ की ओर इशारा करता एक तीर और एक डैश वाली रेखा विभाजक है।" }, "एनोटेशन": { "शब्दावली": "शब्दावली का आकार 129k", "ff_dim": "मध्यवर्ती छिपी हुई परत का आयाम 2,048 है।", "संदर्भ": "128k टोकन संदर्भ लंबाई का समर्थन करता है", "dense_first_blocks": "पहले तीन ब्लॉक MoE के बजाय 18,432 के छिपे हुए आकार के साथ एक सघन FFN का उपयोग करते हैं।", "संसाधन बचत": "संसाधन बचत: मॉडल का आकार 671 बाइट्स है, लेकिन प्रत्येक टोकन केवल 1 (साझा) + 8 विशेषज्ञों को सक्रिय करता है; प्रति अनुमान चरण में केवल 37 बाइट्स पैरामीटर सक्रिय होते हैं।" }, "बॉटम_स्टेट्स": { "काउंट": 10, "आइटम": [ "पैरामीटरों की कुल संख्या: 671B", "प्रति टोकन गतिविधि पैरामीटर: 37B (1 + 8 विशेषज्ञ)", "हिडन लेयर का आकार: 7,128", "उदाहरण आयाम: 28,432", "इंटरमीडिएट लेयर (FF): 2,048", "अटेंशन: 128", "कॉन्टेक्स्ट की लंबाई: 128k", "एम्बेडिंग आयाम: पहले 3 ब्लॉक", "कॉन्टेक्स्ट की लंबाई: 22G7", "शब्दावली का आकार: 129k" ] } }, "राइट_पैनल": { "बैकग्राउंड": "हल्का नीला गोल आयत", "मेन_स्टैक": { "काउंट": 8, "ब्लॉक": [ "टोकनाइज्ड टेक्स्ट", "टोकन एम्बेडिंग लेयर", "RMSNorm 1", "मल्टी-हेड पोटेंशियल अटेंशन (MLA)", "RMSNorm 2", "MoE", "अंततः, RMSNorm", "रेखीय आउटपुट परत" ] }, "साइड_मॉड्यूल": "RoPE बाईं ओर ध्यान ब्लॉक से जुड़ता है।", "ध्यान_ब्लॉक": { "लेबल": "मल्टी-हेड पोटेंशियल अटेंशन (MLA)", "उच्चारण": "शब्द "लेटेंट" नीले रंग में है।" }, "feedforward_inset": { "title": "FeedForward (SwiGLU) मॉड्यूल", "count": 4, "blocks": [ "रेखीय परत", "SiLU सक्रियण फ़ंक्शन", "रेखीय परत", "रेखीय परत" ], "diagram": "बाएँ पैनल के समान संरचना" }, "moe_inset": { "title": "MoE परत", "count": 5, "blocks": [ "शीर्ष समग्र नोड", "Feedforward नेटवर्क", "Feedforward नेटवर्क", "रूटिंग", "विशेषज्ञ गणना बैज 384" ], "details": "एक चयनित विशेषज्ञ के साथ एक छोटा काला वर्ग, विशेषज्ञ की ओर इशारा करता एक तीर, एक डैश वाला विभाजक, और जोर देने के लिए एक नीली सीमा।" }, "एनोटेशन": { "शब्दावली": "शब्दावली का आकार 160k", "ff_dim": "मध्यवर्ती छिपी हुई परत का आयाम 3,072 है।", "संदर्भ": "256k टोकन संदर्भ लंबाई का समर्थन करता है", "dense_first_blocks": "पहले तीन ब्लॉक MoE के बजाय 24,576 के छिपे हुए आकार के साथ एक सघन FFN का उपयोग करते हैं।", "संसाधन_बचत": "संसाधन बचत: मॉडल का आकार 1.2T है, लेकिन प्रत्येक टोकन केवल 1 (साझा) + 8 विशेषज्ञों को सक्रिय करता है; प्रति अनुमान चरण में केवल 52B पैरामीटर सक्रिय होते हैं।" }, "bottom_stats": { "count": 10, "items": [ "कुल पैरामीटर: 1.2T", "प्रति टोकन गतिविधि पैरामीटर: 52B (1 + 8 विशेषज्ञ)", "हिडन लेयर का आकार: 7.2B", "उदाहरण आयाम: 28,432", "मध्यवर्ती परत (FF): 3,072", "ध्यान: 128", "संदर्भ लंबाई: 256k", "एम्बेडिंग आयाम: पहले 3 ब्लॉक", "संदर्भ लंबाई: 22G7", "शब्दावली का आकार: 160k" ] } }, "global_notes": "मिरर लेआउट का उपयोग करके एक अत्यधिक विस्तृत ट्रांसफ़ॉर्मर आर्किटेक्चर तुलना आरेख बनाएं। प्रत्येक भाग में एक बड़ा मॉडल स्टैक आरेख और दो चित्र शामिल हैं: एक फीडफ़ॉरवर्ड मॉड्यूल और एक MoE परत। ब्लॉकों के बीच तीरों का उपयोग करें, छोटे तकनीकी लेबल जोड़ें, और लेबल को संबंधित घटकों से जोड़ने के लिए कनेक्टिंग लाइनों का उपयोग करें। टाइपोग्राफी को संक्षिप्त रखें और प्रस्तुति की तरह, V3/R1 के लिए नारंगी-लाल और V4 के लिए नीले रंग का उपयोग करें। नीचे पूरी चौड़ाई में फैली एक संक्षिप्त मेट्रिक्स तालिका शामिल करें। थोड़े अपूर्ण हाथ से बनाए गए इन्फोग्राफिक शैली को बनाए रखें, जिसमें छोटा टेक्स्ट और सघन एनोटेशन हों।