رسم بياني يوضح مقارنة بنية DeepSeek V3 و V4

{ "type": "مخطط معلوماتي لمقارنة بنية الذكاء الاصطناعي جنبًا إلى جنب", "style": "مخططات تقنية بسيطة، خلفية بيضاء، إطار أسود رفيع، مستطيلات مستديرة، مربعات تعليقات متقطعة، تمييزات مرمزة بالألوان، نمط عرض، مخططات معلوماتية متجهة.", "canvas": { "aspect_ratio": "2:1", "resolution": "عرض أفقي" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 مليار معلمة)", "right_title": "DeepSeek V4 (1.2 تريليون معلمة)", "left_title_color": "برتقالي محمر ساطع", "right_title_color": "أزرق ساطع" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 مليار معلمة)", "position": "النصف الأيسر", "count": 9, "labels": [ "حجم المفردات 129 ألفًا، "وحدة التغذية الأمامية (SwiGLU)"، "الطبقة المخفية الوسيطة لها بُعد 2048."، "طبقة MoE"، "تدعم طول سياق رمز مميز يصل إلى 128 ألفًا"، "تستخدم الكتل الثلاث الأولى شبكة تغذية أمامية كثيفة بحجم مخفي 18432 بدلاً من MoE."، "مثال على إدخال نص"، "بعد التضمين 7168"، "128 رأس انتباه" ] }, { "العنوان": "DeepSeek V4 (1.2 تريليون مُعامل)"، "الموضع": "النصف الأيمن"، "العدد": 9، "التسميات": [ "حجم المفردات 160 ألفًا"، "وحدة التغذية الأمامية (SwiGLU)"، "الطبقة المخفية الوسيطة لها بُعد 3072."، "طبقة MoE"، "تدعم طول سياق رمز مميز يصل إلى 256 ألفًا"، "تستخدم الكتل الثلاث الأولى شبكة تغذية أمامية كثيفة بحجم مخفي 24576 بدلاً من MoE.", "مثال على إدخال نص، "بعد التضمين 8192، "128 رأس انتباه" ] }, { "title": "جدول المقارنة السفلي، "position": "عرض كامل سفلي، "count": 10، "labels": [ "إجمالي عدد المعلمات، "عدد المعلمات النشطة لكل رمز مميز، "حجم الطبقة المخفية، "بعد المثال، "DeepSeek V3/R1، "الطبقة الوسيطة (FF)، "الانتباه، "طول السياق، "بعد التضمين، "حجم المفردات" ] } ] }, "left_panel": { "background": "مستطيل رمادي فاتح ذو زوايا مستديرة، "main_stack": { "count": 8، "blocks": [ "نص مُجزأ، "طبقة تضمين الرموز المميزة، "RMSNorm 1، "الانتباه المحتمل متعدد الرؤوس (MLA)، "RMSNorm 2، "MoE، "في النهاية، { RMSNorm", "طبقة الإخراج الخطية" ] }, "side_module": "RoPE يتصل بكتلة الانتباه على اليسار.", "attention_block": { "label": "الانتباه المحتمل متعدد الرؤوس (MLA)", "accent": "تظهر كلمة "Latent" بأحرف برتقالية حمراء." }, "feedforward_inset": { "title": "وحدة التغذية الأمامية (SwiGLU)", "count": 4, "blocks": [ "linear layer", "SiLU activation function", "linear layer", "linear layer" ], "diagram": "اضرب الفرعين، ثم أسقطهما." }, "moe_inset": { "title": "طبقة MoE", "count": 5, "blocks": [ "Top composite node", "Feedforward network", "Feedforward network", "routing", "Expert Counting Badge 256" ], "details": "مربع أسود صغير مع خبير واحد محدد، وسهم يشير إلى الخبير، وخط متقطع فاصل." }, "annotations": { "vocab": "حجم المفردات 129 ألفًا", "ff_dim": "الطبقة المخفية الوسيطة لها بُعد 2048.", "context": "يدعم طول سياق رمزي 128 ألفًا", "dense_first_blocks": "تستخدم الكتل الثلاث الأولى شبكة تغذية أمامية كثيفة بحجم مخفي 18432 بدلًا من MoE.", "resource_savings": "توفير الموارد: حجم النموذج 671 بايت، لكن كل رمز يُفعّل خبيرًا واحدًا فقط (مشترك) + 8 خبراء؛ يتم تفعيل 37 بايت فقط من المعلمات لكل خطوة استدلال." }, "bottom_stats": { "count": 10, "items": [ "إجمالي عدد المعلمات: 671 مليار، "معلمات النشاط لكل رمز: 37 مليار (1 + 8 خبراء)، "حجم الطبقة المخفية: 7128، "بعد المثال: 28432، "الطبقة الوسيطة (FF): 2048، "الانتباه: 128، "طول السياق: 128 ألف، "بعد التضمين: أول 3 كتل، "طول السياق: 22G7، "حجم المفردات: 129 ألف" ] } }, "right_panel": { "background": "مستطيل أزرق فاتح ذو زوايا مستديرة، "main_stack": { "count": 8, "blocks": [ "النص المُجزأ، "طبقة تضمين الرموز، "RMSNorm 1، "الانتباه المحتمل متعدد الرؤوس (MLA)، "RMSNorm 2، { "MoE", "في النهاية، RMSNorm", "طبقة الإخراج الخطية" ] }, "side_module": "RoPE يتصل بكتلة الانتباه على اليسار.", "attention_block": { "label": "الانتباه المحتمل متعدد الرؤوس (MLA)", "accent": "كلمة "Latent" مكتوبة باللون الأزرق." }, "feedforward_inset": { "title": "وحدة التغذية الأمامية (SwiGLU)", "count": 4, "blocks": [ "linear layer", "SiLU activation function", "linear layer", "linear layer" ], "diagram": "نفس بنية اللوحة اليسرى" }, "moe_inset": { "title": "طبقة MoE", "count": 5, "blocks": [ "Top composite node", "Feedforward network", "Feedforward network", "routing", "Expert Counting Badge 384" ], "details": "مربع أسود صغير مع خبير واحد محدد، وسهم يشير إلى الخبير، وفاصل متقطع، وحدود زرقاء للتأكيد." }, "annotations": { "vocab": "حجم المفردات 160 ألفًا", "ff_dim": "الطبقة المخفية الوسيطة لها بُعد 3072.", "context": "يدعم طول سياق رمزي 256 ألفًا", "dense_first_blocks": "تستخدم الكتل الثلاث الأولى شبكة تغذية أمامية كثيفة بحجم مخفي 24576 بدلًا من MoE.", "resource_savings": "توفير الموارد: حجم النموذج 1.2 تيرابايت، لكن كل رمز يُفعّل خبيرًا واحدًا (مشتركًا) + 8 خبراء فقط؛ يتم تفعيل 52 مليار مُعامل فقط لكل خطوة استدلال." }, "bottom_stats": { "count": 10, "items": [ "Total parameters: 1.2T", "Activity parameters per token: 52B (1 + 8 experts)", "Hidden layer size: 7.2B", "Example dimension: 28,432", "Intermediate layer (FF): 3,072", "Attention: 128", "Context length: 256k", "Embedding dimension: the first 3 blocks", "Context length: 22G7", "Vocabulary size: 160k" ] } }, "global_notes": "أنشئ مخططًا تفصيليًا للغاية لمقارنة بنية Transformer باستخدام تخطيط معكوس. يحتوي كل نصف على مخطط مكدس نموذج كبير ورسمين توضيحيين: وحدة تغذية أمامية واحدة وطبقة MoE واحدة. استخدم الأسهم بين الكتل، وأضف تسميات فنية صغيرة، واستخدم خطوط توصيل لربط التسميات بالمكونات ذات الصلة. حافظ على الطباعة مضغوطة وشبيهة بالعرض التقديمي، باستخدام استخدم اللون البرتقالي المحمر لجميع إصدارات V3/R1 والأزرق لجميع إصدارات V4. أضف جدولًا مختصرًا للمقاييس يمتد على كامل العرض في الأسفل. حافظ على أسلوب الرسم البياني اليدوي غير المثالي نوعًا ما، مع نص صغير وتعليقات توضيحية كثيفة.