ภาพอินโฟกราฟิกสถาปัตยกรรม DeepSeek V3 เทียบกับ V4

{ "type": "อินโฟกราฟิกเปรียบเทียบสถาปัตยกรรม AI แบบเคียงข้างกัน", "style": "แผนภูมิทางเทคนิคอย่างง่าย พื้นหลังสีขาว เส้นขอบสีดำบาง สี่เหลี่ยมผืนผ้าโค้งมน กล่องคำอธิบายประกอบแบบเส้นประ ไฮไลต์รหัสสี สไตล์การนำเสนอ อินโฟกราฟิกแบบเวกเตอร์", "canvas": { "aspect_ratio": "2:1", "resolution": "ความกว้างแนวนอน" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 พันล้านพารามิเตอร์)", "right_title": "DeepSeek V4 (1.2 ล้านล้านพารามิเตอร์)", "left_title_color": "สีส้มแดงสดใส", "right_title_color": "สีน้ำเงินสดใส" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 พันล้านพารามิเตอร์)", "position": "ซ้ายครึ่ง", "count": 9, "labels": [ "ขนาดคำศัพท์ 129k", "โมดูล FeedForward (SwiGLU)", "เลเยอร์ซ่อนระดับกลางมีมิติ 2,048", "เลเยอร์ MoE", "รองรับความยาวบริบทโทเค็น 128k", "สามบล็อกแรกใช้ FFN แบบหนาแน่นที่มีขนาดซ่อน 18,432 แทน MoE", "ตัวอย่างข้อความป้อนเข้า", "มิติการฝัง 7,168", "หัวความสนใจ 128 หัว" ] }, { "title": "DeepSeek V4 (พารามิเตอร์ 1.2 ล้านล้าน)", "position": "ครึ่งขวา", "count": 9, "labels": [ "ขนาดคำศัพท์ 160k", "โมดูล FeedForward (SwiGLU)", "เลเยอร์ซ่อนระดับกลางมีมิติ 3,072", "เลเยอร์ MoE", "รองรับโทเค็น 256k" ความยาวบริบท", "บล็อกสามบล็อกแรกใช้ FFN หนาแน่นที่มีขนาดซ่อน 24,576 แทน MoE", "ตัวอย่างข้อความป้อนเข้า", "มิติการฝัง 8,192", "หัวความสนใจ 128 หัว" ] }, { "ชื่อเรื่อง": "ตารางเปรียบเทียบด้านล่าง", "ตำแหน่ง": "ด้านล่างเต็มความกว้าง", "จำนวน": 10, "ป้ายกำกับ": [ "จำนวนพารามิเตอร์ทั้งหมด", "จำนวนพารามิเตอร์ที่ใช้งานอยู่ต่อโทเค็น", "ขนาดเลเยอร์ซ่อน", "มิติตัวอย่าง", "DeepSeek V3/R1", "เลเยอร์กลาง (FF)", "ความสนใจ", "ความยาวบริบท", "มิติการฝัง", "ขนาดคำศัพท์" ] } ] }, "แผงด้านซ้าย": { "พื้นหลัง": "สี่เหลี่ยมผืนผ้าสีเทาอ่อนโค้งมน", "สแต็กหลัก": { "จำนวน": 8, "บล็อก": [ "โทเค็นแล้ว "text", "Token Embedding Layer", "RMSNorm 1", "Multi-head potential attention (MLA)", "RMSNorm 2", "MoE", "Ultimately, RMSNorm", "Linear output layer" ] }, "side_module": "RoPE เชื่อมต่อกับบล็อกความสนใจทางด้านซ้าย", "attention_block": { "label": "Multi-head potential attention (MLA)", "accent": "คำว่า "Latent" แสดงด้วยตัวอักษรสีส้มแดง" }, "feedforward_inset": { "title": "โมดูล FeedForward (SwiGLU)", "count": 4, "blocks": [ "linear layer", "SiLU activation function", "linear layer", "linear layer" ], "diagram": "คูณสองสาขา แล้วฉายภาพ" } }, "moe_inset": { "title": "MoE Layer", "count": 5, "blocks": [ "Top composite node", "Feedforward network", "Feedforward network", "routing", "Expert Counting Badge 256" ], "details": "สี่เหลี่ยมสีดำขนาดเล็กที่มีผู้เชี่ยวชาญที่เลือกไว้หนึ่งคน ลูกศรชี้ไปที่ผู้เชี่ยวชาญ และเส้นประคั่น" } ] }, "annotations": { "vocab": "ขนาดคำศัพท์ 129k", "ff_dim": "เลเยอร์ซ่อนระดับกลางมีมิติ 2,048", "context": "รองรับความยาวบริบทโทเค็น 128k", "dense_first_blocks": "สามบล็อกแรกใช้ FFN แบบหนาแน่นที่มีขนาดซ่อน 18,432 แทน MoE", "resource_savings": "การประหยัดทรัพยากร: ขนาดโมเดลคือ 671 ไบต์ แต่ละโทเค็นจะเปิดใช้งานผู้เชี่ยวชาญเพียง 1 (ใช้ร่วมกัน) + 8 คนเท่านั้น มีพารามิเตอร์เพียง 37 ไบต์เท่านั้นที่ถูกเปิดใช้งานต่อขั้นตอนการอนุมาน" }, "bottom_stats": { "count": 10, "items": [ "จำนวนพารามิเตอร์ทั้งหมด: 671B", "พารามิเตอร์กิจกรรมต่อโทเค็น: 37B (1 + 8 ผู้เชี่ยวชาญ)", "ขนาดเลเยอร์ที่ซ่อนอยู่: 7,128", "มิติของตัวอย่าง: 28,432", "เลเยอร์ระดับกลาง (FF): 2,048", "ความสนใจ: 128", "ความยาวบริบท: 128k", "มิติการฝัง: 3 บล็อกแรก", "ความยาวบริบท: 22G7", "ขนาดคำศัพท์: 129k" ] } }, "right_panel": { "background": "สี่เหลี่ยมผืนผ้าสีฟ้าอ่อนขอบมน", "main_stack": { "count": 8, "blocks": [ "ข้อความที่แยกเป็นโทเค็น", "เลเยอร์การฝังโทเค็น", "RMSNorm 1", "Multi-head potential attention (MLA)", "RMSNorm 2", "MoE", "Ultimately, RMSNorm", "Linear output layer" ] }, "side_module": "RoPE เชื่อมต่อกับบล็อกความสนใจทางด้านซ้าย", "attention_block": { "label": "Multi-head potential attention (MLA)", "accent": "คำว่า "Latent" เป็นข้อความสีน้ำเงิน" }, "feedforward_inset": { "title": "โมดูล FeedForward (SwiGLU)", "count": 4, "blocks": [ "linear layer", "ฟังก์ชันการเปิดใช้งาน SiLU", "linear layer", "linear layer" ], "diagram": "โครงสร้างเหมือนกับแผงด้านซ้าย" }, "moe_inset": { "title": "เลเยอร์ MoE", "count": 5, "blocks": [ "โหนดคอมโพสิตด้านบน", "เครือข่าย Feedforward", "เครือข่าย Feedforward", "การกำหนดเส้นทาง", "ป้ายนับผู้เชี่ยวชาญ 384" ], "details": "สี่เหลี่ยมสีดำขนาดเล็กที่มีผู้เชี่ยวชาญที่เลือกไว้หนึ่งคน ลูกศรชี้ไปที่ผู้เชี่ยวชาญ เส้นประคั่น และขอบสีน้ำเงินเพื่อเน้น" } }, "annotations": { "vocab": "ขนาดคำศัพท์ 160k", "ff_dim": "เลเยอร์ซ่อนระดับกลางมีมิติ 3,072", "context": "รองรับความยาวบริบทโทเค็น 256k", "dense_first_blocks": "สามบล็อกแรกใช้ FFN แบบหนาแน่นที่มีขนาดซ่อน 24,576 แทน MoE", "resource_savings": "การประหยัดทรัพยากร: ขนาดโมเดลคือ 1.2T แต่ละโทเค็นจะเปิดใช้งานผู้เชี่ยวชาญเพียง 1 (ใช้ร่วมกัน) + 8 เท่านั้น มีพารามิเตอร์เพียง 52B เท่านั้นที่ถูกเปิดใช้งานต่อขั้นตอนการอนุมาน" }, "bottom_stats": { "count": 10, "items": [ "Total parameters: 1.2T", "Activity parameters per token: 52B (1 + 8 experts)", "Hidden layer size: 7.2B", "Example dimension: 28,432", "Intermediate layer (FF): 3,072", "Attention: 128", "Context length: 256k", "Embedding dimension: the first 3 blocks", "Context length: 22G7", "Vocabulary size: 160k" ] } }, "global_notes": "สร้างไดอะแกรมเปรียบเทียบสถาปัตยกรรม Transformer ที่มีรายละเอียดสูงโดยใช้เลย์เอาต์แบบสะท้อน แต่ละครึ่งประกอบด้วยไดอะแกรมสแต็กโมเดลขนาดใหญ่และภาพประกอบสองภาพ: โมดูลฟีดฟอร์เวิร์ดหนึ่งโมดูลและเลเยอร์ MoE หนึ่งเลเยอร์ ใช้ลูกศรระหว่างบล็อก เพิ่มป้ายกำกับทางเทคนิคขนาดเล็ก และใช้เส้นเชื่อมเพื่อเชื่อมโยงป้ายกำกับกับส่วนประกอบที่เกี่ยวข้อง รักษา จัดรูปแบบตัวอักษรให้กะทัดรัดและดูเป็นทางการ โดยใช้สีส้มแดงสำหรับ V3/R1 ทั้งหมด และสีน้ำเงินสำหรับ V4 ทั้งหมด รวมตารางเมตริกขนาดกะทัดรัดที่ด้านล่าง โดยวางเต็มความกว้างของหน้าจอ คงไว้ซึ่งสไตล์อินโฟกราฟิกที่วาดด้วยมือซึ่งดูไม่สมบูรณ์แบบเล็กน้อย โดยใช้ตัวอักษรขนาดเล็กและคำอธิบายประกอบที่หนาแน่น