Infografis Arsitektur DeepSeek V3 vs V4

{ "type": "Infografis perbandingan arsitektur AI berdampingan", "style": "Grafik teknis sederhana, latar belakang putih, garis luar hitam tipis, persegi panjang membulat, kotak anotasi putus-putus, sorotan berkode warna, gaya presentasi, infografis vektor.", "canvas": { "aspect_ratio": "2:1", "resolution": "Lebar horizontal" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 miliar parameter)", "right_title": "DeepSeek V4 (1,2 triliun parameter)", "left_title_color": "Merah-oranye terang", "right_title_color": "Biru terang" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 miliar parameter)", "position": "setengah kiri", "count": 9, "labels": [ "Ukuran kosakata 129k", "FeedForward (Modul SwiGLU), "Lapisan tersembunyi perantara memiliki dimensi 2.048.", "Lapisan MoE", "Mendukung panjang konteks token 128k", "Tiga blok pertama menggunakan FFN padat dengan ukuran tersembunyi 18.432, bukan MoE.", "Contoh input teks", "Dimensi penyematan 7.168", "128 kepala perhatian" ] }, { "judul": "DeepSeek V4 (1,2 triliun parameter)", "posisi": "setengah kanan", "jumlah": 9, "label": [ "Ukuran kosakata 160k", "Modul FeedForward (SwiGLU)", "Lapisan tersembunyi perantara memiliki dimensi 3.072.", "Lapisan MoE", "Mendukung panjang konteks token 256k", "Tiga blok pertama menggunakan FFN padat dengan ukuran tersembunyi 24.576, bukan MoE.", "Contoh input teks", "Dimensi penyematan 8,192", "128 attention heads" ] }, { "title": "Tabel Perbandingan Bawah", "position": "Lebar penuh bawah", "count": 10, "labels": [ "Jumlah total parameter", "Jumlah parameter aktif per token", "Ukuran lapisan tersembunyi", "Dimensi Contoh", "DeepSeek V3/R1", "Lapisan perantara (FF)", "Perhatian", "Panjang konteks", "Dimensi tertanam", "Ukuran kosakata" ] } ] }, "left_panel": { "background": "Persegi panjang bulat abu-abu muda", "main_stack": { "count": 8, "blocks": [ "Teks yang di-tokenisasi", "Lapisan Penyematan Token", "RMSNorm 1", "Perhatian potensial multi-kepala (MLA)", "RMSNorm 2", "MoE", "Pada akhirnya, RMSNorm", "Lapisan keluaran linier" ] }, "side_module": "RoPE terhubung ke blok perhatian di sebelah kiri.", "attention_block": { "label": "Perhatian potensial multi-kepala (MLA)", "accent": "Kata \"Latent\" ditampilkan dengan huruf merah-oranye." }, "feedforward_inset": { "title": "Modul FeedForward (SwiGLU)", "count": 4, "blocks": [ "lapisan linier", "fungsi aktivasi SiLU", "lapisan linier", "lapisan linier" ], "diagram": "Kalikan kedua cabang, lalu proyeksikan." }, "moe_inset": { "title": "Lapisan MoE", "count": 5, "blocks": [ "Node komposit teratas", "Jaringan Feedforward", "Jaringan Feedforward", "routing", "Lencana Penghitung Pakar 256" ], "details": "Kotak hitam kecil dengan satu pakar terpilih, panah yang menunjuk ke pakar, dan pemisah garis putus-putus." }, "annotations": { "vocab": "Ukuran kosakata 129k", "ff_dim": "Lapisan tersembunyi perantara memiliki dimensi 2.048.", "context": "Mendukung panjang konteks token 128k", "dense_first_blocks": "Tiga blok pertama menggunakan FFN padat dengan ukuran tersembunyi 18.432, bukan MoE.", "resource_savings": "Penghematan sumber daya: Ukuran model adalah 671 byte, tetapi setiap token hanya mengaktifkan 1 (bersama) + 8 pakar; hanya 37 byte parameter yang diaktifkan per langkah inferensi." }, "bottom_stats": { "count": 10, "items": [ "Jumlah total parameter: 671B", "Parameter aktivitas per token: 37B (1 + 8 ahli)", "Ukuran lapisan tersembunyi: 7.128", "Dimensi contoh: 28.432", "Lapisan perantara (FF): 2.048", "Perhatian: 128", "Panjang konteks: 128k", "Dimensi penyematan: 3 blok pertama", "Panjang konteks: 22G7", "Ukuran kosakata: 129k" ] } }, "right_panel": { "background": "Persegi panjang bulat biru muda", "main_stack": { "count": 8, "blocks": [ "Teks yang di-tokenisasi", "Lapisan Penyematan Token", "RMSNorm 1", "Perhatian potensial multi-kepala (MLA)", "RMSNorm 2", "MoE", "Pada akhirnya, RMSNorm", "Lapisan keluaran linier" ] }, "side_module": "RoPE terhubung ke blok perhatian di sebelah kiri.", "attention_block": { "label": "Perhatian potensial multi-kepala (MLA)", "accent": "Kata \"Latent\" berwarna biru." }, "feedforward_inset": { "title": "Modul FeedForward (SwiGLU)", "count": 4, "blocks": [ "lapisan linier", "fungsi aktivasi SiLU", "lapisan linier", "lapisan linier" ], "diagram": "Struktur yang sama dengan panel kiri" }, "moe_inset": { "title": "Lapisan MoE", "count": 5, "blocks": [ "Node komposit teratas", "Jaringan Feedforward", "Jaringan Feedforward", "routing", "Lencana Penghitung Pakar 384" ], "details": "Kotak hitam kecil dengan satu pakar terpilih, panah yang menunjuk ke pakar, pemisah putus-putus, dan batas biru untuk penekanan." }, "annotations": { "vocab": "Ukuran kosakata 160k", "ff_dim": "Lapisan tersembunyi perantara memiliki dimensi 3.072.", "context": "Mendukung panjang konteks token 256k", "dense_first_blocks": "Tiga blok pertama menggunakan FFN padat dengan ukuran tersembunyi 24.576, bukan MoE.", "resource_savings": "Penghematan sumber daya: Ukuran model adalah 1,2T, tetapi setiap token hanya mengaktifkan 1 (bersama) + 8 pakar; hanya 52B parameter yang diaktifkan per langkah inferensi." }, "bottom_stats": { "count": 10, "items": [ "Total parameter: 1.2T", "Parameter aktivitas per token: 52B (1 + 8 ahli)", "Ukuran lapisan tersembunyi: 7.2B", "Dimensi contoh: 28.432", "Lapisan perantara (FF): 3.072", "Perhatian: 128", "Panjang konteks: 256k", "Dimensi penyematan: 3 blok pertama", "Panjang konteks: 22G7", "Ukuran kosakata: 160k" ] } }, "global_notes": "Buat diagram perbandingan arsitektur Transformer yang sangat detail menggunakan tata letak yang dicerminkan. Setiap bagian berisi diagram tumpukan model besar dan dua ilustrasi: satu modul feedforward dan satu lapisan MoE. Gunakan panah di antara blok, tambahkan label teknis kecil, dan gunakan garis penghubung untuk menghubungkan label ke komponen terkait. Jaga agar tipografi tetap ringkas dan seperti presentasi, gunakan warna oranye-merah untuk semuanya V3/R1 dan biru untuk semua V4. Sertakan tabel metrik ringkas yang membentang penuh lebar di bagian bawah. Pertahankan gaya infografis gambar tangan yang sedikit tidak sempurna, dengan teks kecil dan anotasi padat.