Infografika dotycząca architektury DeepSeek V3 i V4

{ "type": "Porównanie architektury AI obok siebie w infografice", "style": "Proste wykresy techniczne, białe tło, cienki czarny kontur, zaokrąglone prostokąty, przerywane pola adnotacji, wyróżnienia kodowane kolorami, styl prezentacji, infografika wektorowa.", "canvas": { "aspect_ratio": "2:1", "resolution": "Szerokość pozioma" }, "title_row": { "left_title": "DeepSeek V3/R1 (671 miliardów parametrów)", "right_title": "DeepSeek V4 (1,2 biliona parametrów)", "left_title_color": "Jaskrawopomarańczowo-czerwony", "right_title_color": "Jaskrawoniebieski" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (671 miliardów parametrów)", "position": "lewa połowa", "count": 9, "labels": [ "Rozmiar słownika 129 kB", "Moduł FeedForward (SwiGLU)", "Pośrednia warstwa ukryta ma wymiar 2048.", "Warstwa MoE", "Obsługuje długość kontekstu tokena 128 kB", "Pierwsze trzy bloki używają gęstego FFN o ukrytym rozmiarze 18 432 zamiast MoE.", "Przykładowe dane wejściowe tekstu", "Osadzanie wymiaru 7168", "128 głów uwagi" ] }, { "title": "DeepSeek V4 (1,2 biliona parametrów)", "position": "prawa połowa", "count": 9, "labels": [ "Rozmiar słownika 160 kB", "Moduł FeedForward (SwiGLU)", "Pośrednia warstwa ukryta ma wymiar 3072.", "Warstwa MoE", "Obsługuje długość kontekstu tokena 256 kB", "Pierwszy trzy bloki używają gęstego FFN o ukrytym rozmiarze 24 576 zamiast MoE.", "Przykładowe dane wejściowe tekstu", "Wymiar osadzania 8192", "128 nagłówków uwagi" ] }, { "title": "Dolna tabela porównawcza", "position": "Pełna szerokość dołu", "count": 10, "labels": [ "Całkowita liczba parametrów", "Liczba aktywnych parametrów na token", "Rozmiar ukrytej warstwy", "Przykładowy wymiar", "DeepSeek V3/R1", "Warstwa pośrednia (FF)", "Uwaga", "Długość kontekstu", "Osadzony wymiar", "Rozmiar słownika" ] } ] }, "left_panel": { "background": "Jasnoszary zaokrąglony prostokąt", "main_stack": { "count": 8, "blocks": [ "Tekst tokenizowany", "Warstwa osadzania tokenów", "RMSNorm 1", "Wielogłowicowa potencjalna uwaga (MLA)", "RMSNorm 2", "MoE", "Ostatecznie RMSNorm", "Liniowa warstwa wyjściowa" ] }, "side_module": "RoPE łączy się z blokiem uwagi po lewej stronie.", "attention_block": { "label": "Wielogłowicowa potencjalna uwaga (MLA)", "accent": "Słowo „Latent” jest wyświetlane pomarańczowo-czerwoną czcionką." }, "feedforward_inset": { "title": "Moduł FeedForward (SwiGLU)", "count": 4, "blocks": [ "warstwa liniowa", "funkcja aktywacji SiLU", "warstwa liniowa", "warstwa liniowa" ], "diagram": "Pomnóż dwie gałęzie, a następnie wyświetl je." }, "moe_inset": { "title": "Warstwa MoE", "count": 5, "blocks": [ "Górny węzeł złożony", "Sieć sprzężenia zwrotnego", "Sieć sprzężenia zwrotnego", "routing", "Odznaka zliczania ekspertów 256" ], "details": "Mały czarny kwadrat z jednym wybranym ekspertem, strzałką wskazującą eksperta i przerywaną linią rozdzielającą." }, "annotations": { "vocab": "Rozmiar słownika 129 kB", "ff_dim": "Pośrednia ukryta warstwa ma wymiar 2048.", "context": "Obsługuje długość kontekstu tokena 128 kB", "dense_first_blocks": "Pierwsze trzy bloki używają gęstego FFN o ukrytym rozmiarze 18 432 zamiast MoE.", "resource_savings": "Oszczędności zasobów: Rozmiar modelu wynosi 671 bajtów, ale każdy token aktywuje tylko 1 (współdzielonego) + 8 ekspertów; na każdy krok wnioskowania aktywowanych jest tylko 37 bajtów parametrów." }, "bottom_stats": { "count": 10, "items": [ "Łączna liczba parametrów: 671B", "Parametry aktywności na token: 37B (1 + 8 ekspertów)", "Rozmiar ukrytej warstwy: 7128", "Przykładowy wymiar: 28432", "Warstwa pośrednia (FF): 2048", "Uwaga: 128", "Długość kontekstu: 128k", "Wymiar osadzania: pierwsze 3 bloki", "Długość kontekstu: 22G7", "Rozmiar słownika: 129k" ] } }, "right_panel": { "background": "Jasnoniebieski zaokrąglony prostokąt", "main_stack": { "count": 8, "blocks": [ "Tekst tokenizowany", "Warstwa osadzania tokenów", "RMSNorm 1", "Potencjalna uwaga wielogłowicowa (MLA)", "RMSNorm 2", "MoE", "Ostatecznie RMSNorm", "Liniowa warstwa wyjściowa" ] }, "side_module": "RoPE łączy się z blokiem uwagi po lewej stronie.", "attention_block": { "label": "Wielogłowicowa potencjalna uwaga (MLA)", "accent": "Słowo „Utajone” jest napisane na niebiesko." }, "feedforward_inset": { "title": "Moduł FeedForward (SwiGLU)", "count": 4, "blocks": [ "warstwa liniowa", "funkcja aktywacji SiLU", "warstwa liniowa", "warstwa liniowa" ], "diagram": "Taka sama struktura jak na lewym panelu" }, "moe_inset": { "title": "Warstwa MoE", "count": 5, "blocks": [ "Górny węzeł złożony", "Sieć Feedforward", "Sieć Feedforward", "routing", "Odznaka liczenia ekspertów 384" ], "details": "Mały czarny kwadrat z jednym wybranym ekspertem, strzałką wskazującą eksperta, przerywanym separatorem i niebieską obwódką dla podkreślenia." }, "annotations": { "vocab": "Rozmiar słownika 160 kB", "ff_dim": "Pośrednia ukryta warstwa ma wymiar 3072.", "context": "Obsługuje długość kontekstu tokena 256 kB", "dense_first_blocks": "Pierwsze trzy bloki używają gęstego FFN o ukrytym rozmiarze 24 576 zamiast MoE.", "resource_savings": "Oszczędności zasobów: Rozmiar modelu wynosi 1,2 T, ale każdy token aktywuje tylko 1 (współdzielonego) + 8 ekspertów; na każdy krok wnioskowania aktywowanych jest tylko 52 B parametrów." }, "bottom_stats": { "count": 10, "items": [ "Łączna liczba parametrów: 1,2 T", "Parametry aktywności na token: 52 B (1 + 8 ekspertów)", "Rozmiar ukrytej warstwy: 7,2 B", "Przykładowy wymiar: 28 432", "Warstwa pośrednia (FF): 3 072", "Uwaga: 128", "Długość kontekstu: 256 kB", "Wymiar osadzania: pierwsze 3 bloki", "Długość kontekstu: 22 G7", "Rozmiar słownika: 160 kB" ] } }, "global_notes": "Utwórz bardzo szczegółowy diagram porównawczy architektury Transformera, używając układu lustrzanego. Każda połowa zawiera duży diagram stosu modeli i dwie ilustracje: jeden moduł sprzężenia zwrotnego i jedną warstwę MoE. Użyj strzałek między blokami, dodaj małe etykiety techniczne i użyj linii łączących, aby połączyć etykiety z powiązanymi komponentami. Zachowaj typografię Kompaktowy i prezentacyjny, z kolorem pomarańczowo-czerwonym dla wszystkich wersji V3/R1 i niebieskim dla wszystkich wersji V4. U dołu należy umieścić zwartą tabelę metryk, zajmującą całą szerokość. Zachowaj nieco niedoskonały, ręcznie rysowany styl infografiki, z małym tekstem i gęstymi adnotacjami.