Flowchart for hybrid cache-udførelse

Opret en ren, vertikal teknisk workflow-infografik med en lysegrå baggrund i en minimalistisk, moderne produktdiagramstil. Brug afrundede hvide kort, tynde farvede konturer, enkle vektorlinjeikoner, mørkeblå tekst og mørkeblå forbindelsespile. Den overordnede komposition er et centreret flowdiagram fra top til bund, der indeholder 7 nummererede hovedtrin og 2 parallelle cachegruppepaneler, der forgrener sig fra trin 4 til trin 5. En mørk, tyk returpil løber fra bunden til toppen yderst til venstre. Brug en ren sans-serif-skrifttype, hold rigelig afstand, og brug bløde, lyse farver uden gradienter eller skygger for at sikre klarhed på præsentationsslides. Placer trin 1-kortet øverst i midten med en blå kontur og et kode-/chat-ikon til venstre. Titeltekst: "1."{argument name="step 1 title" default="Chat completion request"} Undertitlen er: "conversation_id + cache_salt + new suffix message". Nedenfor er trin 2-kortet med en blå kontur og et dokument-/listeikon. Titel: "2. Front-end Conversation Ledger". Undertitel: "Udlejning af samme ID + sporing af forpligtede beskeder". Nedenfor er trin 3-kortet med en cyan omrids og et databaseikon med et forstørrelsesglas. Titel: "3. Præcis opslag af samtalecache". Undertitel: "status for forpligtet runde med samtale-id". Nedenfor er trin 4-kortet med en lilla omrids og et forgreningsplanlæggerikon. Titel: "4. Vedhæftning af planlæggercache". Undertitel: "Indstilling af antal_beregnede_tokens + Vedhæftning af forpligtet status". Fra trin 4 forgrener det sig ned i to side om side-gruppepaneler. Venstre gruppepanel: en lysegrøn afrundet beholder med titlen "KV-cachegruppe med fuld opmærksomhed". Indeni er to indre kort stablet. Det første indre kort har et grønt blokgitterikon med titlen "Reference for forpligtet blok" og undertitlen "Delt justeret fuld KV". Det første interne kort, det andet nedenfor, har et grønt lagdelt papirikon med titlen "Kopi af hale af ko" med undertitlen "Kopiering af ikke-justeret KV-hale". En lille sidefod er tilføjet nederst i det grønne panel: "Paging K/V Tensors for Transformer Layers." Gruppepanelet til højre er en lyselilla afrundet beholder med titlen "Mamba Terminal State Cache Group." Det indeholder to stablede interne kort. Det første kort har et lilla database-/netværksikon med titlen "Committed Terminal State" med undertitlen "Exact State at Committed Length." Det andet kort nedenfor har et lilla bølget linjeikon med titlen "Requesting Ownership of Terminal Copy" med undertitlen "Copying SSM + Dialogue State." En lille sidefod er tilføjet nederst i det lilla panel: "Aligned Mode Terminal State Placement." Outputtet fra de to gruppepaneler er flettet sammen til det centrerede trin 5-kort med en blå kontur og et mikrochip-ikon. Titlen er: "5. Hybrid Model Execution." Undertitlen er: "Run Only Uncached Suffixes." Nederst på dette kort er to kapselformede etiketter placeret side om side: "Transformer Layer" og "Mamba Layer." Trin 6 er placeret nedenfor. Trin 1: Et kort med en blå omrids og et glitrende ikon. Titel: "6. Afkodning af assistenttoken". Undertitel: "Streaming af svartoken for token". Nedenfor er trin 7: Et kort med en varm gul-orange omrids og et markeret databaseikon. Titel: "7. Runde med fuldførelse af commit". Undertitel: "Publicer suspenderet tilstand eller kasser ved fejl". Tilføj en tyk, mørkeblå looppil yderst til venstre, der fører fra øverst til venstre til trin 1 og tilbage op fra trin 7 i bunden. Loop langs denne venstre side, og placer stablet kommentartekst nær den nederste halvdel: "Genbrug den committede dialogboksheader på den næste anmodning". Tilføj to opadgående stiplede publiceringspile fra trin 7 mod cachegruppepanelerne: en grøn stiplet pil til venstre, der peger på det grønne cachepanel, mærket "Publicer ny tilstand"; og en lilla stiplet pil til højre, der peger på det lilla cachepanel, også mærket "Publicer ny tilstand". Behold det samlede antal på 7 nummererede hovedkort, 2 cachegruppepaneler, 4 interne cachekort og 2 kapseletiketter. Bevar en lodret skala svarende til arkitekturdiagrammet for konferenceslides.