Stroomschema voor de uitvoering van een hybride cache

Maak een overzichtelijke, verticale infographic van een technische workflow met een lichtgrijze achtergrond, in een minimalistische, moderne productgrafiekstijl. Gebruik afgeronde witte kaarten, dunne gekleurde contouren, eenvoudige vectorlijniconen, donkerblauwe tekst en donkerblauwe verbindingspijlen. De algehele compositie is een gecentreerd stroomschema van boven naar beneden met 7 genummerde hoofdstappen en 2 parallelle cachegroeppanelen die van stap 4 naar stap 5 vertakken. Een donkere, dikke terugkeerpijl loopt van onder naar boven aan de uiterste linkerkant. Gebruik een strak schreefloos lettertype, zorg voor voldoende witruimte en gebruik zachte, lichte kleuren zonder verlopen of schaduwen om de presentatieslides duidelijk te maken. Plaats de kaart van stap 1 bovenaan in het midden met een blauwe contour en een code-/chaticoon aan de linkerkant. Titeltekst: "1."{argument name="step 1 title" default="Chat completion request"} De subtitel is: "conversation_id + cache_salt + new suffix message". Daaronder bevindt zich de kaart van stap 2, met een blauwe contour en een document-/lijsticoon. Titel: "2. Front-end gesprekslogboek". Ondertitel: "Hetzelfde ID huren + vastgelegde berichten bijhouden". Daaronder bevindt zich de kaart van stap 3, met een cyaan omlijning en een database-icoon met een vergrootglas. Titel: "3. Nauwkeurige gesprekscache opzoeken". Ondertitel: "conversation_id Vastgelegde rondestatus". Daaronder bevindt zich de kaart van stap 4, met een paarse omlijning en een pictogram van de vertakkingsplanner. Titel: "4. Cache koppelen aan planner". Ondertitel: "num_computed_tokens instellen + Vastgelegde status koppelen". Vanuit stap 4 vertakt het zich naar twee naast elkaar geplaatste groepspanelen. Linker groepspaneel: een lichtgroene, afgeronde container met de titel "Full-attention KV Cache Group". Binnenin zijn twee binnenkaarten gestapeld. De eerste binnenkaart heeft een groen blokrastericoon met de titel "Committed Block Reference" en de ondertitel "Shared Aligned Full KV". De eerste interne kaart, de tweede hieronder, heeft een groen gelaagd papiericoon met de titel "Tail COW Copy" en de subtitel "Copying Unaligned KV Tail". Onderaan het groene paneel is een kleine voettekst toegevoegd: "Paging K/V Tensors for Transformer Layers". Het rechter groepspaneel is een lichtpaarse, afgeronde container met de titel "Mamba Terminal State Cache Group". Deze bevat twee gestapelde interne kaarten. De eerste kaart heeft een paars database-/netwerkicoon met de titel "Committed Terminal State" en de subtitel "Exact State at Committed Length". De tweede kaart hieronder heeft een paars golvend lijnicoon met de titel "Requesting Ownership of Terminal Copy" en de subtitel "Copying SSM + Dialogue State". Onderaan het paarse paneel is een kleine voettekst toegevoegd: "Aligned Mode Terminal State Placement". De outputs van de twee groepspanelen worden samengevoegd in de gecentreerde Step 5-kaart, met een blauwe omlijning en een microchipicoon. De titel is: "5. Hybrid Model Execution". De ondertitel luidt: "Alleen niet-gecacheerde achtervoegsels uitvoeren". Onderaan deze kaart staan ​​twee capsulevormige labels naast elkaar: "Transformer Layer" en "Mamba Layer". Stap 6 staat eronder. Stap 1: Een kaart met een blauwe omlijning en een glinsterend pictogram. Titel: "6. Decoderen van assistent-token". Ondertitel: "Respons token voor token streamen". Daaronder staat Stap 7: Een kaart met een warme geel-oranje omlijning en een aangevinkt database-pictogram. Titel: "7. Ronde van voltooiing van commit". Ondertitel: "Opgeschorte status publiceren of verwijderen bij fout". Voeg een dikke, donkerblauwe luspijl toe aan de uiterste linkerkant, die van linksboven naar Stap 1 en terug omhoog vanaf Stap 7 onderaan loopt. Loop langs deze linkerkant en plaats gestapelde commentaartekst in de buurt van de onderste helft: "Hergebruik de gecommitteerde dialoogheader bij het volgende verzoek". Voeg twee opwaarts gerichte, gestippelde publicatiepijlen toe vanuit stap 7 richting de cachegroeppanelen: een groene gestippelde pijl aan de linkerkant die wijst naar het groene cachepaneel met het label "Nieuwe status publiceren"; en een paarse gestippelde pijl aan de rechterkant die wijst naar het paarse cachepaneel, eveneens met het label "Nieuwe status publiceren". Behoud het totale aantal van 7 genummerde hoofdkaarten, 2 cachegroeppanelen, 4 interne cachekaarten en 2 capsulelabels. Behoud een verticale schaal die vergelijkbaar is met het architectuurdiagram in de presentatie.