ผังงานการประมวลผลแคชแบบไฮบริด

สร้างอินโฟกราฟิกขั้นตอนการทำงานทางเทคนิคแนวตั้งที่ดูสะอาดตา โดยใช้พื้นหลังสีเทาอ่อน และใช้รูปแบบแผนภูมิผลิตภัณฑ์แบบมินิมอลที่ทันสมัย ​​ใช้การ์ดสีขาวขอบมน เส้นขอบสีบาง ไอคอนเส้นเวกเตอร์แบบง่าย ข้อความสีน้ำเงินเข้ม และลูกศรเชื่อมต่อสีน้ำเงินเข้ม องค์ประกอบโดยรวมเป็นผังงานแบบจัดกึ่งกลางจากบนลงล่าง ประกอบด้วยขั้นตอนหลัก 7 ขั้นตอน และแผงกลุ่มแคช 2 แผงที่ขนานกัน แยกจากขั้นตอนที่ 4 ไปยังขั้นตอนที่ 5 มีลูกศรย้อนกลับสีเข้มหนา วนจากด้านล่างขึ้นไปด้านบนทางด้านซ้ายสุด ใช้แบบอักษร sans-serif ที่ดูสะอาดตา เว้นระยะห่างให้เหมาะสม และใช้สีอ่อนๆ โดยไม่มีการไล่ระดับสีหรือเงา เพื่อให้สไลด์นำเสนอมีความชัดเจน วางการ์ดขั้นตอนที่ 1 ไว้ตรงกลางด้านบน โดยมีเส้นขอบสีน้ำเงินและไอคอนโค้ด/แชทอยู่ทางด้านซ้าย ข้อความหัวเรื่อง: "1."{argument name="step 1 title" default="Chat completion request"} คำบรรยายย่อยคือ: "conversation_id + cache_salt + new suffix message" ด้านล่างนี้คือการ์ดขั้นตอนที่ 2 โดยมีเส้นขอบสีน้ำเงินและไอคอนเอกสาร/รายการ หัวข้อ: "2. บัญชีแยกประเภทการสนทนาส่วนหน้า" หัวข้อย่อย: "การเช่า ID เดียวกัน + การติดตามข้อความที่ยืนยันแล้ว" ด้านล่างนี้คือการ์ดขั้นตอนที่ 3 ซึ่งมีเส้นขอบสีฟ้าและไอคอนฐานข้อมูลที่มีแว่นขยาย หัวข้อ: "3. การค้นหาแคชการสนทนาที่แม่นยำ" หัวข้อย่อย: "สถานะรอบการยืนยันของ conversation_id" ด้านล่างนี้คือการ์ดขั้นตอนที่ 4 ซึ่งมีเส้นขอบสีม่วงและไอคอนตัวกำหนดตารางเวลาสาขา หัวข้อ: "4. การแนบแคชตัวกำหนดตารางเวลา" หัวข้อย่อย: "การตั้งค่า num_computed_tokens + การแนบสถานะการยืนยัน" จากขั้นตอนที่ 4 จะแยกออกเป็นแผงกลุ่มสองแผงที่อยู่เคียงข้างกัน แผงกลุ่มด้านซ้าย: ภาชนะทรงกลมสีเขียวอ่อน มีชื่อว่า "กลุ่มแคช KV ที่ให้ความสนใจเต็มรูปแบบ" ภายในมีการ์ดภายในสองใบซ้อนกัน การ์ดภายในใบแรกมีไอคอนตารางบล็อกสีเขียว มีชื่อว่า "การอ้างอิงบล็อกที่ยืนยันแล้ว" และหัวข้อย่อย "KV เต็มรูปแบบที่จัดเรียงร่วมกัน" การ์ดภายในใบแรก ใบที่สองด้านล่าง มีไอคอนกระดาษสีเขียวซ้อนกัน ชื่อเรื่องว่า "Tail COW Copy" พร้อมคำบรรยายย่อย "Copying Unaligned KV Tail" มีข้อความเล็กๆ เพิ่มไว้ที่ด้านล่างของแผงสีเขียวว่า "Paging K/V Tensors for Transformer Layers" แผงกลุ่มด้านขวาเป็นกล่องทรงกลมสีม่วงอ่อน ชื่อเรื่องว่า "Mamba Terminal State Cache Group" ภายในมีการ์ดภายในซ้อนกันสองใบ การ์ดใบแรกมีไอคอนฐานข้อมูล/เครือข่ายสีม่วง ชื่อเรื่องว่า "Committed Terminal State" พร้อมคำบรรยายย่อย "Exact State at Committed Length" การ์ดใบที่สองด้านล่างมีไอคอนเส้นหยักสีม่วง ชื่อเรื่องว่า "Requesting Ownership of Terminal Copy" พร้อมคำบรรยายย่อย "Copying SSM + Dialogue State" มีข้อความเล็กๆ เพิ่มไว้ที่ด้านล่างของแผงสีม่วงว่า "Aligned Mode Terminal State Placement" เอาต์พุตของแผงกลุ่มทั้งสองถูกรวมเข้าด้วยกันในการ์ด Step 5 ตรงกลาง ซึ่งมีเส้นขอบสีน้ำเงินและไอคอนไมโครชิป ชื่อเรื่องคือ "5. Hybrid Model Execution" คำบรรยายย่อยคือ: "เรียกใช้เฉพาะส่วนต่อท้ายที่ไม่ได้แคช" ที่ด้านล่างของการ์ดนี้ มีป้ายกำกับรูปแคปซูลสองอันวางเคียงข้างกัน: "Transformer Layer" และ "Mamba Layer" ขั้นตอนที่ 6 อยู่ด้านล่าง ขั้นตอนที่ 1: การ์ดที่มีขอบสีน้ำเงินและไอคอนที่เปล่งประกาย ชื่อเรื่อง: "6. ถอดรหัสโทเค็นผู้ช่วย" คำบรรยายย่อย: "สตรีมมิงโทเค็นการตอบสนองทีละโทเค็น" ด้านล่างนี้คือขั้นตอนที่ 7: การ์ดที่มีขอบสีเหลืองส้มอบอุ่นและไอคอนฐานข้อมูลที่มีเครื่องหมายถูก ชื่อเรื่อง: "7. รอบการเสร็จสิ้นการยืนยัน" คำบรรยายย่อย: "เผยแพร่สถานะที่ระงับหรือทิ้งเมื่อล้มเหลว" เพิ่มลูกศรสีน้ำเงินเข้มหนาที่ด้านซ้ายสุด นำทางจากด้านบนซ้ายไปยังขั้นตอนที่ 1 และย้อนกลับขึ้นมาจากขั้นตอนที่ 7 ที่ด้านล่าง วนไปตามด้านซ้ายนี้ โดยวางข้อความแสดงความคิดเห็นซ้อนกันไว้ใกล้ครึ่งล่าง: "นำส่วนหัวของกล่องโต้ตอบที่ยืนยันแล้วกลับมาใช้ใหม่ในคำขอถัดไป" เพิ่มลูกศรเส้นประสองอันชี้ขึ้นด้านบนจากขั้นตอนที่ 7 ไปยังแผงกลุ่มแคช: ลูกศรเส้นประสีเขียวทางซ้ายชี้ไปยังแผงแคชสีเขียวที่มีป้ายกำกับว่า "เผยแพร่สถานะใหม่" และลูกศรเส้นประสีม่วงทางขวาชี้ไปยังแผงแคชสีม่วงที่มีป้ายกำกับว่า "เผยแพร่สถานะใหม่" เช่นกัน รักษาจำนวนการ์ดหลักที่มีหมายเลข 7 ใบ แผงกลุ่มแคช 2 แผง การ์ดแคชภายใน 4 ใบ และป้ายกำกับแคปซูล 2 ป้าย รักษามาตราส่วนแนวตั้งให้คล้ายกับแผนภาพสถาปัตยกรรมของสไลด์การประชุม