DeepSeek V3와 V4 아키텍처 비교 인포그래픽

{ "type": "AI 아키텍처 비교 인포그래픽", "style": "간단한 기술 차트, 흰색 배경, 얇은 검은색 윤곽선, 둥근 사각형, 점선 주석 상자, 색상으로 구분된 강조 표시, 프레젠테이션 스타일, 벡터 인포그래픽.", "canvas": { "aspect_ratio": "2:1", "resolution": "가로 너비" }, "title_row": { "left_title": "DeepSeek V3/R1 (6710억 개의 매개변수)", "right_title": "DeepSeek V4 (1조 2천억 개의 매개변수)", "left_title_color": "밝은 주황색-빨간색", "right_title_color": "밝은 파란색" }, "layout": { "columns": 2, "sections": [ { "title": "DeepSeek V3/R1 (6710억 개의 매개변수)", "position": "왼쪽 절반", "count": 9, "labels": [ "어휘 크기 129k", "피드포워드(SwiGLU) 모듈", "중간 은닉층의 차원은 2,048입니다.", "MoE 레이어", "128k 토큰 컨텍스트 길이 지원", "처음 세 블록은 MoE 대신 18,432의 은닉 크기를 가진 밀집 FFN을 사용합니다.", "예시 텍스트 입력", "임베딩 차원 7,168", "128개의 어텐션 헤드" ] }, { "title": "DeepSeek V4 (1.2조 개의 파라미터)", "position": "오른쪽 절반", "count": 9, "labels": [ "어휘 크기 160k", "피드포워드(SwiGLU) 모듈", "중간 은닉층의 차원은 3,072입니다.", "MoE 레이어", "256k 토큰 컨텍스트 길이 지원", "처음 세 블록은 은닉 크기를 가진 밀집 FFN을 사용합니다." MoE 대신 24,576의 값입니다.", "예시 텍스트 입력", "임베딩 차원 8,192", "128개의 어텐션 헤드" ] }, { "title": "하단 비교표", "position": "하단 전체 너비", "count": 10, "labels": [ "총 매개변수 수", "토큰당 활성 매개변수 수", "은닉층 크기", "예시 차원", "DeepSeek V3/R1", "중간층(FF)", "어텐션", "컨텍스트 길이", "임베딩 차원", "어휘 크기" ] } ] }, "left_panel": { "background": "밝은 회색 둥근 사각형", "main_stack": { "count": 8, "blocks": [ "토큰화된 텍스트", "토큰 임베딩 레이어", "RMSNorm" 1", "다중 헤드 잠재 어텐션(MLA)", "RMSNorm 2", "MoE", "궁극적으로 RMSNorm", "선형 출력 레이어" ] }, "side_module": "RoPE는 왼쪽의 어텐션 블록에 연결됩니다.", "attention_block": { "label": "다중 헤드 잠재 어텐션(MLA)", "accent": "'Latent'라는 단어가 주황색-빨간색 글자로 표시됩니다." }, "feedforward_inset": { "title": "피드포워드(SwiGLU) 모듈", "count": 4, "blocks": [ "선형 레이어", "SiLU 활성화 함수", "선형 레이어", "선형 레이어" ], "diagram": "두 분기를 곱한 다음 투영합니다." }, "moe_inset": { "title": "MoE 레이어", "count": 5, "blocks": [ "최상위 복합 노드", "피드포워드 네트워크", "피드포워드 네트워크", "라우팅", "전문가 카운팅 배지 256" ], "details": "선택된 전문가 한 명과 전문가를 가리키는 화살표, 그리고 점선 구분선이 있는 작은 검은색 사각형." }, "annotations": { "vocab": "어휘 크기 129k", "ff_dim": "중간 은닉층의 차원은 2,048입니다.", "context": "128k 토큰 컨텍스트 길이를 지원합니다.", "dense_first_blocks": "처음 세 블록은 MoE 대신 18,432의 은닉 크기를 가진 밀집 FFN을 사용합니다.", "resource_savings": "리소스 절약: 모델 크기는 671바이트이지만 각 토큰은 1개의 (공유) 전문가와 8개의 전문가만 활성화합니다. 추론 단계당 37바이트의 매개변수만 활성화됩니다." }, "bottom_stats": { "count": 10, "items": [ "총 파라미터 수: 671B", "토큰당 활동 파라미터: 37B (전문가 1 + 8명)", "은닉층 크기: 7,128", "예제 차원: 28,432", "중간층(FF): 2,048", "어텐션: 128", "컨텍스트 길이: 128k", "임베딩 차원: 처음 3개 블록", "컨텍스트 길이: 22G7", "어휘 크기: 129k" ] } }, "right_panel": { "background": "연한 파란색 둥근 사각형", "main_stack": { "count": 8, "blocks": [ "토큰화된 텍스트", "토큰 임베딩 레이어", "RMSNorm 1", "멀티헤드 포텐셜 어텐션" ] } } (MLA)", "RMSNorm 2", "MoE", "궁극적으로 RMSNorm", "선형 출력 레이어" ] }, "side_module": "RoPE는 왼쪽의 어텐션 블록에 연결됩니다.", "attention_block": { "label": "다중 헤드 포텐셜 어텐션(MLA)", "accent": "'Latent''라는 단어는 파란색 텍스트로 표시됩니다." }, "feedforward_inset": { "title": "피드포워드(SwiGLU) 모듈", "count": 4, "blocks": [ "선형 레이어", "SiLU 활성화 함수", "선형 레이어", "선형 레이어" ], "diagram": "왼쪽 패널과 동일한 구조" }, "moe_inset": { "title": "MoE 레이어", "count": 5, "blocks": [ "상위 합성 노드", "피드포워드 네트워크", "피드포워드 네트워크", "라우팅", "전문가 카운팅 배지 384" ], "details": "선택된 전문가 한 명, 전문가를 가리키는 화살표, 점선 구분선, 강조를 위한 파란색 테두리가 있는 작은 검은색 사각형." }, "annotations": { "vocab": "어휘 크기 160k", "ff_dim": "중간 은닉층의 차원은 3,072입니다.", "context": "256k 토큰 컨텍스트 길이를 지원합니다.", "dense_first_blocks": "처음 세 블록은 MoE 대신 24,576의 은닉 크기를 가진 밀집 FFN을 사용합니다.", "resource_savings": "리소스 절약: 모델 크기는 1.2T이지만 각 토큰은 1(공유) + 8개의 전문가만 활성화합니다. 추론 단계당 52B개의 매개변수만 활성화됩니다." }, "bottom_stats": { "count": 10, "items": [ "총 파라미터 수: 1.2T", "토큰당 활동 파라미터 수: 52B (전문가 1명 + 8명)", "은닉층 크기: 7.2B", "예제 차원: 28,432", "중간층(FF): 3,072", "어텐션: 128", "컨텍스트 길이: 256k", "임베딩 차원: 처음 3개 블록", "컨텍스트 길이: 22G7", "어빌리티 크기: 160k" ] } }, "global_notes": "대칭 레이아웃을 사용하여 매우 상세한 Transformer 아키텍처 비교 다이어그램을 작성하십시오. 각 절반에는 큰 모델 스택 다이어그램과 두 개의 그림(피드포워드 모듈 하나와 MoE 레이어 하나)이 포함됩니다. 블록 사이에 화살표를 사용하고, 작은 기술 레이블을 추가하고, 연결선을 사용하여 레이블을 관련 구성 요소에 연결하십시오. 타이포그래피는 간결하게 유지하고 프레젠테이션처럼 보이도록 V3/R1은 주황색-빨간색으로, V4는 파란색으로 표시합니다. 하단에 전체 너비를 차지하는 간략한 지표 표를 포함합니다. 작은 글씨와 빽빽한 주석을 사용하여 약간 투박하지만 독창적인 손으로 그린 ​​인포그래픽 스타일을 유지합니다.