多用户 batch 推理

User 1 prompt ----┐
User 2 prompt ----│
User 3 prompt ----│
                  ▼
             Request Queue
                  ▼
          Scheduler / Batching
                  ▼
           Batch Input Matrix
       [seq1, seq2, seq3] + masks
                  ▼
          GPU 前向传播一次
                  ▼
         KV cache 保持独立
                  ▼
           分拆输出结果
User 1 response ←┘
User 2 response ←┘
User 3 response ←┘