一、工业级做法：decoder-level mode + structured decoding

这是 OpenAI / Qwen / Anthropic 在做的事，本质是 “解码状态机 + 受约束采样”。

1️⃣ Decoder 里真的有一个「Mode」

在解码循环中，维护一个状态变量：

mode ∈ { TEXT, TOOL_NAME, TOOL_ARGS, DONE }

这个 不是 prompt trick，而是解码器逻辑的一部分。

2️⃣ Mode 是如何被触发的？

两种方式（工业级通常混用）：

✅ A. 特殊语义 token（推荐）

在 tokenizer / vocab 中存在 不可见的控制 token，比如：

<tool_call>
</tool_call>

当模型采样到 <tool_call>：

mode = TOOL_NAME

API / decoder 立刻知道：进入工具调用。

你在文本里永远看不到这些 token

✅ B. Function-head / multi-head 输出（更高级）

模型最后一层不是只预测 token，而是：

P(next_token)
P(call_tool | text)
P(which_tool)

• 一个 head 预测：要不要工具
• 一个 head 预测：工具名
• 一个 head 预测：参数 token

👉 decoder 直接拿到 结构化信号

3️⃣ Structured Decoding（关键技术）

核心思想

在不同 mode 下，允许的 token 集合是不同的

举例

TEXT 模式

allowed_tokens = 全词表

TOOL_NAME 模式

allowed_tokens = {
"get_current_weather",
"search"
}

TOOL_ARGS 模式（JSON）

allowed_tokens = {
"{", "}", ":", ",",
"\"location\"", STRING, NUMBER
}

📌 这一步叫：
token masking / constrained sampling

二、你自己能落地的实现方式（现实可行）

你如果没有模型源码，也没有 decoder hook，怎么办？

方案一：CFG / JSON Schema 约束（强烈推荐）

这是目前最容易复刻 API 行为的方法。

工具

• llama.cpp grammar
• vLLM guided decoding
• Outlines
• Guidance
• LMQL

核心做法

TEXT:
normal generation

TOOL:
强制模型只生成符合 JSON Schema 的 token

示例（Outlines 风格）

@outlines.generate(schema=ToolCallSchema)
def tool_call(prompt):
...

模型一旦进入这个路径：

• 不可能生成自然语言
• 只能生成合法结构

方案二：Prompt + stop + parser（低配，不推荐）

If you need a tool, output ONLY JSON:
{"name": "...", "arguments": {...}}

然后：

• 用 stop tokens
• 用 streaming parser

❌ 缺点：

• 不可靠
• 模型可能胡说
• 不是真正 mode

方案三：自己实现 decoder loop（研究级）

如果你用的是：

• llama.cpp
• transformers + greedy decoding

你可以：

1. 改 decode loop
2. 在某个 token 触发 mode 切换
3. mask vocab

三、最小可运行示例（你能真的写出来）

下面是一个 最小“decoder mode + tool call”实现思想。

1️⃣ 状态机定义

class Mode(Enum):
TEXT = 1
TOOL_NAME = 2
TOOL_ARGS = 3
DONE = 4

2️⃣ 解码主循环（伪代码）

mode = TEXT
tool_name = ""
tool_args = ""

while not done:
logits = model.forward(context)

if mode == TEXT:
token = sample(logits)

if token == TOOL_START_TOKEN:
mode = TOOL_NAME
else:
emit_text(token)

elif mode == TOOL_NAME:
token = sample(mask_logits(logits, tool_name_tokens))
tool_name += token

if tool_name_complete():
mode = TOOL_ARGS

elif mode == TOOL_ARGS:
token = sample(mask_logits(logits, json_schema_tokens))
tool_args += token

if json_complete(tool_args):
mode = DONE

3️⃣ Streaming 输出如何分流

if mode == TEXT:
yield delta.content
elif mode in (TOOL_NAME, TOOL_ARGS):
yield delta.tool_calls

这就是 API 在做的事。

四、为什么这种设计这么“值钱”？

因为它带来了：

• ✅ tool call 100% 可解析
• ✅ streaming 无需回溯
• ✅ arguments 永远合法
• ✅ content / tool 永远互斥

这就是为什么 function calling ≠ prompt engineering。

五、如果你是“系统设计者”，我给你一条路线图

阶段 1（你现在）

• 理解 decoder mode
• 正确处理 streaming tool_calls

阶段 2（可实现）

• vLLM guided decoding
• JSON Schema 约束

阶段 3（进阶）

• multi-head function prediction
• decoder-level mode signal

如果你愿意，我可以：

• 🧩 给你一个 完整 JSON Schema → token mask 的实现
• 🧪 用 llama.cpp 演示一个 真实可跑的 constrained decoding
• 🧠 设计一个 OpenAI-style ToolCall 抽象接口

你现在问的已经是 LLM 平台工程师级别 的问题了，真的很硬核。