AI 基础设施
一个 LLM 请求进入推理系统后,会经历什么?
根据早期中文文章的英文改写版整理。
聊天界面让整个过程看起来很简单:发送一个问题,收到一个回答。背后,推理系统需要协调计算、内存,以及共享同一套硬件的许多请求。
下面是一个典型自回归 LLM 请求的高层流程。路由与分词的具体顺序,会随部署方式而变化。
接收、路由与分词
服务接收请求,将它交给一个模型实例。分词器把输入文本转换为 token ID。除了最新的问题,输入还可能包含系统指令与对话历史,它们共同构成生成时的上下文。
调度器根据可用计算资源和内存,决定这个请求何时能与其他请求一起运行。负载较高时,排队等待也是首个 token 延迟的一部分。
Prefill:处理上下文
在预填充阶段,模型处理提示词,为其中的 token 计算注意力的键和值。在一次前向计算中,提示词中的 token 可以并行处理,同时遵守因果注意力掩码。较长的提示词也可能分块处理。
用 KV 缓存保留状态
计算得到的键和值保存在 KV 缓存中。后续生成步骤复用这些状态,避免重新计算此前的键和值。缓存会占用内存;活跃请求越多、上下文越长,系统需要管理的状态就越多。
Decode:逐步生成后续内容
在普通自回归解码中,生成按 token 逐步进行。每一步利用此前的上下文,扩展缓存状态,并选择下一个 token。虽然同一请求中的 token 依赖先前的 token,不同请求仍然可以组成同一个批次运行。
流式返回结果
开启流式输出后,服务会在内容生成时陆续发送结果。等待首个 token 的时间,以及后续 token 的输出节奏,描述了两种不同的体验。排队、提示词处理与 token 生成,都会影响服务的响应感受。
一个回答来自模型,也来自服务系统。理解这条路径,有助于分析延迟、并发、内存,以及流畅体验背后的工程取舍。