所有文章

为什么 vLLM 和 SGLang 越来越像操作系统?

先说它们是什么:vLLM 和 SGLang 是用于部署大语言模型服务的开源工具。当我们打开一个 AI 产品,提出问题,等待回答时,可能还有成千上万的人在做同样的事。

模型负责生成答案。但哪个请求先运行,哪些请求可以一起运行,GPU 显存不足时怎么办,需要另一层协调。这正是 vLLM 和 SGLang 承担的一部分工作。

因此,用操作系统来类比很有帮助。操作系统让许多程序共享一台计算机的资源;推理引擎则让许多用户请求共享运行模型的 GPU。系统繁忙时,请求需要排队;条件允许时,它们一起组成批次运行;可以复用时,则利用此前的计算结果。

这当然只是类比。推理引擎并没有替代计算机的操作系统,而是在大语言模型服务中,承担越来越多的资源调度工作。