生产环境中的 LLM 推理
构建连接模型与使用者的服务层。
- 预填充与解码分离
- 请求路由
- 分布式模型服务
工作
我的工程工作连接推理引擎与分布式平台,涵盖部署、路由、缓存、性能与可靠性。
构建连接模型与使用者的服务层。
让推理工作负载更容易部署、扩展和运维。
理解时间和内存花在哪里,再改善系统。
目前的工作:AWS SageMaker HyperPod Inference。
公开文章
已公开发表的架构介绍与技术分析。
介绍 HyperPod 如何通过托管 NVIDIA Dynamo 支持多节点推理、预填充与解码分离及 KV 缓存感知路由,并分享 Qwen 模型的基准测试。
阅读英文原文介绍基于 vLLM、LMCache、NIXL 和 EFA 的分离式推理,深入分析 KV 缓存传输路径、请求路由与性能测试。
阅读英文原文介绍在独立 GPU 资源池上运行预填充与解码的架构和部署方式,并通过 EFA RDMA 传输 KV 缓存。
阅读英文原文通过托管 Operator 安装、生命周期管理与部署选项,简化从 Kubernetes 集群到模型服务的路径。
阅读英文原文