推理背后的基础设施。

我的工程工作连接推理引擎与分布式平台,涵盖部署、路由、缓存、性能与可靠性。

01

生产环境中的 LLM 推理

构建连接模型与使用者的服务层。

  • 预填充与解码分离
  • 请求路由
  • 分布式模型服务
02

Kubernetes 与云基础设施

让推理工作负载更容易部署、扩展和运维。

  • Operator 与生命周期管理
  • 工作负载编排
  • 可靠性与可观测性
03

推理性能

理解时间和内存花在哪里,再改善系统。

  • KV 缓存架构
  • TTFT、ITL 与有效吞吐量
  • 基准测试与负载测试

目前的工作:AWS SageMaker HyperPod Inference。

把工程经验写成文章。

已公开发表的架构介绍与技术分析。