旧金山湾区
Xuan LuAI 基础设施工程师
构建 AI 背后的系统。
我在 AWS SageMaker HyperPod 从事大规模 LLM 推理系统开发,关注分布式服务、Kubernetes、性能与可靠性。

关于我
我是一名生活在旧金山湾区的 AI 基础设施工程师。我习惯从实际的系统问题出发:找到瓶颈,验证假设,观察系统在生产环境中的真实表现。
在 Amazon,我的工作从面向用户的软件,逐步延伸到机器学习服务平台,以及现在的 AWS SageMaker HyperPod 大规模 LLM 推理系统。我关注模型变成服务后出现的问题:请求如何共享 GPU,延迟来自哪里,以及系统如何在高负载下保持可靠。
工作之外,我写一些关于 AI 与学习的思考,也用 AI 做短片和音乐。我喜欢把一个想法变成别人可以读、看或尝试的东西。希望借助这些工具,做更多有意思的事,也给生活留出更多空间。
联系我我在做什么
了解更多工作内容分布式 LLM 推理
在 GPU 基础设施上运行模型服务,包括预填充与解码分离、请求路由。我关注各个组件如何协作,以及响应速度、吞吐量和资源利用之间的取舍。
KV 缓存与性能
理解缓存状态如何在 GPU、内存与存储之间流动,以及何时复用能够带来收益。通过基准测试和负载测试,把架构设想转化为延迟与吞吐量的实际证据。
Kubernetes 与运维
开发 Operator 和部署流程,让推理系统更容易运行。涉及工作负载生命周期管理、扩缩容、可观测性,以及生产环境中的故障诊断。