岗位职责： 1. 负责大模型的端到端部署，包括但不限于推理引擎的开发、模型优化和压缩、模型部署的端到端流程设计等，打造高吞吐、低延时的推理系统； 2. 优化大模型推理性能，提升吞吐并控制成本，提升框架易用性和可调试性。 岗位要求： 1. 熟练掌握 C/C 、Python、GO等编程语言之一，有计算机体系结构背景或软件开发背景，熟悉系统性能调优的方式； 2. 了解主流深度学习框架如tensorflow，pytroch等，有TFServing/OnnxRuntime/FasterTransformer等深度学习推理框架的实际使用经验； 3. 了解微服务架构设计及分布式开发，熟悉K8s、Docker等技术； 4. 具备基础的GPU编程能力，包括但不限于Cuda、OpenCL；熟悉至少一种GPU加速库，如cublas、cudnn、cutlass等； 5. 熟悉各类深度学习网络和算子底层实现细节，训练和推理模型调试、调优有实操经验优先； 6. 熟悉CPU/GPU异构加速瓶颈分析方法，有服务器端 AI 芯片、GPU加速经验优先； 7. 熟悉分布式推理加速框架，有超大模型分布式加速经验优先。