岗位职责
- 1、负责公司大模型网关、Token聚合调度、智算接入网关的架构设计、功能迭代与核心模块研发，支撑多模型统一接入、路由分发与流量统一治理。
- 2、落地模型负载均衡、智能路由、限流熔断、权重调度、故障降级等网关核心能力，保障大模型推理服务高可用、高并发、低延迟。
- 3、负责Token流量治理、请求合并、缓存策略、KV缓存调度、用量统计与成本优化，提升整体吞吐与资源利用率，降低智算调用成本。
- 4、对接各类大模型、算力资源与业务服务，完成网关协议适配、兼容性优化与服务治理，构建标准化的模型调用与接入体系。
- 5、持续优化网关性能、稳定性、可观测性，负责线上问题排查、性能调优、压测迭代，支撑业务规模化落地。
- 6、跟进行业大模型网关、智算调度前沿技术，参与技术方案沉淀、架构升级与团队技术建设。
任职要求
- 1.本科/硕士及以上学历，5年以上后端开发经验，熟悉Go/node.js//Rust(至少一种)，有扎实的编程功底和良好的代码规范。
- 2.深入理解API网关原理，有Kong/APISIX/Envoy二次开发经验或自研高性能网关经验者优先。
- 3.熟悉 SSE/HTTP/Websocket/TCP协议。
- 4.具备良好的技术敏感度、系统设计能力及排查复杂问题的能力。
