OpenAI 研发出新方案，可将推理成本减半

据知情人士透露，OpenAI 工程师本月早些时候向部分同事表示，通过几项全新优化技术，已找到将模型推理成本削减一半以上的方案，应用于无免费 / 付费账号访客使用 ChatGPT 的场景后，所需英伟达 GPU 数量曾压至仅数百块。目前外界不清楚具体技术手段，业内常用优化方案包括量化压缩、键值缓存、批量处理用户查询、将部分请求分流至轻量化模型或模型分片应答。