OpenAI 发布了 SWE-Lancer 基准测试，用于评估模型在真实世界自由软件工程工作的性能。该基准测试包含 1400 多个来自 Upwork 和 Expensify 的任务，总支付金额达 100 万美元。SWE-Lancer 要求模型评估代码补丁和管理决策，从多个选项中选择最佳提案，更真实地反映工程团队的工作。其优势在于使用端到端测试，模拟用户从问题识别到补丁验证的整个工作流程。