首个工程自动化任务评估基准DrafterBench的推出，旨在测试大语言模型在土木工程图纸修改任务中的表现。该基准通过模拟真实工程命令，全面考察模型在结构化数据理解、工具调用、指令跟随和批判性推理方面的能力。研究发现，虽然当前主流大模型如GPT-4o、Claude 3.5 Sonnet等已具备一定工程任务处理能力，但整体水平仍远未达到工程一线对执行精度和流程完整性的要求。模型在工具调用和批判性推理方面表现出显著差异，且常见错误包括参数定义不清、变量传递失败等，导致整体任务完成度偏低。DrafterBench为评估模型在实际工程场景中的落地能力提供了重要依据，未来将扩展至更多工程应用场景。

🏗️ **DrafterBench基准的创新性**：DrafterBench是首个专门为工程自动化任务设计的大模型评估基准，侧重于土木工程图纸修改这一高频且耗时的实际工作。它通过构建包含1920个高质量任务的评测套件，模拟真实工程命令，全面评估大语言模型在理解、执行和推理方面的能力，旨在检验模型是否能真正应用于工程一线，帮助工程人员减负。

🔧 **四大能力维度全面考察**：DrafterBench不局限于简单的指令执行，而是从结构化数据理解（准确提取关键细节）、工具调用（组合工具形成操作链）、指令跟随（处理多目标长指令）以及批判性推理（识别信息缺失、补全模糊细节）四个维度来衡量模型表现，力求模拟工程实践中复杂多变的场景。

📊 **主流模型表现喜忧参半**：通过对GPT-4o、Claude 3.5 Sonnet、Deepseek-V3-685B等主流大模型的评测，结果显示它们已具备一定的工程任务处理能力，得分普遍超过65分，其中GPT-4o (o1系列)以79.9分领跑。然而，模型在工具调用和批判性推理方面能力分化明显，且整体执行精度和流程完整性仍难以满足工程一线需求，整体任务完成度仅在40%左右。

⚠️ **模型常见错误分析**：研究深入分析了模型在DrafterBench任务中的失败原因，发现常见的错误类型包括参数定义不清、变量传递失败、函数调用结构错乱、工具选择偏差以及多工具组合逻辑混乱。这些问题即使在多个步骤正确的情况下，也可能导致最终图纸修改失败，凸显了模型在任务链完整性上的挑战。

🚀 **面向未来的展望**：DrafterBench的推出标志着大模型评估从“会不会”转向“干不干得好”的落地考核。研究团队计划将评估范围扩展到图纸校审、规范检测、施工日志生成等更多工程应用场景，以期为培养真正能在工程现场“动真格”的AI助手提供数据支持和路径验证。