2024-12-12 14:25 江苏
关注公众号，发现CV技术之美
现如今在外科手术中，特别是在神经外科领域，外科团队面临着巨大的认知负担。这种认知压力主要源于手术过程中需要处理的复杂信息流、做出快速精确的临床判断，以及协调多个团队成员的配合。手术团队不仅需要实时监控患者的生理指标，还要权衡各种手术方案的风险收益，同时还要应对手术过程中可能出现的意外情况。现有的手术辅助系统在信息整合和决策支持方面仍显不足，难以有效地减轻医疗团队的认知负荷，这会影响手术的安全性和治疗效果。
为此，我们基于大模型Agent提出了针对手术室的沙盒系统SurgBox。在这个零风险的环境中，外科团队可以反复演练各类手术场景，包括复杂病例和突发情况的处理。通过系统化的模拟训练，医生能够不断完善临床决策能力，提升团队协作效率，从而增强认知能力。特别地，我们设计了AI手术助手Surgery Copilot，可以在实际手术过程中为医疗团队提供决策支持。通过智能化的信息整合和分析，Surgery Copilot能够帮助医生快速获取关键信息，预判潜在风险，从而有效降低认知负荷。配合Surgery Copilot的实时决策支持，SurgBox为现代医疗培训开辟了一个全新的范式，为提高手术安全性和临床效果提供了强有力的技术支撑。
论文名称：SurgBox: Agent-Driven Operating Room Sandbox with Surgery Copilot
手术模拟和决策支持
我们基于Multi-Agent技术研发了手术沙盒系统SurgBox和手术AI助手Surgery Copilot，展示了Multi-Agent LLMs在模拟医疗角色、交互和决策制定中的潜力，并指出了在临床手术领域应用LLMs的差距。本研究提出的SurgBox手术沙盒系统和Surgery Copilot手术AI助手，旨在通过沉浸式模拟和实时手术支持来填补这一空白，提高外科手术的认知表现和临床决策能力。
本研究提出的SurgBox手术沙盒系统重点模拟了神经外科手术中的经鼻垂体瘤手术场景，通过Multi-Agent LLMs模拟手术室中的关键角色，重点模拟了神经外科手术中的术前规划、术中管理、术后总结等手术核心流程。SurgBox手术沙盒系统能够模拟手术团队成员之间的专业交流和应急处理，让外科医生在虚拟环境中获得接近真实的手术训练体验。
与此同时，Surgery Copilot作为实时手术助手，为主刀医生提供关键时刻的决策建议，如手术路径规划、术中风险预警等信息。通过将Surgery Copilot与临床外科手术的结合，旨在提升手术团队的认知效能和临床决策水平。
SurgBox手术沙盒系统
本研究在SurgBox手术沙盒系统中使用了语言大模型（LLMs）和角色知识定制的检索增强生成（RAG）技术来模拟各种手术角色，包括主刀医生、助手医生、器械护士、巡回护士、病房护士和麻醉师等。这种模拟提供了一个无风险的学习环境，让外科医生能够通过刻意练习来提高他们处理复杂信息流和在压力下做出关键决策的能力。我们主要通过以下几个关键方法来解决外科手术中的认知挑战问题：
1.角色扮演策略
角色扮演：SurgBox通过精细设计的Multi-Agent角色来模拟经鼻垂体瘤手术的完整流程。该手术沙盒系统模拟了主刀医生、助手医生、器械护士、巡回护士、病房护士和麻醉师等核心角色，每个角色都配备了专门的大型语言模型和知识库。比如，主刀医生的知识库包含详细的手术技术、解剖信息和并发症处理方案；麻醉师的知识库侧重麻醉药物特性和患者监护方案；护士的知识库则包含器械准备、无菌技术和患者护理等专业内容。
角色互动：SurgBox是一个基于大型语言模型(LLMs)的手术模拟系统，按照术前、术中和术后三个主要阶段设计，涵盖了患者转运、麻醉、手术准备、手术操作和术后护理等关键环节。在这些环节中，这些角色会根据手术阶段和任务进行自然的互动。系统通过事件触发机制和对话连贯性维持来确保各角色之间的互动真实自然。例如，当出现患者状态改变等特定事件时，会触发相关角色的响应和对话。这种基于专业知识库的多角色协同模拟，为手术团队提供了一个接近真实的培训环境。
2. Surgery Copilot
Surgery Copilot是一个基于AI的智能手术助手系统，通过创新的长短期记忆机制来支持手术团队决策。在经鼻垂体瘤手术中，它与主刀医生、麻醉师和护士等角色密切协作：
系统的短期记忆模块实时追踪手术进程，为团队成员提供及时预警；
长期记忆模块则存储和分析历史手术案例经验，用于术前方案优化和手术风险评估。
通过这种双重记忆机制，Surgery Copilot不仅能够为主刀医生提供基于证据的实时建议，如手术路径调整和出血风险提醒，还能协助麻醉师进行精准的麻醉管理，同时为护士团队提供器械准备和手术配合的指导。系统采用专门的提示工程技术来优化对医学术语和手术流程的理解，通过减轻手术团队的认知负担来提升手术效率。
实验验证
我们使用真实手术记录进行实验验证：通过分析128个真实神经外科手术程序记录，验证了SurgBox手术沙盒系统和Surgery Copilot手术AI助手在提高手术认知能力和支持临床决策方面的效果。
SurgBox在所有阶段都表现出了显著的表现。根据Table 1表结果，该系统始终保持着优越的完成率，特别是在第二阶段（术前麻醉及器械准备）和第三阶段（术中手术过程）。与此同时，其准确性在所有阶段都保持提高，在后期表现明显高而稳定，表明其在复杂的手术场景中的稳健性和可靠性。
如Table 2所示，我们的Surgery Copilot在手术路线和手术计划类别中都表现出了卓越的表现，分别达到了88.00%和88.02%的准确率。手术入路设计准确度是衡量系统选择最佳手术方法的能力，术前规划准确度：评估系统的能力规划和执行完整的手术程序。
实验结果表明，手术副驾驶在手术路径规划和手术计划制定方面具有显著的优势。特定领域RAG技术的实现大大提高了基线模型的性能，特别是在手术路由类别中。
这一观察结果表明，结合外部知识检索可以显著提高特定领域的模型性能。SurgBox通过将一个特定于手术领域的知识库与ReAct方法相结合，显示出了比所有其他模型优越的明显优势，有效地减轻了幻觉，提高了整体准确性。
手术过程问答比较示例
我们提供了Llama-3-70B和GPT-4生成的答案作为参考。在我们的测试中，Surgery Copilot在关键事实方面的命中率显著高于其他模型。
总结
本研究针对外科手术中的认知负担问题，开创性地提出了SurgBox手术沙盒系统。通过Multi-Agent技术，SurgBox手术沙盒系统精确模拟了手术团队各个角色及其专业互动，为医生提供零风险的手术模拟环境，提升认知能力。
此外，Surgery Copilot手术AI助手运用长短期记忆机制，在实际手术中为角色提供实时决策支持，降低医生认知负荷。实验结果显示，该方案在手术路径规划和术前方案制定方面的准确率均达到88%，显著优于GPT-4和LLaMA等现有大模型。
本研究提出的SurgBox手术沙盒系统和Surgery Copilot手术AI助手不仅有效降低了手术团队的认知负担，也为AI赋能医疗手术开辟了新方向。
最新 AI 进展报道
请联系：amos@52cv.net
END
欢迎加入「医学AI」交流群?备注：医学AI
