麻省理工学院的实验研究揭示了在教育写作中使用LLM（如ChatGPT）对人类认知的影响。研究表明，LLM虽降低了写作认知负荷，但可能削弱记忆、批判性思维和写作技能。通过脑电图、NLP分析、问卷和访谈，研究比较了LLM组、搜索引擎组和Brain-only组的表现。结果显示，LLM组作文缺乏深度和原创性，大脑活动连接性较弱，记忆和归属感也较低。研究强调了使用LLM可能导致的“认知债务”，提醒人们关注长期学习效果。
🧠 写作质量对比：LLM组和搜索引擎组的作文在语言模型生成的特定实体和n-grams的使用上表现出更高的同质性，而Brain-only组的作文则更为多样化，LLM组的作文在结构和语言上较为规范，但缺乏深度和原创性。
💡 神经活动差异：Brain-only组的大脑连接性最强，表明在没有外部支持的情况下，参与者需要更广泛地激活大脑网络来完成写作任务。LLM组的大脑连接性最弱，表明使用LLM可能减少了认知负荷，但也降低了大脑的参与度。
✍️ 记忆与写作所有权感：LLM组的参与者在回忆自己作文内容时表现出更大的困难，83.3%的参与者在Session 1中无法正确引用自己作文中的内容，且在后续Session中仍有66.7%的参与者无法正确引用；而Brain-only组的参与者则更容易记住自己的作文内容，94.4%的参与者在Session 1中能够正确引用自己作文中的内容，且在后续Session中这一比例保持较高。LLM组的参与者对作文的归属感较弱，而Brain-only组的参与者对作文的归属感更强。
⚠️ 认知成本：研究发现，使用LLM可能会导致“认知债务”的积累，即短期内虽然使用LLM可以提高写作效率，但长期来看可能削弱个体的批判性思维和问题解决能力。
2025-06-21 15:18 湖北
近期，麻省理工学院（MIT）发表了206页长篇实验研究报告：探讨在教育写作任务中使用LLM（如ChatGPT）对人类认知成本和学习技能的影响。实验表明：使用LLM可能会降低写作任务的认知负荷，但同时也可能导致记忆、批判性思维和写作技能的下降。
研究招募了54名参与者，分为三组：LLM组、搜索引擎组和Brain-only组。
LLM组仅使用ChatGPT搜索引擎组可使用任何网站但禁止使用LLMBrain-only组则完全不使用外部工具
第四轮实验中，LLM组和Brain-only组的参与者互换工具。
研究使用脑电图（EEG）记录参与者的大脑活动，以评估认知参与度和认知负荷，并使用自然语言处理（NLP）分析作文内容。还通过问卷和访谈收集了参与者的反馈，并邀请人类教师和AI代理对作文进行评分。
关键结论：写作质量差异：LLM组和搜索引擎组的作文在语言模型生成的特定实体（NERs）和n-grams的使用上表现出更高的同质性，而Brain-only组的作文则更为多样化。LLM组的作文在结构和语言上较为规范，但缺乏深度和原创性。
神经活动差异：EEG分析显示，Brain-only组的大脑连接性最强，表明在没有外部支持的情况下，参与者需要更广泛地激活大脑网络来完成写作任务。LLM组的大脑连接性最弱，表明使用LLM可能减少了认知负荷，但也降低了大脑的参与度。
记忆和写作所有权感：LLM组的参与者在回忆自己作文内容时表现出更大的困难，而Brain-only组的参与者则更容易记住自己的作文内容，并且对作文的归属感更强。
数据：
LLM组：在回忆自己作文内容时表现出更大的困难，83.3%的参与者在Session 1中无法正确引用自己作文中的内容，且在后续Session中仍有66.7%的参与者无法正确引用。
Brain-only组：更容易记住自己的作文内容，94.4%的参与者在Session 1中能够正确引用自己作文中的内容，且在后续Session中这一比例保持较高。
写作所有权感：LLM组的参与者对作文的归属感较弱，部分参与者表示作文内容部分或完全由AI生成；而Brain-only组的参与者对作文的归属感更强，几乎所有参与者表示作文内容完全由自己生成。
认知成本：研究发现，使用LLM可能会导致“认知债务”的积累，即短期内虽然使用LLM可以提高写作效率，但长期来看可能削弱个体的批判性思维和问题解决能力。
https://arxiv.org/pdf/2506.08872
Your Brain on ChatGPT: Accumulationof Cognitive Debt when Using an AI Assistant for Essay Writing Task
欢迎关注我的公众号“PaperAgent”，每天一篇大模型（LLM）文章来锻炼我们的思维，简单的例子，不简单的方法，提升自己。
