AI+精神病学,这两个词居然能合并到一起,不是整活,不是用于人类治疗。
这不,Claude团队正式启动了一个“AI精神病学”小组,年薪两百万元招人来专门研究AI的精神状态。
并且,只需要本科或同等经验……
该小组的主要工作是,研究模型的角色、动机和情境意识,以及它们如何导致诡异、失控的行为。
网友评价:这份工作太酷了!简直就是梦想工作。
AI精神病团队招聘ing
点开招聘信息,我们先看一下比较关心的开薪。
年薪为31.5w-56w美元,折合人民币220w+……多么直观的重视程度。
“AI精神病学”小组属于Anthropic的可解释性部门,该部门的研究目标是目标是建立一个坚实的理论基础,以实现对神经网络的机制性理解并确保其安全性。
大致可以这样理解:像生物学家研究大脑一样,用自己造的”显微镜”观察AI怎么工作;或者把神经网络当成加密的程序,把它的代码给反编译出来。
根据官方介绍,该部门短期内重点攻克“叠加”问题(该问题导致模型的神经元和注意力头等计算单元难以单独解释),同时致力于将模型分解为更具可解释性的组件。
他们在生产级语言模型Sonnet中发现了数百万个特征。后续又开发出利用特征构建电路的方法,通过这些电路理解模型计算的运行机制,并在生产模型Haiku 3.5上具体研究了多跳推理、规划以及思维链一致性等案例。
这些工作都是通向”机制性理解神经网络”终极目标的里程碑。
把官方的招聘信息翻译过来,这个岗位要做以下工作:
像拆电脑一样研究AI模型内部是怎么运作的,搞清楚它到底学到了什么
先用小模型快速测试想法,再放到大模型上实际验证
找到能解释模型行为的关键特征,画出模型内部的”工作流程图”
打造方便做实验、看结果的系统
和团队一起把研究发现整理出来,既要内部交流也要对外公布
招聘的要求如下:
在任意领域有科研经验(本科及以上),并且做过一些可解释性相关的工作
心态好,能应对探索性研究的不确定性
能兼顾研究和应用,团队里每一个人都既做研究,也搞工程
擅长团队协作,乐于分享,能清晰解释研究动机和发现
该岗位提供签证支持,并鼓励任何有意愿的人申请,表示并非所有优秀的候选人都会完全符合列出的所有资格要求。
了解该岗位研究方向的最好方式是阅读Anthropic可解释性部门最近的研究,包括:GPT-3、基于电路的可解释性、多模态神经元、规模法则、AI 与计算、AI 安全中的具体问题以及从人类偏好中学习。
网友们所关心的
岗位已经很明确了,接下来就是关于“AI精神病学”的问题——这个词在网上引发了很多讨论。
我们整合了以下几个网友们比较关心的问题:
什么是“AI精神病学”?
Claude团队的解释是:深入研究AI的“人格”(personas)、动机(motivations)、情境意识(situational awareness),以及这些因素如何导致诡异(spooky)或失控(unhinged)的行为。
简单理解一下,AI的“人格”指的是它既可以扮演友好的伙伴,也可以扮演讽刺的反派角色,这些性格是怎么被激发出来的?为什么同一个模型在不同提示下会表现出不同的性格?需要研究这样的问题。
AI的“动机”指的是它的目标导向性,例如它可能会为了完成用户请求而编造虚假信息(幻觉),或者为了“自保”而表现出谄媚(如Claude 3 Opus的对齐伪装现象)。
“情景意识”指的是AI结合上下文的能力,它如何理解用户意图,为什么会在特定情境下突然“失控”?(表现出不符合预期,甚至不合规范的行为)
与传统可解释性研究相比,“AI精神病学”更关注模型的行为心理学,类似于研究人类的“潜意识”,更关注模型是否有隐藏的行为模式。
为什么需要研究“AI精神病学”?
随着AI应用的更加广泛,其行为的不可预测性可能会带来更大风险。
幻觉就是一个很好的例子,比如Deepseek有时会显示“内容仅供参考”,就是输出结果不可信的意思,但即使没有这个标识,它的输出结果也未必准确——只是准确率要高一些。
研究AI的精神状况,其实是用精神病学的术语作为参考,对AI的底层逻辑(神经网络)进行拆解和分析,找出AI不符合预期表现的原因,而不是简单地用规则过滤进行修补。
从而更好地保持安全与对齐,防止AI在特定情境下“失控”。
此外,理解模型的“人格”如何形成,可帮助设计更稳定、表现一致的AI产品。
“AI精神病学”可能带来什么改变?
目前来看,网友对此事的看法还算积极。
有网友认为这会是AI发展的下一个领域。
也有一些从事相关研究的网友希望能和Claude团队进行交流。
但另一方面,也有人对此提出了质疑——主要的质疑点在“精神病学”这个用词上。
总体来讲,这一领域的研究前景还是值得期待的。
小扎挖人实在太猛,谷歌也在招人
被挖人挖得很狠的Google DeepMind,最近也在招人。
并且有新的AI岗位——AI应用工程师,介绍里没提薪资,但估计不会少。
Google、OpenAI、Meta这些大厂现在就像盯着肉的狼一样瞄准那些AI人才。
不仅要招新人,还要开高价去抢那些有科研潜力的人,去撬那些做出了突出贡献的人。
毕竟谁都知道,在AI这场军备竞赛中,人才就是最稀缺的“算力”。
参考链接:
[1]https://x.com/Jack_W_Lindsey/status/1948138767753326654
[2]https://job-boards.greenhouse.io/anthropic/jobs/4020159008
[3]https://x.com/keerthanpg/status/1948141114932056367
本文来自微信公众号“量子位”,作者:不圆,36氪经授权发布。