评估、对齐和能力研发,日常差在哪

消息提到,谷歌DeepMind研究员乔希·恩格尔斯离开公司通用人工智能安全团队,加入独立AI评估机构METR,工作重心是研究模型对齐失效的根源、评估现有安全防护是否够用。同期,Anthropic首席执行官达里奥·阿莫代伊公开呼吁放缓AI研发速度,让安全体系跟上技术进展。这些动态对求职者的启发是:AI安全方向内部并非一种岗位,评估、对齐和能力研发的日常差别很大。

评估岗更像“外部体检”:设计测试任务,观察模型在特定情境下的行为边界,产出可被第三方复核的结论。对齐岗更偏研究:追问模型目标与人类意图为何出现偏差,尝试从训练方法或机制层面找根源。能力研发岗的目标是提升模型性能,安全相关的工作往往作为约束条件嵌入其中。

三类岗位技能要求不同。评估岗看重实验设计、红队测试和结果解读;对齐岗需要读对齐文献、做小规模实验;能力研发岗更看重训练与系统工程能力。转方向前先确认目标岗位属于哪一类,不要默认所有AI安全岗都要训练大模型。

面试时怎么判断团队做评估还是给能力研发做附属

恩格尔斯从大厂安全团队转向独立评估机构,这个选择本身提示了一个核查角度:安全职能的独立性。面试时可以问几个具体问题。

第一,团队产出是否对外公开?如果评估报告只在内部分享,外部无法复核,它的约束力就有限。第二,评估结果是否影响模型发布决策?可以追问“如果评估发现风险,流程上会怎样处理”,听对方描述的是真实决策链还是原则性表态。第三,团队负责人向谁汇报,预算和人员编制是否独立于能力研发团队。

阿莫代伊呼吁放缓AI研发速度,让安全体系跟上技术进展。这类表态属于行业观点,不是招聘承诺,但可以作为面试时的追问素材:你们怎么看第三方评估?团队有没有对外协作?如果对方对这些问题回答模糊,只强调“我们很重视安全”,说明安全职能可能更接近附属角色。这不一定是坏事,但你要清楚自己进去后做的是评估、合规还是给能力研发做支持。

转方向前,先补对能力再投

假设一个模拟场景:两位候选人同时投评估岗。A花三个月学大模型训练,B花三个月练实验设计、读对齐文献、做红队测试练习。评估岗面试更可能追问B如何设计对照实验、如何判断测试结果是否可信。这不是说训练能力没用,而是岗位匹配度不同。

具体建议:先找三到五个目标岗位的职位描述,把要求拆成“评估方法”“对齐研究”“系统工程”三类,看哪类出现频率最高,再决定补什么。可以练习写一份模拟评估方案,向目标岗位的从业者核查它的价值,而不是默认掌握某个工具就更有优势。

恩格尔斯表示,他认为未来五年内AI系统造成巨大危害的概率“高得吓人”。这类个人判断不是行业共识,但提醒选组时把“团队做什么、产出给谁看、决策链怎么走”问清楚,比背岗位名称更有用。如果只做一件事:挑一个目标团队,面试时至少追问产出公开性和决策链两个问题。