评测机构里,安全类工作和评测研究类工作差在哪?
消息提到,METR的API key被窃取并使用三周,消耗约60万美元额度;一个fail-open bug让公共agent仪表盘的Google认证失效,攻击者通过提示词让agent交出key并添加SSH持久化。有作者据此发问:能否想象METR及其他评测机构将面临国家级攻击,并认为评测机构既需要世界级网络安全能力,也需要AI人才,而这两类领域在其经验中并不重叠。
对求职者的启发是:这两类工作解决的问题不同。评测研究线关心“评测怎么设计、指标怎么定、结论是否站得住”;安全工程线关心“评测系统、密钥、权限、数据本身会不会被攻破”。前者产出评测方法与结论,后者产出防护与响应。准备方向不能互相替代,但可以互相理解。
我该按哪条线准备?先看自己已有的能力落在哪一侧
假设一个模拟场景:同一套评测基础设施,评测研究者会问“这批任务能否区分模型能力”,安全工程师会问“谁能调用它、key放在哪、认证失败时是放行还是拒绝”。两种提问方式对应两种简历叙事。
如果你已有模型评测、实验设计、数据标注治理的经历,主线更靠近评测研究;如果你做过渗透测试、权限体系、密钥管理或应急响应,主线更靠近安全工程。转岗者尤其要先确认目标岗位更靠近哪一侧,再补另一侧的基础认知,而不是两边都浅尝。
需要提醒的是,素材并未说明METR是否因此新增或调整安全类岗位,也没有给出两类岗位的编制比例。所以“评测机构都在扩招安全岗”这类判断,目前没有依据。
面试或投递前,怎么核实这家评测机构的岗位分工?
把下面几个问题带去面试或沟通,比默认岗位一定存在更稳妥:安全与评测是否分设团队?谁负责评测基础设施的防护?认证失效这类问题由谁响应?评测结论发布前是否有人复核系统权限?
这些问题来自事件本身暴露的细节:认证失效与key泄露,说明评测基础设施防护是独立于评测设计的工作。你可以先挑一家目标机构,把它的岗位描述逐条对照上面两条线,标出自己已有证据的部分和需要补的部分,再决定投哪一侧。








