软件测试经验能迁移到AI评测吗?
消息提到,腾讯混元联合清华大学、北京大学提出 WebCraftBench,用于评测AI网页生成:让智能体实际操作AI生成的网页,用代码覆盖率引导探索,再从美观度、易用性和需求符合度三个维度评分。对想转AI评测的测试人来说,这个例子值得细看——它把“怎么测”和“怎么评”放在了一起。
可迁移的部分比想象中多。测试设计里的等价类、边界值、场景组合,对应到评测就是用例集怎么覆盖不同输入;探索式测试的经验,对应到“用覆盖率引导探索”这种主动找盲区的策略;缺陷描述和分级,对应到多维度评分时把主观感受拆成可讨论的条目。
需要补的是对“输出不确定”的理解。传统测试大多有明确预期结果,AI评测常常要先定义什么叫“好”。比如同样是网页生成,美观度、易用性、需求符合度三个维度,每个维度怎么打分、谁来打分、分歧怎么处理,都是评测方案的一部分,而不是跑个工具就完事。
AI评测岗和传统测试岗,面试该问清什么区别?
两类岗位的日常差别,往往在面试里才能问清。建议重点确认三件事。
第一,评测对象是模型输出还是软件功能。前者要面对同一提示词多次结果不同,后者通常有稳定预期。第二,评分标准由谁定。是沿用现成基准,还是需要你参与设计维度、写评分说明。第三,是否需要写自动化脚本。WebCraftBench 用智能体操作网页、用覆盖率引导探索,说明评测执行本身可能带工程成分,但不同团队分工差别很大。
可以这样问:“这个岗位的评测结论主要给谁用?是模型迭代团队,还是产品决策?”答案不同,你花在写脚本和写分析报告上的时间比例会完全不同。
想转AI评测,现在该补哪类准备?
优先补评测方案设计,而不是只学跑分工具。可以拿一个你熟悉的场景做模拟练习:假设要评测某类AI生成结果,先写出三到五个评分维度,再为每个维度定义可观察的证据。比如“需求符合度”可以拆成关键信息是否齐全、是否偏离原始要求;“易用性”可以拆成操作路径是否顺畅、错误提示是否可理解。
然后练习探索式评测:不只看正常输入,也主动构造边界和异常场景,记录模型在哪些情况下表现不稳定。这比背某个基准的分数更能体现你的测试功底。
一个小建议:找一份你感兴趣的AI评测岗位描述,把里面的要求逐条对照自己的测试经历,标出“做过类似的事”“需要补”和“完全没接触”三类,再决定下一步补什么。这比笼统地问“测试能不能转”更有用。








