面试聊模型选型时，怎么判断对方给的跑分能不能信？

消息提到，一位研究者称完成了针对 GLM 5.3、Sol 5.6 与 Astra 的完整 SlopCodeBench 跑分，Fable 5.1 结果稍后公布。与以往只跑小部分挑战不同，这次覆盖了完整基准的每一个场景。但作者自己列了注意事项：跑分历时约一周，因多家服务商中断而多次恢复；并认为更科学的做法是像其他基准那样多次评估、聚合分数。

这三点恰好是面试和团队选型里最该追问的地方。第一问覆盖范围：是全量场景还是抽样？抽样比例多少？第二问运行次数：单次还是多次聚合？如果只跑一次，波动有多大没人知道。第三问中断与恢复：中途换过服务商、重跑过部分场景吗？恢复后的结果和原始运行是否可比？这三问答不上来，跑分只能当线索，不能当依据。

跑分高几分，能说明它更适合你的项目吗？

作者称 Astra 得分比 gpt-5.5 高几分，但差距没有自己想象的大；同时惊讶 Sol 低于 gpt 5.5，因为个人体验上更喜欢用 Sol。这里有两个信号：一是“高几分”在缺少多次聚合的情况下，可能落在噪声范围内；二是个人体验与跑分排序不一致，说明两者测的可能不是同一件事。

放到选型里，可以这样追问：这个基准的场景和我的业务任务有多接近？是长链路迭代任务，还是单轮生成？总分之外，我关心的那类子任务表现如何？如果对方只给总分和排名，你可以要求看具体场景的分布，而不是接受一个平均值。

假设一个模拟场景：团队要选模型做代码审查助手，A 模型总分略高，但它在“多轮修改后仍保持上下文一致”这类场景上并没有单独数据。这时更稳妥的做法，是拿自己项目里的十到二十条真实任务做小规模对照，而不是直接按总分拍板。

个人使用偏好能不能写进选型理由？

可以写，但要标明性质。作者提到自己常用 Sol 的中低思考档位，并猜测新模型在高思考模式下可能更容易跑偏——这是个人偏好和猜测，不是验证结果。写进选型文档时，可以这样表述：“在[实际记录]类任务上，我倾向用某模型的中低思考档位，原因是响应更稳；这是使用偏好，尚未做对照实验。”

面试里被问到“你平时用哪个模型”，同样可以拆开答：偏好是什么、在什么任务和档位下形成、有没有和跑分结论冲突。冲突本身不是减分项，能说清冲突来源反而是加分项。

一个实际可做的小建议：下次看到跑分对比，先别记排名，写下三个待确认问题——覆盖哪些场景、跑了几次、中断恢复是否影响结果，再决定要不要把它写进你的选型理由。