职位题库

多模态评测工程师面试题库

面向多模态评测工程师相关面试,围绕Agent设计、多模态、Agent评测、多轮对话、上下文压缩等主题展开练习,结合题目考察点、回答思路、参考答案和常见误区,梳理知识要点并练习清晰表达。

5 道题目建议用时 15 分钟专项面试练习

全部题目 5 道题

01

请介绍一下你在多 scaffold 适配方面的具体做法,比如 A 和 Gemini 返回结构的区别,以及你对 system 提示词的处理方式。

考察候选人对不同模型/框架返回结构差异的理解,以及 system prompt 适配的工程能力。
02

你提到三阶段 Handoff 提升了 SWE-Bench 系列难题通过率约 25%+,单任务推理成本降低约 30%+,这些数据是怎么量化计算的?

考察候选人对评测指标量化方法的严谨性,以及能否清晰解释实验设计和统计口径。
03

请聊聊 rubric 评测,你是如何设计和使用 rubric 的?

考察候选人对 rubric 评测方法的理解,包括设计原则、应用场景和局限性。
04

为什么你不把工具计算的数字直接放到上下文中?你观测过这样做的效果吗?

考察候选人对 Agent 上下文管理的理解,特别是工具输出如何影响模型推理和成本。
05

为什么要做多轮对话(对多轮 Observation 进行摘要压缩和滑动窗口截断),有新的任务直接开一个新的 session 不行吗?

考察候选人对多轮对话上下文管理的设计权衡,以及是否理解 session 隔离与上下文延续的利弊。
返回面试题库