职位题库

大模型算法工程师面试题库

面向大模型算法工程师相关面试,围绕强化学习、GRPO、Transformer、PPO、SFT等主题展开练习,结合题目考察点、回答思路、参考答案和常见误区,梳理知识要点并练习清晰表达。

157 道题目建议用时 471 分钟专项面试练习

全部题目 157 道题

145

混合精度训练为什么需要 loss scaling?梯度检查点省的是什么、代价是什么?ZeRO 的 1/2/3 阶段分别切了什么?

考察训练工程中的显存与数值稳定性权衡,以及分布式并行策略的切分对象。
146

请完整讲一遍 GRPO 的训练流程,并说明组内归一化 advantage 的前提和失效场景。

考察对 GRPO 从流程到原理的掌握深度,重点看能否从“组内归一化”讲到可比性前提,而不是背结论。
147

GRPO 的组大小 G 取多少?往小取和往大取分别付出什么代价?

考察参数选择背后的权衡,能否说清 G 对 advantage 分辨率和采样成本的影响。
148

规则 reward 和 reward model 怎么选?两者同时使用时如何加权,可能带来什么后果?

考察 reward 工程能力,包括信号选择、加权设计和对抗 reward hacking 的意识。
149

训练中出现过 Reward Hacking 吗?是什么形式,你怎么发现和处理的?

考察对 reward hacking 的实战识别能力,能否说出具体形式、发现信号和处置动作。
150

业务规则应该写进 prompt 还是写进 reward?写进 reward 会有什么后果?

考察规则落地方式的取舍,能否分析写进 reward 的收益与副作用。
151

模型内化的核心设计目标是什么?除了省 token,相比纯检索、纯长上下文还有什么增益?

考察候选人对内化路线本质价值的理解,是否能跳出省 token 这一表层收益,从能力形态、推理链路、延迟与稳定性等维度论证设计目标。
152

prefix cache 在这个场景能复用到什么程度?KV 显存怎么控制?

考察候选人对推理引擎细节的真实掌握,区分“用过 vLLM”和“知道参数为什么存在”,重点看前缀复用条件与显存约束的权衡。
153

你简历里写“负责 Agent 推理链路优化”,请把这条链路拆成环节,并说明各环节耗时、P99 以及 40% 优化的分母口径。

验证简历中“推理链路优化”是否真实由本人负责,考察候选人能否把模糊表述拆成可观测环节、指标口径和优化归因。
154

给定头数 H、序列长度 N、隐藏维 D、层数 L,推导整体计算量;N=2048、D=4096 时瓶颈在哪?32K 上下文为什么不能只靠加卡?

考察候选人能否现场推导注意力与 FFN 的 FLOPs、判断临界点,并理解长上下文下显存增长快于算力的架构约束。
155

预训练 loss 突然起尖刺,你的排查顺序是什么?数据去重阈值怎么定?SFT 多轮对话 loss mask 漏了会怎样?

考察训练异常排查的系统性、数据去重阈值的统计依据,以及对 SFT loss mask 错误后果的理解。
156

GRPO 的 advantage 为什么能用组内均值,PPO 为什么不行?训 GRPO 时 loss 一直是 0 正常吗?DAPO 相比 GRPO 改了哪几处?

考察对 GRPO 组内基线、PPO critic 依赖、loss 恒为 0 的成因以及 DAPO 改进点的理解。
返回面试题库