145 混合精度训练为什么需要 loss scaling?梯度检查点省的是什么、代价是什么?ZeRO 的 1/2/3 阶段分别切了什么?考察训练工程中的显存与数值稳定性权衡,以及分布式并行策略的切分对象。 查看学习思路
146 请完整讲一遍 GRPO 的训练流程,并说明组内归一化 advantage 的前提和失效场景。考察对 GRPO 从流程到原理的掌握深度,重点看能否从“组内归一化”讲到可比性前提,而不是背结论。 查看学习思路
148 规则 reward 和 reward model 怎么选?两者同时使用时如何加权,可能带来什么后果?考察 reward 工程能力,包括信号选择、加权设计和对抗 reward hacking 的意识。 查看学习思路
151 模型内化的核心设计目标是什么?除了省 token,相比纯检索、纯长上下文还有什么增益?考察候选人对内化路线本质价值的理解,是否能跳出省 token 这一表层收益,从能力形态、推理链路、延迟与稳定性等维度论证设计目标。 查看学习思路
152 prefix cache 在这个场景能复用到什么程度?KV 显存怎么控制?考察候选人对推理引擎细节的真实掌握,区分“用过 vLLM”和“知道参数为什么存在”,重点看前缀复用条件与显存约束的权衡。 查看学习思路
153 你简历里写“负责 Agent 推理链路优化”,请把这条链路拆成环节,并说明各环节耗时、P99 以及 40% 优化的分母口径。验证简历中“推理链路优化”是否真实由本人负责,考察候选人能否把模糊表述拆成可观测环节、指标口径和优化归因。 查看学习思路
154 给定头数 H、序列长度 N、隐藏维 D、层数 L,推导整体计算量;N=2048、D=4096 时瓶颈在哪?32K 上下文为什么不能只靠加卡?考察候选人能否现场推导注意力与 FFN 的 FLOPs、判断临界点,并理解长上下文下显存增长快于算力的架构约束。 查看学习思路
155 预训练 loss 突然起尖刺,你的排查顺序是什么?数据去重阈值怎么定?SFT 多轮对话 loss mask 漏了会怎样?考察训练异常排查的系统性、数据去重阈值的统计依据,以及对 SFT loss mask 错误后果的理解。 查看学习思路
156 GRPO 的 advantage 为什么能用组内均值,PPO 为什么不行?训 GRPO 时 loss 一直是 0 正常吗?DAPO 相比 GRPO 改了哪几处?考察对 GRPO 组内基线、PPO critic 依赖、loss 恒为 0 的成因以及 DAPO 改进点的理解。 查看学习思路