138 Agentic RL 和传统大模型 RL 的核心差异在哪?长时序任务下 Agent RL 训练为什么容易崩?考察候选人对 Agent 场景 RL 与单轮 RL 本质差异的理解,以及能否从 horizon、状态表示、off-policy 程度等底层机制解释训练崩溃,而非停留在 reward 稀疏等表层原因。 查看学习思路
139 PPO 和 GRPO 在信用分配上的核心区别是什么?没有 critic,GRPO 怎么估优势,组内归一化的前提又是什么?考察对 PPO 与 GRPO 机制差异的精确理解,尤其是 critic 在信用分配中的作用、GRPO 用组内相对奖励替代 value baseline 的假设与偏差来源。 查看学习思路
140 PPO 的 clip 和 KL 约束等价吗?各自什么时候用?clip 系数调大调小分别会发生什么?考察对 PPO 中两种策略约束机制的理解:clip 是比率截断,KL 是分布惩罚,二者作用对象和失效模式不同,并考察对超参敏感性的直觉。 查看学习思路
141 Reward Hacking 在 Agent 场景为什么比单轮更严重?你会用哪些具体信号检测它?考察对 Agent 场景奖励漏洞的理解,以及能否给出可观测的检测信号而非泛泛而谈,同时考察工程经验中的真实案例意识。 查看学习思路
143 请用一句话说清你核心优化方案具体改了什么,并说明它对应哪个指标、涨了多少,以及你如何把增长归因到自己的改动、排除了同期其他上线的干扰。考察候选人能否把项目讲成可验证的因果链,而不是罗列工作内容;重点看指标定义、归因方法和排除混杂因素的能力。 查看学习思路
144 给定头数 H、序列长度 N、嵌入维度 D、层数 L,推导 Transformer 的整体计算复杂度,并说明在长序列下哪一项先成为瓶颈、你会怎么改。考察能否从模块级推导出整体成本结构,并据此判断架构瓶颈,而不是背结论。 查看学习思路