职位题库

推荐算法工程师面试题库

面向推荐算法工程师相关面试,围绕强化学习、生成式召回、DPO、SFT、GRPO等主题展开练习,结合题目考察点、回答思路、参考答案和常见误区,梳理知识要点并练习清晰表达。

37 道题目建议用时 111 分钟专项面试练习

全部题目 37 道题

25

GRPO、PPO和DPO分别是on-policy还是off-policy?请说明理由。

考察候选人对策略优化中数据来源与策略更新关系的理解,避免只记结论。
26

DAPO对GRPO做了哪些改进?

考察候选人对GRPO后续改进工作的了解,尤其是对训练稳定性、采样效率和奖励设计等问题的认识。
27

GSPO对GRPO做了哪些改进?

考察候选人对GRPO改进变体的了解,以及能否从优化目标、采样方式或稳定性角度分析差异。
28

请比较process reward和outcome reward的优缺点及适用场景。

考察候选人对两种奖励信号的理解,包括监督粒度、稀疏性、噪声和训练成本。
29

强化学习训练时reward上升但validation效果下降,有哪些解决思路?

考察候选人诊断训练与验证不一致问题的能力,包括奖励设计、过拟合、分布偏移和评估方式。
30

VeRL框架是同步还是异步的?其具体训练流程是什么?

考察候选人对VeRL框架架构和训练流程的了解,包括采样、奖励计算、策略更新和并行方式。
31

什么是RL的训推不一致问题?产生原因是什么?

考察候选人对大模型RL训练中训练引擎与推理引擎不一致问题的理解,包括数值精度、并行策略和模型版本。
32

你认为未来SFT阶段和RL阶段哪个更重要?

考察候选人对大模型训练范式的整体思考,包括SFT与RL的互补关系、各自瓶颈和未来趋势。
33

请解释DPO的损失函数公式及其推导逻辑。

考察候选人对DPO核心数学原理的理解,以及从RLHF到DPO的推导能力。
34

GRPO/PPO是on-policy还是off-policy?DPO呢?

考察候选人对强化学习基本概念的理解,以及能否准确判断不同算法的策略采样特性。
35

比较process reward和outcome reward的优缺点。

考察候选人对两种奖励信号的理解,包括定义、适用场景、优缺点及实现难点。
36

VeRL框架是同步还是异步的?具体训练流程是什么?

考察候选人对VeRL框架的熟悉程度,包括其同步/异步设计及训练流程。
返回面试题库