职位题库

大模型算法工程师面试题库

面向大模型算法工程师相关面试,围绕强化学习、GRPO、Transformer、SFT、注意力机制等主题展开练习,结合题目考察点、回答思路、参考答案和常见误区,梳理知识要点并练习清晰表达。

137 道题目建议用时 411 分钟专项面试练习

全部题目 137 道题

121

请说明Transformer的基础原理、时间复杂度如何计算,以及常用优化思路。

考察对Transformer核心机制的掌握程度,以及从复杂度角度理解模型优化方向的能力。
122

除MHA、MQA、GQA外,你还了解哪些注意力变体?DeepSeek和Qwen采用的注意力方案有什么特点?

考察候选人对注意力机制前沿进展的跟踪深度,以及能否结合具体模型分析设计取舍。
123

请说明FFN模块的内部结构,以及有哪些可替代的设计。

考察对Transformer中FFN作用与结构细节的理解,以及是否了解门控、稀疏化等替代设计。
124

SFT的指令数据从哪里来、怎么清洗和配比?如何控制过拟合并评估效果?

考察候选人对SFT数据链路的实操理解,包括来源、清洗、配比、过拟合控制与评估。
125

请描述一次完整的RL实验:奖励模型怎么构建,训练中如何发现奖励作弊或输出退化?

考察候选人对RL训练闭环的掌握,包括奖励设计、偏好数据、异常监控与结果分析。
126

训练之后如何判断模型真的变好了?请说明你的评估体系。

考察候选人对评估体系的重视程度,能否把指标、评测集与人工评估组织成方法论。
127

请介绍你项目对应的业务场景,并说明基座模型大小、部署位置、数据规模与算力资源

考察候选人能否清晰描述项目背景与工程约束,判断其对模型规模、部署形态、数据与算力之间权衡的理解。
128

SFT训练时并行参数如何配置,训练过程中遇到过哪些问题

考察候选人对数据并行、张量并行、流水并行、序列并行等策略的实际配置能力,以及训练稳定性问题的定位与解决经验。
129

解释packing技术的作用,以及它解决了什么问题

考察候选人对变长序列训练效率问题的理解,以及packing带来的收益与风险。
130

请介绍你项目对应的业务场景,并说明基座模型大小、部署位置、数据规模与算力资源。

考察候选人能否清晰描述项目背景与资源约束,判断其对大模型训练全链路的理解深度和工程落地能力。
131

SFT训练时并行参数如何配置?训练过程中遇到过哪些问题,如何解决?

考察候选人对分布式训练并行策略的实际掌握程度,以及定位和解决训练问题的工程能力。
132

解释packing技术的作用,以及它在训练中的收益与风险。

考察候选人对训练数据组织方式的理解,以及能否权衡效率与正确性。
返回面试题库