01
©2026 超级简历WonderCV wondercv.com | 
京ICP备17055181号
职位题库
AI Infra 工程师面试题库
面向AI Infra 工程师相关面试，围绕分布式训练、张量并行、上下文并行、长序列、注意力机制等主题展开练习，结合题目考察点、回答思路、参考答案和常见误区，梳理知识要点并练习清晰表达。
全部题目 5 道题
02
为什么分布式训练需要 All-Reduce、Reduce-Scatter、All-Gather？给定张量形状如何估算通信字节数？通信量与 Batch、Seq Len、Hidden 的关系是什么？如何判断是否 Communication Bound？
考察候选人对集合通信原语的理解、通信量估算能力以及性能瓶颈判断。03
数据并行（DP）与张量并行（TP）有什么区别？什么时候选择加 DP 而不是 TP？DP 是否复制完整模型？能否提升吞吐、降低单请求延迟？单卡放不下模型时怎么办？Serving DP 与训练 DP 有何差异？
考察候选人对数据并行与张量并行的适用场景、资源复制方式以及训练与推理差异的理解。04
流水线并行（PP）如何切分模型？为什么实现复杂？Stage 划分、Micro-Batch、Bubble 成因与优化、Stage 不均衡如何处理？为何增加 Latency？你亲手实现过吗？
考察候选人对流水线并行的原理、实现难点、气泡优化以及实际经验的掌握。05