职位题库

算子开发工程师面试题库

面向算子开发工程师相关面试,围绕性能分析、算子优化、SIMD、FlashAttention、访存优化等主题展开练习,结合题目考察点、回答思路、参考答案和常见误区,梳理知识要点并练习清晰表达。

10 道题目建议用时 30 分钟专项面试练习

全部题目 10 道题

01

你对 SIMD 是怎么理解的?

考察候选人对 SIMD 基本概念、工作原理及其在算子优化中价值的理解深度。
02

如果一个 SIMD 寄存器一次能算 32 个数,而这一批只需要计算 100 个数——占不满这个寄存器,你对尾部会怎么处理?

考察候选人对 SIMD 向量化中尾部数据处理的工程实践能力。
03

矩阵乘:A 是 128×128,B 也是 128×128,得到 C——需要经历多少次乘加?

考察候选人对矩阵乘法计算量的基本掌握,以及是否理解乘加次数的计算方式。
04

softmax 如何防溢出?

考察候选人对 softmax 数值稳定性的理解,以及在实际算子开发中处理溢出问题的能力。
05

你判断一个算子是计算瓶颈还是访存瓶颈,一般是怎么做的?

考察候选人性能分析的方法论,是否具备实际 profiling 和插装经验。
06

请选择一个最能代表你能力的项目,说明问题定位、稳定复现和修复验证的完整过程。

考察候选人能否把项目讲成可验证的排查闭环:问题定义、模型级到算子级定位、复现条件、关键证据与修复验证,而非只讲结论。
07

你平时怎样与 AI 协作完成开发任务?讨论、实施、审核如何分配,如何避免方案只记住几个输入?

考察候选人使用 AI 辅助开发时的流程设计、审核意识与边界覆盖能力,重点看能否识别“特判式修复”并建立验证闭环。
08

FlashInfer 相关通信卡死问题:请完整说明状态初始化、更新、读取与比较的流程,以及修复前后差异。

考察候选人能否把并发通信问题讲成完整的状态机流程,解释短跑偶现、长跑更易出现的原因,以及位宽与比较方式各自解决什么问题。
09

国产 GPU 算子适配中,你如何区分库调用适配、融合算子实现和底层 kernel 开发?长跑崩溃如何定位?

考察候选人对适配工作边界的准确认知,以及在崩溃位置不固定时,通过日志、注册信息与调用路径定位根因的能力。
10

请说明标准 Attention 的计算过程,以及 FlashAttention 如何通过 Tiling 和 Online Softmax 减少访存并完成全局 softmax。

考察候选人对 Attention 公式、内存层次、分块数据流和 Online Softmax 更新过程的理解,能否解释输入总量不变时减少的访存是什么。
返回面试题库