26 上下文并行为什么适配超长序列场景?序列切块后,跨卡如何完成完整的 Attention 计算?考察候选人对上下文并行的理解,特别是在超长序列下如何切分序列并完成跨卡 Attention 计算。 查看学习思路
29 张量并行中 All-Gather、Reduce-Scatter、All-Reduce 分别解决什么问题?如何根据 Tensor Shape 计算实际通信量?考察候选人对集合通信操作的理解及其在张量并行中的应用和通信量计算。 查看学习思路
31 蚂蚁从0出发需要走到x,每次可以向右走a或向左走b,不能走到负数,也不能走到被ban的位置,求最小步数。考察候选人将实际问题抽象为图搜索最短路径的能力,以及边界条件、状态空间和复杂度分析。 查看学习思路