面试时怎么问出团队是真在本地跑模型,还是只调 API?
有开发者用同一台 M4 MacBook Pro(24GB)和同一个 3 bit 量化的 Qwen 3.8 27B 模型,让 9 个编程工具链跑 8 个 Exercism 练习。消息提到,pi 工具链的系统提示与工具 schema 合计 2,008 tokens,Opencode 为 18,046 tokens;在 32,000 token 预算下,前者还剩 94% 上下文,后者只剩 44%。这些数字来自个人环境,不能直接推断企业岗位日常,但它们提示了本地跑模型会碰到的具体工程约束。
面试时,与其问“你们用不用大模型”,不如问:模型实际跑在哪台机器、什么量化格式、由谁维护推理服务?系统提示和工具 schema 占多少 token?prefill 有没有实测数据?侧请求(比如生成会话标题)会不会和主推理抢资源?如果对方只能说出调用了哪家 API,本地部署就可能只是包装,值得继续追问。
如果团队真做本地推理,求职者该补哪些工程侧准备?
素材里另一个细节:24 个任务中 opencode 触发 33 次侧请求,crush 51 次,dsh 24 次,几乎每次都与 agent 轮次重叠。这说明工具链设计会直接影响推理资源占用。但要注意,这是特定硬件和模型下的测试,不能当作招聘要求或岗位职责的普遍描述。
如果你对这类方向感兴趣,可以提前了解量化与显存估算、推理框架的基本概念、上下文预算的取舍。不需要背模型榜单,但要能说清“为什么同一模型在不同工具链下表现不同”。面试时能就这些点提问,比只背参数更有区分度。这是给读者的准备建议,不是对新闻的补充报道。
选 offer 时,怎么判断本地模型方向是不是自己想要的?
把“本地跑模型”拆成具体工作内容:是调优工具链、管上下文预算,还是只做 API 封装?如果岗位描述里只有“熟悉大模型”,没有推理框架、量化、显存、上下文管理这些词,值得在面试中确认实际职责。素材中的实测结果来自个人环境,不能推断企业生产环境是否采用同类方案,也不能推断这个方向的市场需求或薪资。
可以问团队:你们现在模型跑在哪、上下文预算怎么定、有没有实测数据?如果对方含糊,可能是 API 封装,但别急着下结论,继续问具体例子。一个实际可做的小建议:下次面试前,挑一个你用过的工具链,试着估算它的系统提示和工具 schema 大概占多少 token,然后带着这个数字去问面试官。问得越具体,越容易分辨对方是真做过,还是只在跟风。








