面壁智能公开表示,看到 MiniCPM5-2B 在 RTX 3080 上流畅运行;其还称,在较旧 GPU 上实现高响应智能体,正是其追求的边缘性能方向。另有公开报道提到,9 月 8 日面壁智能联合 OpenBMB 开源社区开源该 2B(20 亿参数)端侧语言基础模型,并同步公开完整训练配方与配套数据集。对准备投端侧 AI 的人,这条动态不是让你背模型名,而是把“端侧”翻译成资源受限下的推理任务。

把“旧GPU跑小模型”拆成日常任务,看技能是否匹配

端侧 AI 的日常任务,通常包括模型压缩与量化、推理优化、内存与延迟权衡、端侧硬件适配,以及云边端协同。一条端侧研发岗位的招聘样例提到,基于端侧设备完成推理模型应用开发、支持不同框架的算法模型、做云边端协同系统开发;另一条边端侧算法岗位样例也提到轻量化模型设计与模型推理服务。注意,这只是岗位样例,不能当成全行业门槛,也不能据此说现在仍在招。你可以对照自己:做过推理加速或部署吗?愿意补量化、算子和硬件适配吗?如果经验偏训练或纯算法,补课成本要提前算。两类方向取舍不同:偏研究,关注模型结构、压缩方法和训练配方;偏工程,关注框架支持、上线稳定性与功耗约束。MiniCPM5-2B 公开训练配方与数据集,让研究侧信息更透明;但工程侧仍要看你在真实约束下调优的经验。

面试问清硬件、延迟与交付,而不是只听“端侧”

面试时别只听概念,可以问:当前优化目标是什么硬件?团队说的“较旧 GPU”指哪一档?高响应是首 token 延迟,还是端到端时延?内存、功耗与精度如何取舍?模型是自研还是集成?上线场景是手机、车机还是边缘服务器?这些问题能帮你判断岗位偏研究、偏工程还是偏产品落地。结合素材里的“RTX 3080”和“高响应智能体”,你还可以追问:流畅运行是在什么量化精度、batch size、上下文长度下测得的?如果对方答不出约束,岗位可能还在探索期。模拟面试中,面试官不一定会问这些,但你可以主动准备。注意,岗位样例不能替你判断团队是否招人或扩编。真正值得确认的是:这个岗位过去半年交付过什么端侧功能,优化目标由谁定义,失败时怎么归因。

转端侧AI:先补约束下的取舍,再决定放弃什么

端侧方向常需要推理优化、量化、硬件适配等基础。如果当前项目接触不到真实端侧约束,优先找能碰到延迟、内存、功耗指标的机会,而不是只刷模型榜单。先放弃“端侧等于小模型”的简化理解:2B 模型能在 RTX 3080 上运行,不等于所有场景都能流畅落地,也不等于岗位需求会增长。公开报道能提供的是模型规格、开源状态和公开训练配方的说法;可商用条款、团队是否招聘,仍要看官方说明或具体岗位。你还可以在面试中问:团队如何定义“高响应”,失败案例是什么,端侧版本和云端版本如何分工。最后给一个实际可做的小建议:挑一个你手头的模型,在目标硬件上记录延迟、内存和首 token 时延,带着这组数字去和面试官聊。这比背“端侧 AI”四个字更能帮你判断方向是否适合自己。