苹果WWDC 2026,大家期待的M5 Ultra 芯片没有出现。身边想用本地AI的朋友都在讨论,倒是是选Nvidia显卡,还是继续等M5 Ultra。刷到一条视频正好解答了这个问题:就算不等新芯片,现在能买到的 Mac Studio,能在本地AI这件事上打过 Nvidia 旗舰显卡 RTX 5090 吗?
Youtube视频博主The Stack给的答案是肯定的,但不靠 Mac 跑得更快,是因为 Nvidia 显卡有个绕不过去的硬伤。结论有点反直觉,所以背后的逻辑,值得仔细拆开讲讲。
先说关键词:不是算力,是内存。在自己机器上跑大语言模型,模型必须整个塞进芯片能快速访问的内存里,塞不下要么跑不起来,要么被迫溢出到系统内存,速度断崖式下跌。所以判断一台机器能不能干这活,第一个问题从来不是"这颗芯片有多快",而是"这个模型装不装得下"。
RTX 5090 恰恰在这道题上撞了墙。这张卡配的是32GB GDDR7显存,硬顶,焊死在卡上,没有升级空间。视频里举了个例子:一个700亿参数的模型用Q4(把每个权重压缩到约4比特的量化方式,本地部署最常用的档位)跑,大概需要40GB才能装下——32GB的5090装不下,只能把部分层卸载到CPU,这时候地表最快的消费级GPU也会被拖得很慢。
苹果走的是另一条路,叫统一内存架构:CPU和GPU共用同一块高速内存池,GPU不再有独立的一小块显存,顶配Mac Studio能把一整块很大的内存池整个交给GPU装模型。视频里提到有人在Hacker News上晒出用一台Mac Studio日常跑一个2350亿参数视觉模型。

要在Nvidia那边实现同等规模,得上一整套多卡集群,成本轻松破3万美元;Mac这边只是桌上一台安静的小机箱。
不过视频也没回避Nvidia的强项:只要模型能塞进32GB这个框,5090在单token生成速度上碾压式领先,跑小模型能冲到每秒180多个token;两边都能覆盖的模型区间里,5090比Mac快三到四倍。原因是内存带宽——芯片来回搬运数据的速度。5090带宽约1800GB/s,视频对比的是M4 Max版Mac Studio,约550GB/s,差了三倍多。

所以结论很直接:实时语音、高并发这类对延迟极敏感的场景,直接上Nvidia。但陷阱在"只要模型装得下"这个前提——大部分真正有意思的大模型,恰恰装不进32GB。Apple不是靠更快赢的,是靠"这屋子里只有它还能把模型跑起来"赢的。
长期持有成本上,差距不是领先一点,是完全不同量级。跑中等模型的Mac mini功耗大概是同等RTX塔式机的十分之一,社区跑分反复印证:40瓦的Mac mini能打平功耗堪比小型电暖器的双GPU主机。拉到三年周期,视频引用的一份成本核算显示,高配M5 Max MacBook Pro算上更低功耗和更保值的二手价,实际持有成本约2000美元;对应的RTX 5090整机接近4500美元。GPU价格随供需波动大,这个数字更像某个时间点的快照。

早些年吐槽Mac跑本地AI的共识是软件生态跟不上,CUDA几乎等于整个生态,苹果长期是局外人。这一点在过去一年多真的变了,也是这条对比现在才成立的原因。核心是苹果自己的MLX机器学习框架,专为统一内存架构设计,现在是Mac上跑模型最快的路径。140亿参数以下的模型,MLX比老牌的llama.cpp后端快出不少;270亿参数以上两者收窄接近,因为瓶颈又回到了内存带宽本身。
标志性的转折点是,本地部署最常用的一键工具Ollama在2026年3月正式把Mac后端切换成了MLX,符合条件的机器解码速度接近翻倍,某个混合专家架构(MoE,只激活部分参数参与计算的模型结构,天然更省带宽)的编程模型提速接近三倍。

不过这次提速只惠及32GB内存及以上的Mac,8GB、16GB配置走的还是老路径;不想碰命令行的话,配合LM Studio这类图形界面工具也能拿到同样收益。
视频也很坦诚地列了几条硬伤。训练目前还是Nvidia的地盘——超出小规模微调,整条工具链包括FSDP(把单个模型拆分到多张GPU上分布式训练的标准方法)都是围着CUDA设计的。图像生成也是Apple的短板,像Stable Diffusion 3.5这类扩散模型更依赖原始算力而非内存容量,实测M5 Max比5090慢了约五倍。苹果高端还有个结构性问题:Ultra系列芯片总是比自家最新芯片慢一到两代。视频提到有人用四台Ultra机器组集群、通过雷雳接口跑起了6710亿参数的DeepSeek V3(一款开源大模型),技术上可行,但买的是落后自家最新一代的芯片。

至顶AI实验室洞见
如果你考虑购买,我的建议是:
如果你是独立开发者,做代码辅助、检索增强或agent工作流,模型规模通常在70亿到700亿参数区间,Apple Silicon更合适,性价比最高的是48GB内存的Mac mini M4 Pro,约1800美元,安静省电。需要日常跑千亿参数级大模型,Ultra版Mac Studio是唯一说得过去的单机方案,只是要接受它落后自家最新芯片一两代。
反过来,大规模微调训练、图像生成,或需要在32GB以内追求极致吞吐延迟,那还是老实上Nvidia。
这条视频给我最大的启发,是把"更快"和"更能用"拆开看了。本地AI现在被卡住的是内存能塞下多大的模型,不是芯片算得多快。这个瓶颈还在,容量就比速度更值钱。对预算有限、只想安静跑个大模型的个人开发者来说,这个视角比单纯比拼跑分实用得多。
好文章,需要你的鼓励
多家企业通过Decagon的AI客服平台实现了显著成效:一家财富50强企业在三周内完成了九个月未竟的工作;一家航空公司从启动到全面上线仅用三周;一家音乐流媒体平台六个工作日即投入生产,AI处理率达71%。Decagon以"玻璃盒"而非"黑盒"理念构建,通过AOPs和Duet工具赋能企业运营者自主部署和迭代AI客服,真正将客户关系的主导权还给企业本身。
东南大学等机构联合推出Embodied.cpp,一个面向机器人AI的C++统一推理运行时,首次同时支持VLA和WAM两类模型的边缘部署与闭环控制。
2026年第二季度,AI硬件、量子计算及芯片制造领域融资持续火热。边缘AI芯片时隔多年重获投资者青睐,量子计算领域有21家公司完成融资,其中6家超亿美元。本季度共18家企业融资超1亿美元,涵盖SiFive(4亿美元)、Etched(5亿美元)、Nearfield Instruments(3.8亿美元)等重磅融资,日本Rapidus获政府补贴约9.43亿美元,80家企业合计融资逾60亿美元。
这项多校联合研究系统评测了多探针网格近似最近邻搜索算法,发现其在高维数据上的性能退化明显弱于主流方法,且建索引速度快约百倍,在高频重建场景下具有竞争力。