M3 Ultra Mac Studio运行DeepSeek 671B模型与官网速
AI中文社区频道 · 3.6万人
M3 Ultra Mac Studio运行DeepSeek 671B模型与官网速率相当
综合各家测试结果，满血M3 Ultra运行 R1 671B 4bit量化版：GGUF框架下15.78 tokens/s，MLX框架下19.17 tokens/s，整机功耗约60w。在短序列生成场景中，其持续输出速率接近8张A100（FP16精度）集群的基准表现。
需特别注意：
关键指标差异：该对比未包含prefill阶段（提示词处理）速度，该环节Mac因内存带宽限制显著慢于GPU集群
精度差异：对比采用4bit量化模型，而A100常规使用16/32bit精度，同等精度下性能差距可能扩大
吞吐量限制：Mac……
📢 用 soos 打开这条帖子综合各家测试结果，满血M3 Ultra运行 R1 671B 4bit量化版：GGUF框架下15.78 tokens/s，MLX框架下19.17 tokens/s，整机功耗约60w。在短序列生成场景中，其持续输出速率接近8张A100（FP16精度）集群的基准表现。
需特别注意：
关键指标差异：该对比未包含prefill阶段（提示词处理）速度，该环节Mac因内存带宽限制显著慢于GPU集群
精度差异：对比采用4bit量化模型，而A100常规使用16/32bit精度，同等精度下性能差距可能扩大
吞吐量限制：Mac……
机器人会发你原帖链接，并推荐同类频道 · 直接打开：t.me/lpttech/812
这个频道的其他帖子
OpenAI今天发布的o3 视觉推理着实有点厉害，已经不是跨阅读 15.8万想并肩 DeepSeek 不能靠自嗨和邀请码阅读 13.4万Codeium & Windsurf 用来 PUA AI 的阅读 12.9万Clone Robotics 的世界首台可双足行走的肌肉骨骼阅读 10.1万Perplexity发布开源DeepSeek R1 1776阅读 8.3万
同类频道
📢 想让你的频道也排在这里？
投关键词广告 · 新客户首单 5 折 查价格 →
投关键词广告 · 新客户首单 5 折 查价格 →
🔍 想找更多全球华人频道和群？用soos搜搜机器人搜索，发关键词秒出结果，还能拉进群里用。