Kimi K3能在Mac本地运行了,但普通用户仍跑不起
BiRun 讯,开源 AI 工具公司 Unsloth 发布 Kimi K3 的 1-bit GGUF 版本,把模型从 1.56TB 压到 594GB。用户可以通过 Unsloth Studio 或 llama.cpp 在 Mac 本地运行。
但这个版本至少需要约 610GB 内存。按官方方案,顶配 512GB Mac Studio 还要搭配一台 128GB 内存设备。内存不够也能借助硬盘勉强加载,但速度会大幅下降。
社区还有 350GB 和 451GB 的 MLX 裁剪版,可以装进单台 512GB Mac Studio。但它们删除了 73% 至 80% 的专家,实测速度约 0.14 至 0.20 token/s,能力也明显下降。
Unsloth
但这个版本至少需要约 610GB 内存。按官方方案,顶配 512GB Mac Studio 还要搭配一台 128GB 内存设备。内存不够也能借助硬盘勉强加载,但速度会大幅下降。
社区还有 350GB 和 451GB 的 MLX 裁剪版,可以装进单台 512GB Mac Studio。但它们删除了 73% 至 80% 的专家,实测速度约 0.14 至 0.20 token/s,能力也明显下降。
Unsloth
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯