Kimi K3能在Mac本地運行了,但普通用戶仍跑不起
BiRun 訊,開源 AI 工具公司 Unsloth 發布 Kimi K3 的 1-bit GGUF 版本,把模型從 1.56TB 壓到 594GB。用戶可以通過 Unsloth Studio 或 llama.cpp 在 Mac 本地運行。
但這個版本至少需要約 610GB 內存。按官方方案,頂配 512GB Mac Studio 還要搭配一台 128GB 內存設備。內存不夠也能借助硬盤勉強加載,但速度會大幅下降。
社區還有 350GB 和 451GB 的 MLX 裁剪版,可以裝進單台 512GB Mac Studio。但它們刪除了 73% 至 80% 的專家,實測速度約 0.14 至 0.20 token/s,能力也明顯下降。
Unsloth
但這個版本至少需要約 610GB 內存。按官方方案,頂配 512GB Mac Studio 還要搭配一台 128GB 內存設備。內存不夠也能借助硬盤勉強加載,但速度會大幅下降。
社區還有 350GB 和 451GB 的 MLX 裁剪版,可以裝進單台 512GB Mac Studio。但它們刪除了 73% 至 80% 的專家,實測速度約 0.14 至 0.20 token/s,能力也明顯下降。
Unsloth
評論
0/500
登彔 後參與討論
免責聲明:本文內容僅供參考,不構成任何投資建議。
更多快訊