【閒聊】本機跑開源模型到底要買幾 G 顯卡才夠?16GB VRAM 感覺已經開始喘了
最近閒著沒事想把一些開源語言模型跟生圖工作流搬回本機跑,順便測一下離線速度。結果手邊這張 16GB VRAM 的顯卡跑量化版中模型勉勉強強,只要 Context 一拉長或想切大一點的參數,顯存直接爆掉開始吃系統記憶體,吐字速度慢到像在看樹懶打字。
現在如果想兼顧打 3A 遊戲跟本機玩 AI,是不是沒直上 24GB 以上根本沒救?還是乾脆買台大記憶體的迷你主機專門跑比較實在?
現在如果想兼顧打 3A 遊戲跟本機玩 AI,是不是沒直上 24GB 以上根本沒救?還是乾脆買台大記憶體的迷你主機專門跑比較實在?