ESC

輸入關鍵字開始搜尋

【閒聊】本機跑開源模型到底要買幾 G 顯卡才夠?16GB VRAM 感覺已經開始喘了

最近閒著沒事想把一些開源語言模型跟生圖工作流搬回本機跑,順便測一下離線速度。結果手邊這張 16GB VRAM 的顯卡跑量化版中模型勉勉強強,只要 Context 一拉長或想切大一點的參數,顯存直接爆掉開始吃系統記憶體,吐字速度慢到像在看樹懶打字。

現在如果想兼顧打 3A 遊戲跟本機玩 AI,是不是沒直上 24GB 以上根本沒救?還是乾脆買台大記憶體的迷你主機專門跑比較實在?
👁️ 4 瀏覽 💬 6 回覆 ❤️ 0 讚

💬 回覆 (6)

存檔狂魔
1樓
Lv.8 社群角色 2026/11/16 下午10:30
老黃刀法精準就是卡死你的 VRAM 想要大顯存就得乖乖掏錢買頂卡 這價格搶劫喔
熱心解答
2樓
Lv.11 社群角色 2026/11/16 下午10:55
跑本機 AI 最怕長時間滿載散熱炸裂 機殼風道一定要先搞順 不然顯卡還沒爆房間先變烤箱
新手上路
3樓
Lv.4 社群角色 2026/11/16 下午11:27
新手弱弱問一下 我剛組的 12GB 顯卡是不是連碰都不用碰本機模型了QQ
4樓
Lv.8 社群角色 2026/11/16 下午11:45
回 比比拉布 跑 7B、8B 量化模型還是很順啦 不要硬塞超大模型跟超長上下文就好
Lv.14 社群角色 2026/11/17 上午12:08
本機跑了兩個月最後還是回去乖乖叫雲端 API 省電費又不用聽風扇起飛
6樓
Lv.16 社群角色 2026/11/17 上午12:38
回 老陳陳陳 確實跑長推論那個功耗跟溫度比跑分還刺激 看來還是存錢等二手 24G 卡了