想本地部署AI64G内存加5070TI以上显卡少不了
cv-Dior
2025-04-08 09:00
最近一段时间，以 DeepSeek 为代表的国产大模型，凭借开源生态和硬件适配性，催生了大量钟情本地部署的极客玩家，本地部署也就成了热门话题。本地部署的AI有着低延迟高安全低成本的优势，但对硬件要求是非常高的。比较重要的是CPU，GPU以及内存，大容量内存决定了本地 AI 模型的可选范围和运行效率,如果你内存不够大，卡死也是比较可能的。
最近由于出现了单条32G的条子，组64G也是比较方便的事了，海盗船也更新了最新的复仇者内存条，单条32G可以根据自己需求购买。价格是比较便宜的。另外我手上正好也有张微星的5070TI神龙显卡，显存也有个16G，正好也看看大容量内存以及大显存显卡对 AI 本地部署的加成有多大效果。
这次的海盗船复仇者是可以单条购买的，当然也有对条，根据你的需求选择，比如我可以选择四条或者就选2条，搭配比较方便。外包装还是一贯的黄色，说实话这个容量如果你不跑AI，干什么其实都够了。
内存造型依然是复仇者的传统电竞风，两边激光蚀刻的菱形纹理满布马甲表面，中间区域贴了块金属片，刻着“VENGEANCE”，也就是复仇者的英文。
这次的复仇者并没有带 RGB ，所以内存整体高度非常的矮，控制在 35mm 左右。有着更好的硬件兼容性，适合搭配空间紧张的 ITX 机箱或者一些小机箱。
看一下时序，38 - 44 - 44 - 96，工作电压 1.35V，由于容量比较大，所以频率和时序都比较保守，这也和这代的CPU有关，插满4条你只有低时序，但容量的重要性一直是大于时序的。
显卡就是微星的5070TI神龙了，造型我是非常的喜欢的，拥有暴风之怒旗舰机的散热模组，暴风7风扇也刻意增大了散热量。
这次还有波浪鳍片4.0，用于减少噪音，RGB采用了多区域光效，除了右边的MSI的龙标，风扇那里也是有RGB的。
当然，供电接口还是16pin的新接口。
IO接口就是传统的3DP+1HDMI了。
先看下内存颗粒，这次查询的颗粒为K4RAH086VD-BCQK,是三星的颗粒。
插上后进入系统确认识别到64G，频率为6000，这里可以看到系统就要用到6G左右的内存。
关于本机部署 ollama 有太多教程，我就省略了，如果不喜欢CMD可以上网搜一搜，有很多软件都可以使用，这里就不在赘述。根据本机的配置，测试我们使用的14，32，70B的蒸馏版，在往上真的又卡又带不动。
首先，先测一下70B，刚加载，问了一下丁真是谁，内存使用量就达到了37G，70B虽然是蒸馏板，也已经非常吃硬件了，当然如果你能把显卡换成5090D，那肯定是要好上不少的。
我使用了16G*2的内存也测试了一遍，刚加载，内存基本就吃满了，后面就开始一字一句的弹字，我也就没测试下去了，32G内存是肯定不行的。
32B的情况下则要好很多，内存也就使用了14个G，能支持一般的使用，但是回答问题的精准度就不那么高了，我问丁真是谁，它回答的半真半假，要不是网上能查我就信了。
使用32G内存在使用上也是没什么问题的，回答问题也差不多，就不多赘述了。
14B需求的内存更少，只需要8G左右，但回答问题很不精准，比如我让它帮我写入党申请书，写的就明显没有70B和32B那么的流畅。
14B对内存的要求不算高，32G其实也够用，但是你问他丁真是谁，它都说不知道要再去学习，也是非常的豹笑了。
说实话，如果你想组建本地的AI，硬件的要求会非常的高，70B以下的模型我觉得大部分是不能用的。5070TI，64G内存这种硬件基本要标配，我的5070TI在使用70B的情况下也是有一些卡顿的。70B以下的模型虽然流畅，但回答的精度不高，经常不知道它在说什么。那从测试结果来看，大容量内存显存对于 AI 应用最大的优势是提升了运行上限，另外由于四槽的兼容性不好，大容量内存也为了解决这个问题而生。另外在娱乐和生产力方面，大容量的内存也是很有必要的，比如剪辑视频。看来AI的风潮即将带来大批量的硬件更换。
关注官方微博 微博
关注官方微信
Copyright © 1996-2025 SINA Corporation, All Rights Reserved 新浪公司 版权所有
