京东网站建设费用,做不一样的网站,网站推广的一般方式,wordpress淘宝优惠券【背景】
考虑数据安全#xff0c;又想用AI赋能企业内部的日常工作#xff0c;答案只有一个#xff0c;本地部署。 UI采用open-web-ui#xff0c;模型用Ollama管理#xff0c;在局域网做成SAAS服务。要组一个服务器#xff0c;提供部门内部最多30个的API并发。以下为反复…【背景】
考虑数据安全又想用AI赋能企业内部的日常工作答案只有一个本地部署。 UI采用open-web-ui模型用Ollama管理在局域网做成SAAS服务。要组一个服务器提供部门内部最多30个的API并发。以下为反复比对后得到的配置。 注意之所以是最低配置纯粹因为公司申请花钱麻烦所以有条件的话当然直接双GPUA100走起320GDDR4走起。 穷人只能花小钱办大事。 模型都是text generation不涉及图片和视频生成。 每个单品硬件控制在5000元以下。
【具体配置】
英特尔(Intel) i9-14900K 金士顿KingstonFURY 128GB(32G×4)套装 DDR5 6000 台式机内存条 技嘉GIGABYTE风魔 GeForce RTX 4070显卡 技嘉Z790M AORUS ELITE/小雕/耐久主板 技嘉GIGABYTEC102G全景式 机箱熏黑钢化玻璃侧透兼容360/240水冷散热器 技嘉GIGABYTEAORUS 冰雕一体式CPU水冷散热器 西部数据WD M.2 NVME 2230 SSD固态硬盘
【注意事项】
一些基础的注意事项包括主板看是否支持14代CPU版型是ATX还是MATX等机箱需要匹配。 4070是穷人搞AI最有性价比的卡。 水冷必须一体式不然维护麻烦漏液风险大。 NVM读取速度快但要注意M2接口数量。 电源要看瓦数目前这个配置至少要750W以上。
【实际效果】
用过再补充希望能够足够跑服务。
