佛山制作网站,wordpress采集mp4,数据可视化网站,帝国cms做网站一、安装CudaToolkit 使用控制台命令查看当前显卡驱动中的cuda版本 nvidia-smi 二、下载CudaToolkit 注意#xff1a;CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址#xff1a;CUDA Toolkit Archive | NVIDIA Developer 下载好之后#xff0c;一路下一步CudaToolkit版本要低于上面的显卡Cuda版本。 Cuda各版本下载地址CUDA Toolkit Archive | NVIDIA Developer 下载好之后一路下一步一直默认即可。 如果安装到了自定义的位置记得加环境变量。这里我安装到了D盘下面是我添加的环境变量。 三、验证是否安装成功 nvcc --version 安装成功如下图 四、设置Ollama环境变量 Ollama安装好后为了让推理跑在GPU上可以按照如下步骤 设置环境变量 在“系统变量”中点击“新建”按钮。 添加以下环境变量 变量名OLLAMA_GPU_LAYER 变量值cuda 如果需要指定特定的 GPU可以添加以下环境变量 变量名CUDA_VISIBLE_DEVICES 变量值GPU的UUID(按编号有时找不到所以使用UUID) 在控制台输入nvidia-smi -L即可查看GPU的UUID 五、查看ollama是否使用了gpu 通过观察PROCESSOR就能看到大模型是用的cpu还是gpu还是混合的。 ollama ps 经验证8G的显卡跑8b的模型可以100%用GPU,非常流畅。跑14b的cpu和gpu基本4/6开可以观察SIZE模型运行需要的大小。
