微网站开发需要多少费用,龙口网站制作价格,深圳seo网站建设,wordpress 粘贴图片文档导航
Mamba 及 Vim 安装问题参看本人之前博客#xff1a;Mamba 环境安装踩坑问题汇总及解决方法Linux 下Vmamba 安装教程参看本人之前博客#xff1a;Vmamba 安装教程#xff08;无需更改base环境中的cuda版本#xff09;Windows 下 VMamba的安装参看本人之前博客#xf…导航
Mamba 及 Vim 安装问题参看本人之前博客Mamba 环境安装踩坑问题汇总及解决方法Linux 下Vmamba 安装教程参看本人之前博客Vmamba 安装教程无需更改base环境中的cuda版本Windows 下 VMamba的安装参看本人之前博客Windows 下 VMamba 安装教程无需更改base环境中的cuda版本且可加速 目录 导航背景Windows 下环境准备Windows 下 mamba-ssm 的编译Windows 下 mamba-ssm 的编译出现的问题及解决202407141. 基本报错信息2. M_LOG2E is undefined3. error C2975: “kIsVariableC_”4. error C2975: “kNRows_” 背景
Mamba 官方代码链接为https://github.com/state-spaces/mamba在原来博客 “Mamba 环境安装踩坑问题汇总及解决方法” 基础上不绕过selective_scan_cuda进行 Mamba 环境安装这样可以获得和 Linux 一样的速度1。
安装问题 / 资源自取 / 论文合作想法请vx931744281
Windows 下环境准备
前期环境准备同原来博客 “Mamba 环境安装踩坑问题汇总及解决方法” 具体为
conda create -n mamba python3.10
conda activate mamba
conda install cudatoolkit11.8
pip install torch2.1.1 torchvision0.16.1 torchaudio2.1.1 --index-url https://download.pytorch.org/whl/cu118
pip install setuptools68.2.2
conda install nvidia/label/cuda-11.8.0::cuda-nvcc_win-64
conda install packaging
pip install triton-2.0.0-cp310-cp310-win_amd64.whl其中 triton-2.0.0-cp310-cp310-win_amd64.whl 获取参看原来博客 “Mamba 环境安装踩坑问题汇总及解决方法” 。
causal-conv1d 的安装同原来博客 “Mamba 环境安装踩坑问题汇总及解决方法” 具体细化为
git clone https://github.com/Dao-AILab/causal-conv1d.git
cd causal-conv1d
git checkout v1.1.1 # 安装最新版的话此步可省略
set CAUSAL_CONV1D_FORCE_BUILDTRUE
pip install .官方没有编译好的适用于Windows版本的 whl因此需要用上述步骤来手动编译。笔者编译好了 Windows 下的 causal_conv1d-1.1.1-cp310-cp310-win_amd64.whl亦可直接下载安装。
pip install causal_conv1d-1.1.1-cp310-cp310-win_amd64.whlmamba-ssm 环境准备下载工程文件即
git clone https://github.com/state-spaces/mamba.git
cd mamba
git checkout v1.1.1 # 安装最新版的话此步可省略注意上述过程中新版 mamba-ssm 需要搭配新版 causal-conv1d要不然函数不兼容。完成前期工作后进入下一步正式编译。
Windows 下 mamba-ssm 的编译
在mamba源码 setup.py 修改第41行配置
FORCE_BUILD os.getenv(MAMBA_FORCE_BUILD, TRUE) TRUE将 csrc/selective_scan/selective_scan_fwd_kernel.cuh 的 void selective_scan_fwd_launch 函数改为
void selective_scan_fwd_launch(SSMParamsBase params, cudaStream_t stream) {// Only kNRows 1 is tested for now, which ofc doesnt differ from previously when we had each block// processing 1 row.static constexpr int kNRows 1;BOOL_SWITCH(params.seqlen % (kNThreads * kNItems) 0, kIsEvenLen, [] {BOOL_SWITCH(params.is_variable_B, kIsVariableB, [] {BOOL_SWITCH(params.is_variable_C, kIsVariableC, [] {BOOL_SWITCH(params.z_ptr ! nullptr , kHasZ, [] {using Ktraits Selective_Scan_fwd_kernel_traitskNThreads, kNItems, kNRows, kIsEvenLen, kIsVariableB, kIsVariableC, kHasZ, input_t, weight_t;// constexpr int kSmemSize Ktraits::kSmemSize;static constexpr int kSmemSize Ktraits::kSmemSize kNRows * MAX_DSTATE * sizeof(typename Ktraits::scan_t);// printf(smem_size %d\n, kSmemSize);dim3 grid(params.batch, params.dim / kNRows);auto kernel selective_scan_fwd_kernelKtraits;if (kSmemSize 48 * 1024) {C10_CUDA_CHECK(cudaFuncSetAttribute(kernel, cudaFuncAttributeMaxDynamicSharedMemorySize, kSmemSize));}kernelgrid, Ktraits::kNThreads, kSmemSize, stream(params);C10_CUDA_KERNEL_LAUNCH_CHECK();});});});});
}将csrc/selective_scan/static_switch.h 的 BOOL_SWITCH 函数改为
#define BOOL_SWITCH(COND, CONST_NAME, ...) \[] { \if (COND) { \static constexpr bool CONST_NAME true; \return __VA_ARGS__(); \} else { \static constexpr bool CONST_NAME false; \return __VA_ARGS__(); \} \}()这两步是将 constexpr 改为 static constexpr
在 csrc/selective_scan/cus/selective_scan_bwd_kernel.cuh 和 csrc/selective_scan/cus/selective_scan_fwd_kernel.cuh 文件开头加入
#ifndef M_LOG2E
#define M_LOG2E 1.4426950408889634074
#endif完成上述修改后执行 pip install . 一般即可顺利编译成功安装。本人编译好的Windows 下的whl 也有mamba-ssm-1.1.3 可直接下载安装或联系本人vx自取。利用 whl 安装命令为
pip install mamba-ssm-1.1.3-cp310-cp310-win-amd64.whl由于此时没有绕过selective_scan_cuda在虚拟环境中产生了 selective-scan-cuda.cp310-win-amd64.pyd 文件所以运行速度较快。
Windows 下 mamba-ssm 的编译出现的问题及解决20240714
1. 基本报错信息
如果不进行修改利用 pip install . 直接编译源码时会出现如下报错
subprocess.CalledProcessError: Command [ninja, -v] returned non-zero exit status 1.The above exception was the direct cause of the following exception:Traceback (most recent call last):File /data/xxx/anaconda3/envs/xxx/lib/python3.10/site-packages/torch/utils/cpp_extension.py, line 2116, in _run_ninja_buildraise RuntimeError(message) from eRuntimeError: Error compiling objects for extension[end of output]这是最基本的报错信息只要编译出错就会输出这些如果在其上面没有看到具体报错可在 setup.py 里面将
cmdclass{bdist_wheel: CachedWheelsCommand, build_ext: BuildExtension}改为
cmdclass{bdist_wheel: CachedWheelsCommand, build_ext: BuildExtension.with_options(use_ninjaFalse)}pytorch默认使用ninjia作为backend2禁用掉可以看到具体的报错但是编译速度实测会变慢所以解决bug后可以改回来。
注有的博客将 anaconda环境下的 lib/python3.6/site-packages/torch/utils/cpp_extension.py文件里的[‘ninja’,‘-v’]改成[‘ninja’,‘–v’] 或者[‘ninja’,‘–version’] 是错误的做法治标不治本。
2. “M_LOG2E” is undefined
在Windows下会出现如下大量报错 xxx\mamba-1.1.3\csrc\selective_scan\selective_scan_bwd_kernel.cuh(221): error: identifier M_LOG2E is undefined出现这种情况的原因可参考 issue Note for the owners: The reason for needing #define is stated here: https://stackoverflow.com/a/56974843: “On windows it is using the Microsoft compiler for that. So the Microsoft compiler is correct to disallow VLA, and there is no way to avoid this AFAIK. Your code works on linux, because on linux nvcc uses the g host compiler, and it allows (in a non-standard-compliant way) the use of a VLA in C host code.” 因此只需在csrc/selective_scan/cus/selective_scan_bwd_kernel.cuh 和 csrc/selective_scan/cus/selective_scan_fwd_kernel.cuh 文件加入以下代码即可
#ifndef M_LOG2E
#define M_LOG2E 1.4426950408889634074
#endif3. error C2975: “kIsVariableC_”
在Windows下会出现如下大量报错
error C2975: “kIsVariableC_”:“Selective_Scan_bwd_kernel_traits”的模板参数无效应为编译时常量表达式将csrc/selective_scan/static_switch.h 函数里的 constexpr 改为 static constexpr参考 issue。具体步骤参看前一节。
4. error C2975: “kNRows_”
在Windows下会出现如下大量报错
xxx\mamba-1.1.3\csrc\selective_scan\selective_scan_fwd_kernel.cuh(314): error C2975: “kNRows_”:“Selective_Scan_fwd_kernel_traits”的模板参数无效应为编译时常量表达式将csrc/selective_scan/selective_scan_fwd_kernel.cuh 函数 void selective_scan_fwd_launch 里的 constexpr 改为 static constexpr参考 issue。具体步骤参看前一节。 Windows Support #12 ↩︎ 出现错误“subprocess.CalledProcessError: Command ‘[‘ninja‘, ‘-v‘]‘ returned non-zero exit status 1”解决方法 ↩︎
