« KVarN » : différence entre les versions

Dernière version du 26 juillet 2026 à 10:37

Installation

# apt update && apt upgrade
# apt install python3-pip python3-venv python3-full
# cd /opt/
# git clone https://github.com/huawei-csl/KVarN.git
# cd KVarN
# python3 -m venv .venv
# source .venv/bin/activate
# python -m pip install -U pip setuptools wheel

Connaître les versions de nvcc installées :

# find /usr /opt -name nvcc 2>/dev/null

Exemple avec la version 13.3 :

# export CUDA_HOME=/usr/local/cuda-13.3
# export CUDACXX=/usr/local/cuda-13.3/bin/nvcc
# export PATH=$CUDA_HOME/bin:$PATH
# VLLM_USE_PRECOMPILED=0 pip install -e .

Tests en vrac

shawnw3i/Qwen3.6-27B-AWQ-MTP

# hf download shawnw3i/Qwen3.6-27B-AWQ-MTP --local-dir /opt/models/Qwen3.6-27B-AWQ-MTP

@@ Ligne 2 : / Ligne 2 : @@
 == Installation ==
+ # apt update && apt upgrade
+ # apt install python3-pip python3-venv python3-full
   # cd /opt/
   # git clone <nowiki>https://</nowiki>github.com/huawei-csl/KVarN.git
   # cd KVarN
-  # curl -LsSf <nowiki>https://</nowiki>astral.sh/uv/install.sh | sh
+  # python3 -m venv .venv
- # source "$HOME/.local/bin/env"
- # uv python install 3.12
- # uv venv --python 3.12 --seed .venv
   # source .venv/bin/activate
   # python -m pip install -U pip setuptools wheel
-  # VLLM_USE_PRECOMPILED=1 python -m pip install -e .
+Connaître les versions de nvcc installées :
+  # find /usr /opt -name nvcc 2>/dev/null
-Vérification :
+Exemple avec la version 13.3 :
-  # python --version
+  # export CUDA_HOME=/usr/local/cuda-<font color=blue>13.3</font>
-  # python -m pip --version
+ # export CUDACXX=/usr/local/cuda-<font color=blue>13.3</font>/bin/nvcc
-  # python -c "import vllm, vllm._C; print(vllm.__file__); print(vllm._C.__file__)"
+  # export PATH=$CUDA_HOME/bin:$PATH
+  # VLLM_USE_PRECOMPILED=0 pip install -e .
 == Tests en vrac ==
 === [https://huggingface.co/shawnw3i/Qwen3.6-27B-AWQ-MTP shawnw3i/Qwen3.6-27B-AWQ-MTP] ===
   # hf download shawnw3i/Qwen3.6-27B-AWQ-MTP --local-dir /opt/models/Qwen3.6-27B-AWQ-MTP