« KVarN » : différence entre les versions
De Le Wiki de Lug
Autres actions
| (10 versions intermédiaires par le même utilisateur non affichées) | |||
| Ligne 2 : | Ligne 2 : | ||
== Installation == | == Installation == | ||
# apt update && apt upgrade | |||
# apt install python3-pip python3-venv python3-full | |||
# cd /opt/ | # cd /opt/ | ||
# git clone <nowiki>https://</nowiki>github.com/huawei-csl/KVarN.git | # git clone <nowiki>https://</nowiki>github.com/huawei-csl/KVarN.git | ||
# cd KVarN | # cd KVarN | ||
# | # python3 -m venv .venv | ||
# source .venv/bin/activate | # source .venv/bin/activate | ||
# python -m pip install -U pip setuptools wheel | # python -m pip install -U pip setuptools wheel | ||
# | Connaître les versions de nvcc installées : | ||
# find /usr /opt -name nvcc 2>/dev/null | |||
Exemple avec la version 13.3 : | |||
# | # export CUDA_HOME=/usr/local/cuda-<font color=blue>13.3</font> | ||
# | # export CUDACXX=/usr/local/cuda-<font color=blue>13.3</font>/bin/nvcc | ||
# | # export PATH=$CUDA_HOME/bin:$PATH | ||
# | # VLLM_USE_PRECOMPILED=0 pip install -e . | ||
== Tests en vrac == | == Tests en vrac == | ||
=== [https://huggingface.co/shawnw3i/Qwen3.6-27B-AWQ-MTP shawnw3i/Qwen3.6-27B-AWQ-MTP] === | === [https://huggingface.co/shawnw3i/Qwen3.6-27B-AWQ-MTP shawnw3i/Qwen3.6-27B-AWQ-MTP] === | ||
# hf download shawnw3i/Qwen3.6-27B-AWQ-MTP --local-dir /opt/models/Qwen3.6-27B-AWQ-MTP | # hf download shawnw3i/Qwen3.6-27B-AWQ-MTP --local-dir /opt/models/Qwen3.6-27B-AWQ-MTP | ||
Dernière version du 26 juillet 2026 à 10:37
Installation
# apt update && apt upgrade # apt install python3-pip python3-venv python3-full # cd /opt/ # git clone https://github.com/huawei-csl/KVarN.git # cd KVarN # python3 -m venv .venv # source .venv/bin/activate # python -m pip install -U pip setuptools wheel
Connaître les versions de nvcc installées :
# find /usr /opt -name nvcc 2>/dev/null
Exemple avec la version 13.3 :
# export CUDA_HOME=/usr/local/cuda-13.3 # export CUDACXX=/usr/local/cuda-13.3/bin/nvcc # export PATH=$CUDA_HOME/bin:$PATH # VLLM_USE_PRECOMPILED=0 pip install -e .
Tests en vrac
# hf download shawnw3i/Qwen3.6-27B-AWQ-MTP --local-dir /opt/models/Qwen3.6-27B-AWQ-MTP