Llama-Factory - Historique des versions

Admin : /* Multi-GPU 2x12go */

2026-08-17T20:08:49Z

Multi-GPU 2x12go

← Version précédente		Version du 17 août 2026 à 20:08
Ligne 380 :		Ligne 380 :
	dataset: paradox_eu5		dataset: paradox_eu5
	template: hy_dense_7b		template: hy_dense_7b
	cutoff_len: ~~3072~~		cutoff_len: 2048
	overwrite_cache: false		overwrite_cache: false
	preprocessing_num_workers: 8		preprocessing_num_workers: 8
Ligne 414 :		Ligne 414 :
	\| icône = loupe		\| icône = loupe
	\| texte =		\| texte =
	Avec deux RTX 3060 12 Go, <code>cutoff_len: 4096</code> peut dépasser la VRAM disponible sur les exemples les plus longs. Une valeur de <code>~~3072~~</code> offre davantage de marge tout en conservant un contexte relativement important.		Avec deux RTX 3060 12 Go, <code>cutoff_len: 4096</code> peut dépasser la VRAM disponible sur les exemples les plus longs. Une valeur de <code>2048</code> offre davantage de marge tout en conservant un contexte relativement important.
	}}		}}
	{{Méta bandeau		{{Méta bandeau
Ligne 452 :		Ligne 452 :
	dataset: paradox_eu5		dataset: paradox_eu5
	template: hy_dense_7b		template: hy_dense_7b
	cutoff_len: ~~3072~~		cutoff_len: 2048
	overwrite_cache: false		overwrite_cache: false
	preprocessing_num_workers: 8		preprocessing_num_workers: 8

Admin : /* Multi-GPU 2x12go */

2026-08-17T19:56:53Z

Multi-GPU 2x12go

← Version précédente		Version du 17 août 2026 à 19:56
Ligne 393 :		Ligne 393 :
	per_device_train_batch_size: 1		per_device_train_batch_size: 1
	gradient_accumulation_steps: 4		gradient_accumulation_steps: 4
	learning_rate: 2.0e-4		learning_rate: 1.0e-4
	lr_scheduler_type: cosine_with_min_lr		lr_scheduler_type: cosine_with_min_lr
	lr_scheduler_kwargs:		lr_scheduler_kwargs:
Ligne 465 :		Ligne 465 :
	per_device_train_batch_size: 1		per_device_train_batch_size: 1
	gradient_accumulation_steps: 4		gradient_accumulation_steps: 4
	learning_rate: 2.0e-4		learning_rate: 1.0e-4
	lr_scheduler_type: cosine_with_min_lr		lr_scheduler_type: cosine_with_min_lr
	lr_scheduler_kwargs:		lr_scheduler_kwargs:
Ligne 484 :		Ligne 484 :
	Puis lancer avec :		Puis lancer avec :
	# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_7b_eu5_qlora_1epoch.yaml		# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_7b_eu5_qlora_1epoch.yaml

	==== LoRA standard (hy_mt2 1.8B) ====		==== LoRA standard (hy_mt2 1.8B) ====
	===== Multi-GPU 2x12 go =====		===== Multi-GPU 2x12 go =====

Admin : /* GPU 16go */

2026-08-17T19:56:30Z

GPU 16go

← Version précédente		Version du 17 août 2026 à 19:56
Ligne 271 :		Ligne 271 :
	per_device_train_batch_size: 1		per_device_train_batch_size: 1
	gradient_accumulation_steps: 8		gradient_accumulation_steps: 8
	learning_rate: 2.0e-4		learning_rate: 1.0e-4
	lr_scheduler_type: cosine_with_min_lr		lr_scheduler_type: cosine_with_min_lr
	lr_scheduler_kwargs:		lr_scheduler_kwargs:
Ligne 332 :		Ligne 332 :
	per_device_train_batch_size: 1		per_device_train_batch_size: 1
	gradient_accumulation_steps: 8		gradient_accumulation_steps: 8
	learning_rate: 2.0e-4		learning_rate: 1.0e-4
	lr_scheduler_type: cosine_with_min_lr		lr_scheduler_type: cosine_with_min_lr
	lr_scheduler_kwargs:		lr_scheduler_kwargs:

Admin : /* Multi-GPU 2x12 go */

2026-08-17T17:41:06Z

Multi-GPU 2x12 go

← Version précédente		Version du 17 août 2026 à 17:41
Ligne 607 :		Ligne 607 :
	ddp_timeout: 180000000		ddp_timeout: 180000000

	output_dir: ./saves/hy_mt2_1_8b/~~eu5_lora_3epoch~~		output_dir: ./saves/hy_mt2_1_8b/eu5_lora_2epoch
	overwrite_output_dir: true		overwrite_output_dir: true
	save_steps: 2000		save_steps: 2000

Admin : /* Multi-GPU 2x12 go */

2026-08-16T23:23:24Z

Multi-GPU 2x12 go

← Version précédente		Version du 16 août 2026 à 23:23
Ligne 518 :		Ligne 518 :
	dataset: paradox_eu5		dataset: paradox_eu5
	template: hy_dense_1_8b		template: hy_dense_1_8b
	cutoff_len: ~~4096~~		cutoff_len: 3072
	overwrite_cache: false		overwrite_cache: false
	preprocessing_num_workers: 8		preprocessing_num_workers: 8
Ligne 582 :		Ligne 582 :
	dataset: paradox_eu5		dataset: paradox_eu5
	template: hy_dense_1_8b		template: hy_dense_1_8b
	cutoff_len: ~~4096~~		cutoff_len: 3072
	overwrite_cache: false		overwrite_cache: false
	preprocessing_num_workers: 8		preprocessing_num_workers: 8

Admin : /* Multi-GPU 2x12 go */

2026-08-16T22:14:17Z

Multi-GPU 2x12 go

← Version précédente		Version du 16 août 2026 à 22:14
Ligne 562 :		Ligne 562 :
	Pour l'apprentissage complet (2 epochs) :		Pour l'apprentissage complet (2 epochs) :

	# vi ~~hy_mt2_1_8b_eu5_lora_3epoch~~.yaml		# vi hy_mt2_1_8b_eu5_lora_2epoch.yaml

	<pre>		<pre>
Ligne 615 :		Ligne 615 :
	Puis lancer avec :		Puis lancer avec :

	# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py ~~hy_mt2_1_8b_eu5_lora_3epoch~~.yaml		# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_1_8b_eu5_lora_2epoch.yaml

Admin : /* Multi-GPU 2x12 go */

2026-08-16T21:03:25Z

Multi-GPU 2x12 go

← Version précédente		Version du 16 août 2026 à 21:03
Ligne 560 :		Ligne 560 :
	}}		}}

	Pour l'apprentissage complet (3 epochs) :		Pour l'apprentissage complet (2 epochs) :

	# vi hy_mt2_1_8b_eu5_lora_3epoch.yaml		# vi hy_mt2_1_8b_eu5_lora_3epoch.yaml
Ligne 610 :		Ligne 610 :
	overwrite_output_dir: true		overwrite_output_dir: true
	save_steps: 2000		save_steps: 2000
	num_train_epochs: 3.0		num_train_epochs: 2.0
	</pre>		</pre>

Admin : /* Exemples */

2026-08-16T20:57:07Z

Exemples

@@ Ligne 100 : / Ligne 100 : @@
 === Interface Web ===
   # llamafactory-cli webui
 == Exemples ==
 === hy_mt2 ===

Admin : /* Multi-GPU 2x12go */

2026-08-16T20:54:30Z

Multi-GPU 2x12go

← Version précédente		Version du 16 août 2026 à 20:54
Ligne 400 :		Ligne 400 :
	# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_7b_eu5_qlora_1epoch.yaml		# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_7b_eu5_qlora_1epoch.yaml
	==== LoRA standard (hy_mt2 1.8B) ====		==== LoRA standard (hy_mt2 1.8B) ====
	===== Multi-GPU ~~2x12go~~ =====		===== Multi-GPU 2x12 go =====

	Le modèle <code>Hy-MT2-1.8B</code> ~~étant nettement plus petit que le 7B, on peut l'entraîner~~ en ~~LoRA standard~~ BF16 sans quantification 4-bit.		{{Méta bandeau
			\| niveau = information
			\| icône = loupe
			\| texte =
			Contrairement au <code>Hy-MT2-7B</code>, le modèle <code>Hy-MT2-1.8B</code> est suffisamment léger pour utiliser un entraînement LoRA classique en BF16 sans quantification 4-bit.
			}}

	On peut réutiliser le même dataset et les mêmes fichiers de support Tencent que pour le 7B.		On peut réutiliser le même dataset et les mêmes fichiers de support Tencent que pour le 7B.
Ligne 441 :		Ligne 446 :
	per_device_train_batch_size: 1		per_device_train_batch_size: 1
	gradient_accumulation_steps: 4		gradient_accumulation_steps: 4
	learning_rate: 2.0e-4		learning_rate: 1.0e-4
	lr_scheduler_type: cosine_with_min_lr		lr_scheduler_type: cosine_with_min_lr
	lr_scheduler_kwargs:		lr_scheduler_kwargs:
Ligne 447 :		Ligne 452 :
	warmup_ratio: 0.05		warmup_ratio: 0.05
	bf16: true		bf16: true
	gradient_checkpointing: ~~true~~		gradient_checkpointing: false
	gradient_checkpointing_kwargs:		gradient_checkpointing_kwargs:
	use_reentrant: true		use_reentrant: true
Ligne 470 :		Ligne 475 :
	}}		}}

	Pour l'apprentissage complet ~~sur un epoch~~ :		Pour l'apprentissage complet (3 epochs) :

	# vi ~~hy_mt2_1_8b_eu5_lora_1epoch~~.yaml		# vi hy_mt2_1_8b_eu5_lora_3epoch.yaml

	<pre>		<pre>
Ligne 505 :		Ligne 510 :
	per_device_train_batch_size: 1		per_device_train_batch_size: 1
	gradient_accumulation_steps: 4		gradient_accumulation_steps: 4
	learning_rate: 2.0e-4		learning_rate: 1.0e-4
	lr_scheduler_type: cosine_with_min_lr		lr_scheduler_type: cosine_with_min_lr
	lr_scheduler_kwargs:		lr_scheduler_kwargs:
Ligne 511 :		Ligne 516 :
	warmup_ratio: 0.05		warmup_ratio: 0.05
	bf16: true		bf16: true
	gradient_checkpointing: ~~true~~		gradient_checkpointing: false
	gradient_checkpointing_kwargs:		gradient_checkpointing_kwargs:
	use_reentrant: true		use_reentrant: true
Ligne 517 :		Ligne 522 :
	ddp_timeout: 180000000		ddp_timeout: 180000000

	output_dir: ./saves/hy_mt2_1_8b/~~eu5_lora_1epoch~~		output_dir: ./saves/hy_mt2_1_8b/eu5_lora_3epoch
	overwrite_output_dir: true		overwrite_output_dir: true
	save_steps: 2000		save_steps: 2000
	num_train_epochs: 1.0		num_train_epochs: 3.0
	</pre>		</pre>

	Puis lancer avec :		Puis lancer avec :

	# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py ~~hy_mt2_1_8b_eu5_lora_1epoch~~.yaml		# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_1_8b_eu5_lora_3epoch.yaml

Admin : /* QLoRA (hy_mt2 7B) */

2026-08-16T20:44:49Z

QLoRA (hy_mt2 7B)

← Version précédente		Version du 16 août 2026 à 20:44
Ligne 399 :		Ligne 399 :
	Puis lancer avec :		Puis lancer avec :
	# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_7b_eu5_qlora_1epoch.yaml		# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_7b_eu5_qlora_1epoch.yaml
			==== LoRA standard (hy_mt2 1.8B) ====
			===== Multi-GPU 2x12go =====

			Le modèle <code>Hy-MT2-1.8B</code> étant nettement plus petit que le 7B, on peut l'entraîner en LoRA standard BF16 sans quantification 4-bit.

			On peut réutiliser le même dataset et les mêmes fichiers de support Tencent que pour le 7B.

			Pour un test rapide :

			# vi hy_mt2_1_8b_eu5_lora_smoke.yaml

			<pre>
			### model
			model_name_or_path: tencent/Hy-MT2-1.8B
			trust_remote_code: true

			### method
			stage: sft
			do_train: true
			finetuning_type: lora
			lora_rank: 64
			lora_alpha: 128
			lora_dropout: 0.05
			lora_target: q_proj,k_proj,v_proj,o_proj

			### dataset
			dataset_dir: ./paradox_data
			dataset: paradox_eu5
			template: hy_dense_1_8b
			cutoff_len: 4096
			overwrite_cache: false
			preprocessing_num_workers: 8

			### output
			logging_steps: 5
			plot_loss: true
			report_to: none
			save_only_model: false

			### train
			per_device_train_batch_size: 1
			gradient_accumulation_steps: 4
			learning_rate: 2.0e-4
			lr_scheduler_type: cosine_with_min_lr
			lr_scheduler_kwargs:
			min_lr_rate: 0.1
			warmup_ratio: 0.05
			bf16: true
			gradient_checkpointing: true
			gradient_checkpointing_kwargs:
			use_reentrant: true
			flash_attn: sdpa
			ddp_timeout: 180000000

			output_dir: ./saves/hy_mt2_1_8b/eu5_lora_smoke
			overwrite_output_dir: true
			save_steps: 100
			max_steps: 200
			</pre>

			Pour lancer le test sur deux GPU :

			# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_1_8b_eu5_lora_smoke.yaml

			{{Méta bandeau
			\| niveau = information
			\| icône = loupe
			\| texte =
			Avec <code>per_device_train_batch_size: 1</code>, deux GPU et <code>gradient_accumulation_steps: 4</code>, le batch effectif est de 8 : <code>1 × 2 × 4 = 8</code>.
			}}

			Pour l'apprentissage complet sur un epoch :

			# vi hy_mt2_1_8b_eu5_lora_1epoch.yaml

			<pre>
			### model
			model_name_or_path: tencent/Hy-MT2-1.8B
			trust_remote_code: true

			### method
			stage: sft
			do_train: true
			finetuning_type: lora
			lora_rank: 64
			lora_alpha: 128
			lora_dropout: 0.05
			lora_target: q_proj,k_proj,v_proj,o_proj

			### dataset
			dataset_dir: ./paradox_data
			dataset: paradox_eu5
			template: hy_dense_1_8b
			cutoff_len: 4096
			overwrite_cache: false
			preprocessing_num_workers: 8

			### output
			logging_steps: 5
			plot_loss: true
			report_to: none
			save_only_model: false

			### train
			per_device_train_batch_size: 1
			gradient_accumulation_steps: 4
			learning_rate: 2.0e-4
			lr_scheduler_type: cosine_with_min_lr
			lr_scheduler_kwargs:
			min_lr_rate: 0.1
			warmup_ratio: 0.05
			bf16: true
			gradient_checkpointing: true
			gradient_checkpointing_kwargs:
			use_reentrant: true
			flash_attn: sdpa
			ddp_timeout: 180000000

			output_dir: ./saves/hy_mt2_1_8b/eu5_lora_1epoch
			overwrite_output_dir: true
			save_steps: 2000
			num_train_epochs: 1.0
			</pre>

			Puis lancer avec :

			# torchrun --nproc_per_node=2 hy_mt2_support/train_hy_dense.py hy_mt2_1_8b_eu5_lora_1epoch.yaml

Llama-Factory - Historique des versions

Admin : /* Multi-GPU 2x12go */

Admin : /* Multi-GPU 2x12go */

Admin : /* GPU 16go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Exemples */

Admin : /* Multi-GPU 2x12go */

Admin : /* QLoRA (hy_mt2 7B) */

Admin : /* Multi-GPU 2x12go */

Admin : /* Multi-GPU 2x12go */

Admin : /* GPU 16go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Multi-GPU 2x12 go */

Admin : /* Exemples */

Admin : /* Multi-GPU 2x12go */

Admin : /* QLoRA (hy_mt2 7B) */