Aller au contenu

Export et déploiement

Utilisez cette page pour packager un checkpoint local vers Hugging Face puis, optionnellement, vers GGUF. Prérequis: checkpoint valide (checkpoints/ckpt_last.pt) et métadonnées correspondantes (data/processed/meta.json ou data/meta.json).

Export HF vs export GGUF

  • L'export HF crée des artefacts compatibles Transformers pour les workflows Hugging Face.
  • La conversion GGUF crée des fichiers quantifiés pour les runtimes llama.cpp.

Commandes

Exporter un checkpoint local au format HF:

python scripts/export/export_hf.py \
  --checkpoint checkpoints/ckpt_last.pt \
  --meta data/processed/meta.json \
  --output-dir outputs/hf_export

Pousser le dossier exporté vers HF Hub:

python scripts/export/export_hf.py \
  --checkpoint checkpoints/ckpt_last.pt \
  --meta data/processed/meta.json \
  --output-dir outputs/hf_export \
  --push \
  --repo-id GhostPunishR/labcore-llm-50M

Convertir l'export HF en GGUF et quantifier:

python scripts/export/quantize_gguf.py \
  --hf-dir outputs/hf_export \
  --llama-cpp-dir third_party/llama.cpp \
  --output-dir outputs/gguf \
  --quant-type Q4_K_M

Fichiers de sortie / artefacts produits

outputs/hf_export/:

  • model.safetensors
  • config.json
  • labcore_tokenizer.json
  • tokenizer_config.json
  • special_tokens_map.json
  • configuration_labcore.py
  • modeling_labcore.py
  • tokenization_labcore.py
  • README.md

Chargez le dossier exporté avec Transformers en activant trust_remote_code=True.

outputs/gguf/:

  • labcore-50m-f16.gguf
  • labcore-50m-q4_k_m.gguf (ou q5_k_m / les deux avec --quant-type all)

Warning

La conversion GGUF exige un checkout llama.cpp valide avec script de conversion et binaire de quantization disponibles.

Erreurs fréquentes

Suite / liens