Définition
QLoRA quantifie le modèle de base en 4 bits et applique des adaptateurs LoRA dessus. Cela rend possible le fine-tuning de modèles à 70 milliards de paramètres sur un seul GPU grand public haut de gamme. Le compromis qualité est faible pour la plupart des domaines.
Exemple
Fine-tuning de Llama 3 70B sur un seul A100 avec QLoRA, réduisant les besoins en mémoire de 280GB à moins de 80GB.
Comment Vedwix utilise ceci
Utilisé quand le compute client est contraint ou en itérant rapidement à travers les variations de jeu de données.
Vous travaillez sur un projet de QLoRA?
QLoRA.
Décrivez votre projet en trois phrases ou moins.
Démarrer un projet