Definición
QLoRA cuantifica el modelo base a 4 bits y aplica adaptadores LoRA encima. Esto hace posible ajustar finamente modelos de 70 mil millones de parámetros en una sola GPU de consumidor de gama alta. La compensación de calidad es pequeña para la mayoría de los dominios.
Ejemplo
Ajuste fino de Llama 3 70B en una sola A100 con QLoRA, reduciendo las necesidades de memoria de 280GB a menos de 80GB.
Cómo Vedwix usa esto
Usado cuando el cómputo del cliente está restringido o cuando se itera rápidamente a través de variaciones del conjunto de datos.
Trabajando en un proyecto de QLoRA?
QLoRA.
Cuéntanos sobre tu proyecto en tres frases o menos.
Iniciar un proyecto