Definição
LoRA congela os pesos originais do LLM e treina pequenas matrizes de baixo posto que modificam o comportamento do modelo. O resultado: uma fração do armazenamento e computação do fine-tuning completo, com qualidade frequentemente comparável. Adaptadores LoRA podem ser carregados e descarregados em runtime, então um único modelo base pode servir múltiplas variantes especializadas.
Exemplo
Uma empresa faz fine-tuning de 5 adaptadores LoRA em uma única base Llama 3 — um por unidade de negócio — e alterna entre eles por solicitação.
Como a Vedwix usa isto
Abordagem padrão de fine-tuning. Fine-tunings completos são reservados para conjuntos de dados muito grandes ou quando LoRA não é suficiente.
Trabalhando em um projeto de LoRA?
LoRA.
Descreva seu projeto em três frases ou menos.
Iniciar um projeto