Definition
LoRA friert die ursprünglichen LLM-Gewichte ein und trainiert kleine Low-Rank-Matrizen, die das Verhalten des Modells modifizieren. Das Ergebnis: ein Bruchteil des Speichers und der Rechenleistung der vollständigen Feinabstimmung mit oft vergleichbarer Qualität. LoRA-Adapter können zur Laufzeit geladen und entladen werden, sodass ein einzelnes Basismodell mehrere spezialisierte Varianten bedienen kann.
Beispiel
Ein Unternehmen feinabstimmt 5 LoRA-Adapter auf einer einzigen Llama-3-Basis — einen pro Geschäftseinheit — und wechselt zwischen ihnen pro Anfrage.
Wie Vedwix das verwendet
Standard-Feinabstimmungsansatz. Vollständige Feinabstimmungen sind sehr großen Datensätzen vorbehalten oder wenn LoRA nicht ausreicht.
Sie arbeiten an einem Projekt rund um LoRA?
LoRA.
Beschreiben Sie Ihr Projekt in drei Sätzen oder weniger.
Projekt starten