定義
LoRAは元のLLM重みを凍結し、モデルの動作を変更する小さな低ランク行列を訓練します。結果として、完全なファインチューニングのストレージとコンピューティングのほんの一部で、しばしば同等の品質が得られます。LoRAアダプターはランタイムで読み込みと取り外しができるため、単一のベースモデルが複数の専門化されたバリアントを提供できます。
例
ある会社は単一のLlama 3ベースに5つのLoRAアダプターをファインチューニングし — ビジネスユニットごとに1つ — リクエストごとに切り替えます。
Vedwixでの使用方法
デフォルトのファインチューニングアプローチ。完全なファインチューニングは、非常に大きなデータセットまたはLoRAでは不十分な場合のために予約されています。