Fine-tuning Supervisionado (SFT)

Definição

SFT é a abordagem de fine-tuning mais comum: reúna pares de entradas e saídas desejadas, então treine o modelo para produzir essas saídas. Funciona melhor quando você tem dados limpos e de alta qualidade — tipicamente 1.000+ pares para um efeito significativo. SFT é frequentemente combinado com LoRA para reduzir o custo computacional.

Exemplo

5.000 exemplos de consultas de suporte ao cliente pareadas com respostas ideais, usadas para fazer fine-tuning de um modelo Llama 3 8B.

Como a Vedwix usa isto

Investimos mais em curadoria de dataset do que em tamanho do modelo. Dados de qualidade > mais parâmetros.