Fine-tuning

Definição

O fine-tuning pega um modelo pré-treinado e continua treinando-o em um conjunto de dados menor e focado. O resultado é um modelo que tem desempenho melhor na sua tarefa específica, geralmente com menor latência e custo do que chamar um modelo de fronteira. Para tarefas de alto volume (classificação, extração, saída estruturada), modelos pequenos com fine-tuning podem ser 10-40x mais baratos do que chamar GPT-4 ou Claude, com qualidade comparável na tarefa específica.

Exemplo

Fine-tuning de um modelo Llama 3 em 50.000 tickets de suporte para classificar e marcar automaticamente os problemas recebidos.

Como a Vedwix usa isto

Quando um cliente tem uma tarefa de alto volume (mais de ~10.000 solicitações por dia), recomendamos fine-tuning em vez de uma chamada de API quase sempre. A diferença de custo costuma ser de 95%+.