Modelo de Linguagem Pequeno (SLM)

Definição

Modelos de Linguagem Pequenos trocam capacidade geral por custo e latência. Para tarefas estreitas (classificação, extração estruturada, Q&A simples), um modelo 7B com fine-tuning pode superar um modelo de fronteira a 1/30 do custo. SLMs são cruciais para casos de uso de alto volume e IA em dispositivos.

Exemplo

Um Phi-3 com fine-tuning (3,8B parâmetros) para extração de faturas, executando 100k solicitações por dia a $0,0001 cada.

Como a Vedwix usa isto

A maioria das funcionalidades de IA em produção termina como SLMs com fine-tuning. Começamos com modelos de fronteira e descemos.