Definición
El preentrenamiento enseña a un modelo los patrones del lenguaje al predecir el próximo token a través de billones de tokens de internet, libros y datos de código. El resultado es un "modelo base" con amplio conocimiento pero sin comportamiento de seguimiento de instrucciones. El preentrenamiento es enormemente caro (millones a cientos de millones de dólares) y generalmente solo los laboratorios de frontera lo hacen desde cero.
Ejemplo
Llama 3 fue preentrenado en 15 billones de tokens de datos web públicos, libros, código, y más.
Cómo Vedwix usa esto
Nunca preentrenamos. Siempre comenzamos desde una base fuerte y ajustamos finamente.
Trabajando en un proyecto de Preentrenamiento?
Preentrenamiento.
Cuéntanos sobre tu proyecto en tres frases o menos.
Iniciar un proyecto