Datos
Archivo público 2018–2019 (Atenrev/forocoches-language-generation), hasta 30 posts por hilo. Más scraping propio en 2026, que entra en la siguiente versión. Cada hilo lleva un tipo que el modelo aprende a seguir.
Un modelo que escribe hilos de Forocoches
Gemma 3 1B con full fine-tune sobre medio millón de hilos del archivo histórico (2018–2019). Títulos, OPs y respuestas, con el tipo de hilo que le pidas. La generación corre en tu navegador.
Método
- HTML → texto plano:
TÍTULO,#n autor: texto, citas[cita=OP]…[/cita]. - Tipo y calidad de cada hilo con Claude Haiku, leyendo el OP.
- Mix: historias ×2, resto ×1, compraventa fuera, 8% replay de español general (FineWeb-2, spa_Latn).
- Full fine-tune de Gemma 3 1B pt en una RTX 3090: packed rows de 4.096 tokens, completion-only loss, el tipo condiciona y no se predice. v1 270 M tokens / 14 h; v2 496 M / 26 h.
- Eval: perplexity en hilos no vistos, y leer samples.
Loss
Loss por token: validation (gruesa) y training (fina, suavizada), frente a millones de tokens vistos. Cada versión sobre su propio validation set.
Resultados
Perplexity sobre 4.873 hilos del validation set. Menos es mejor.
| base | v1 | v2 | |
|---|---|---|---|
| todo el foro | 11,11 | 7,08 | 6,81 |
| historias | 11,88 | 7,87 | 7,63 |
| humor | 12,53 | 6,60 | 6,40 |
| debate | 11,42 | 7,24 | 7,01 |
| español general | 13,19 | 12,82 | 13,03 |
Última fila: control, no pierde español general. v0 (52 M tokens) daba 7,65 en todo el foro.
Enlaces
Usado Gemma 3 1B pt · modelo base Archivo FC 2018–2019 · dataset FineWeb-2 · replay WebLLM · inferencia anon-1b · inspiración
Creado forocoches-lm v2 · modelo v2 · pesos para navegador forocoches-threads v2.1 · dataset v1 · pesos para navegador