Cómo se le enseña a una IA de los embeddings al fine-tuning
Clase corta de seguimiento: el pasapalabra del estado del arte (DeepSeek, embedding y fine-tuning), la escalera de cuatro niveles para enseñarle cosas a una IA, y el pistoletazo de salida del primer sprint de los equipos. Poca teoría y mucha construcción.
Seguimos con el mini concurso de arranque: tres términos que han ido saliendo estas semanas,
para fijar vocabulario y ponernos al día del estado del arte. En clase jugamos todos en un
solo equipo, contra mí. Hoy tocaban la D, la E y la F, y hubo pleno: el bote sigue vivo.
Juega · Pasapalabra
Pasapalabra: D · E · F
Escribe tu respuesta a cada pista y pulsa Enter. Vale aunque falles alguna letra o te comas una tilde: puntúa por parecido. En clase hubo pleno, ¿lo igualas?
0/3Aciertos · 0%
D
Empieza por D. Startup china fundada en Hangzhou por un ex gestor de hedge fund que en enero de 2025 hizo caer a NVIDIA un 17% en bolsa con R1, su modelo razonador abierto entrenado por una fracción del coste de OpenAI.
E
Empieza por E. Palabra inglesa: vector de unos 1.500 números que representa el significado de un texto. Si dos cosas significan parecido, sus vectores quedan cerca en el espacio.
F
Empieza por F. Palabra inglesa: coger un modelo ya preentrenado y reentrenarlo un poco con tus datos para especializarlo en tu tarea o tu tono.
D. Empieza por D. Startup china fundada en Hangzhou por un ex gestor de hedge fund que en enero de 2025 hizo caer a NVIDIA un 17% en bolsa con R1, su modelo razonador abierto entrenado por una fracción del coste de OpenAI. → DeepSeek
E. Empieza por E. Palabra inglesa: vector de unos 1.500 números que representa el significado de un texto. Si dos cosas significan parecido, sus vectores quedan cerca en el espacio. → Embedding
F. Empieza por F. Palabra inglesa: coger un modelo ya preentrenado y reentrenarlo un poco con tus datos para especializarlo en tu tarea o tu tono. → Fine-tuning
01
Cómo se le enseña a una IA: la escalera
~4 min
Los tres términos del pasapalabra no son sueltos: son peldaños de la misma escalera. Hay cuatro niveles para enseñarle cosas a una inteligencia artificial, ordenados
de barato a caro. La regla de oro: sube de nivel solo cuando el anterior no
llega.
De barato a caro
01Nivel 1 · Prompting
Se lo dices en la propia pregunta: instrucciones claras, ejemplos, skills reutilizables. Segundos de esfuerzo. Es lo primero que hay que dominar y resuelve la mayoría de los casos.
02Nivel 2 · RAG + embeddings
Le das tus documentos en tiempo real: la IA busca por significado (embeddings) en tu información y responde con ella, sin reentrenar nada. Horas de esfuerzo. Es el truco detrás de todo "ChatGPT que sabe de tu empresa".
03Nivel 3 · Fine-tuning
Modificas los pesos del modelo reentrenándolo con tus datos. Días de trabajo y GPUs. Solo compensa cuando el prompt y el RAG no llegan: tono muy específico o tarea repetitiva y acotada.
04Nivel 4 · Modelo fundacional
Crear tu propio modelo desde cero, sin reutilizar nada de otros. Diez pasos más allá: millones de euros, equipos enteros y meses de entrenamiento. Es la liga de OpenAI, Anthropic o DeepSeek.
Lo primero es prontear bien y crear vuestras skills. Después, RAG para darle
información específica y que acierte más. El fine-tuning es la excepción, no la norma: si
basta con un buen prompt o con RAG, siempre será más barato. Y si tus datos cambian cada
semana, el fine-tuning queda desactualizado enseguida.
02
Los tres términos, a fondo
~6 min
Embedding. Un vector de unos 1.500 números que representa el significado de
un texto, una imagen o un audio. Si dos cosas significan parecido, sus vectores quedan cerca
en un espacio matemático. La idea en una frase: Rey menos Hombre más Mujer es, aproximadamente, Reina: los conceptos se pueden sumar
y restar como vectores. Con eso se construye la búsqueda semántica (buscar por significado,
no por palabras clave), las recomendaciones de productos o canciones, la detección de
plagios y, sobre todo, el RAG. Sin embeddings no hay "ChatGPT que sabe de tu empresa".
Fine-tuning. Coger un modelo ya preentrenado (Llama, GPT, Mistral...) y
reentrenarlo un poco con tus datos para que se especialice. Compensa cuando necesitas un
tono muy específico (legal, médico, tu marca), una tarea repetitiva y acotada (clasificar
tickets, extraer datos de facturas), o quieres que un modelo pequeño y barato haga el
trabajo de uno grande. No compensa casi nunca antes de agotar el prompt y el RAG.
DeepSeek. Startup china fundada en 2023 en Hangzhou por Liang Wenfeng, un
ex gestor de hedge fund cuantitativo que la financió con el dinero de su propio fondo. En
enero de 2025 lanzó R1: razonaba al nivel de o1 de OpenAI, entrenado con unos 5 millones de
dólares frente a los cientos de millones habituales, en GPUs peores por los controles de
exportación, y con pesos, paper y código publicados en abierto.
El día que tembló Silicon Valley
El lanzamiento de R1 hizo caer a NVIDIA un 17% en bolsa en un solo día: demostró que la
eficiencia algorítmica le puede ganar a la fuerza bruta. Con una API 20 veces más barata que
la de OpenAI y todo en abierto, cualquiera puede descargarlo y autoalojarlo sin mandar sus
datos a Estados Unidos ni a China.
03
El sprint: construir de verdad
~4 min
Hoy fue el pistoletazo de salida: cada equipo (Lobos, Pulpos, Leones y Unicornios) a su
sala, hora y media de trabajo, y los mentores de apoyo durante la semana. La próxima clase
conmigo es dentro de dos semanas: una hora para coordinarse y después la
primera review de verdad, enseñando lo construido y recibiendo feedback.
Lo que hay que traer a la review
Marca lo que vayas completando. Se guarda en tu navegador, así que al volver sigue aquí.
0/4 completado
La regla del cartón pluma
El PowerPoint está bien, pero lo que quiero ver es una URL en la que pueda entrar y darle al
botón. Nada de botones de cartón pluma que no hacen nada: todo lo que pongáis tiene
que funcionar. Mejor una o dos funcionalidades completas que diez pantallas
bonitas. Si ponéis registro de usuario, que registre; imaginad un WhatsApp donde enviar un
audio no funcionara. Eso es la mentalidad de producto: un MVP, no una maqueta.
El conflicto histórico: entre la idea que tengo y lo que puedo construir suele
haber un gran espacio. Una idea puede ser viable como negocio y no serlo (todavía) para vuestro
nivel técnico. Si una funcionalidad os va a llevar más tiempo que el curso, descartadla y
seguid con otra. Y si conseguís usuarios o ventas antes de acabar, mejor: esa es la
expectativa.
Repaso
Repaso rápido
Tres preguntas para fijar lo esencial. No hay nota ni castigo: si fallas, te explico el porqué.
Repaso · Pregunta 1/3
¿Qué es exactamente un embedding?
Un tipo de chip especializado en entrenar modelos de IA.
Un vector de números que representa el significado de un texto: cosas parecidas quedan cerca.(respuesta)
Una técnica para comprimir imágenes y que ocupen menos.
Un embedding convierte texto (o imágenes, o audio) en una lista de ~1.500 números que captura su significado. "Consejos para dormir mejor" y "artículo sobre insomnio" acaban cerca en ese espacio, aunque no compartan palabras. Es el corazón de la búsqueda semántica, las recomendaciones y el RAG.
Quieres que la IA responda usando los documentos de tu empresa. ¿Por dónde empiezas?
Fine-tuning: reentrenar el modelo con todos mis documentos.
RAG: darle mis documentos en tiempo real con búsqueda por embeddings.(respuesta)
Crear mi propio modelo fundacional desde cero.
La escalera va de barato a caro: prompting, RAG, fine-tuning, modelo propio. RAG resuelve el caso "que sepa de mi empresa" en horas y sin reentrenar; además, si tus datos cambian cada semana, el fine-tuning queda desactualizado. El fine-tuning se reserva para tono muy específico o tareas repetitivas acotadas.
¿Por qué el lanzamiento de DeepSeek R1 en enero de 2025 fue un terremoto?
Porque fue el primer chatbot chino de la historia.
Porque razonaba al nivel de OpenAI con ~5M$ de entrenamiento y lo publicó todo en abierto.(respuesta)
Porque compró NVIDIA y subió el precio de las GPUs.
R1 igualó el razonamiento de o1 de OpenAI entrenado con una fracción del coste (~5M$ frente a cientos de millones), en GPUs peores por los controles de exportación, y liberó pesos, paper y código. NVIDIA cayó un 17% en bolsa en un día: la eficiencia algorítmica le ganó a la fuerza bruta.
Glosario · toca para ampliar
Embedding
Vector numérico (una lista de ~1.500 números) que representa el significado de un texto, imagen o audio. Si dos cosas significan parecido, sus embeddings quedan cerca en un espacio matemático multidimensional.
Reentrenar un poco un modelo ya preentrenado con datos propios para especializarlo. Es el nivel más caro de enseñar cosas a una IA: se usa solo cuando el prompting y el RAG no llegan.
Retrieval-Augmented Generation: darle a un LLM tus documentos en tiempo real, buscando por significado con embeddings, para que responda con tu información sin tener que reentrenarlo.
Startup china de IA fundada en 2023 en Hangzhou por Liang Wenfeng. En enero de 2025 lanzó R1, un modelo razonador open source entrenado con ~5M$ que hizo caer a NVIDIA un 17% en bolsa en un día.
Un modelo de IA creado desde cero, sin reutilizar pesos de otros modelos. Entrenarlo cuesta millones y es el último nivel de la escalera: prompting, RAG, fine-tuning y, al final, tu propio modelo.
Producto Mínimo Viable: la versión más pequeña de tu idea que ya funciona de verdad y sirve para validar si alguien la quiere. Pocas funcionalidades, pero completas.
Estas dos ideas son las que más impacto tienen. Si te llevaras únicamente dos cosas de toda
esta página, que sean éstas:
La escalera de enseñar a una IA: prompting, RAG con
embeddings, fine-tuning y modelo propio. Sube de nivel solo cuando el anterior no llega:
casi todo se resuelve en los dos primeros.
Nada de cartón pluma: en la review, todo lo que enseñes
tiene que funcionar. Una funcionalidad completa vale más que diez pantallas decorativas.
¿Dudas con vuestro producto? Escribidme a hi@alci.dev o llevadlas a la mentoría. Nos vemos en la
review dentro de dos semanas.