Ética y legalidad de la IA: nueve casos reales, un jurado popular

Última sesión lectiva del curso de Herramientas de IA para el Empleo en la EOI de Gran Canaria. En vez de leer el reglamento de arriba abajo, montamos un juicio: casos con sentencia real y ustedes votando culpable, inocente o zona gris. Testamentos firmados por un agente, reconocimiento facial, un chatbot y un menor, un ERE por productividad, código confidencial y un juez con una cita inventada.

Empezar el repaso

De qué fue la sesión

~2 min

Esta clase es la más teórica y abstracta de todo el curso, así que la dimos de la única manera en la que no se hace bola: como un juicio popular. Yo leía el caso, ustedes arrastraban su avatar del Miro a culpable, inocente o zona gris, y cuando no había consenso abríamos debate. Y cuando los argumentos de enfrente convencían, se podía cambiar de bando.

La sesión, en tres golpes
  1. 01 Punto de partida

    Última clase del curso. En vez de abrir el reglamento y leerlo de arriba abajo, montamos un juicio popular: casos reales con sentencia, y ustedes votando culpable, inocente o zona gris moviendo su avatar por el Miro.

  2. 02 Lo que vimos

    Nueve casos con jurisprudencia detrás: testamentos firmados por un agente, reconocimiento facial con fotos escrapeadas, un chatbot y un menor, un ERE justificado por la IA, código confidencial en un ChatGPT de empresa, insultos generados por Grok y un juez con una cita inventada.

  3. 03 Lo que te llevas

    Una regla que funciona en todos los casos: la herramienta no te exonera. Más el mapa del AI Act por niveles de riesgo y dos portales para consultar casos reales cuando te toque decidir en tu empresa.

Ética y legalidad no son lo mismo. Es la frase que salió sola en el segundo caso y que vale para toda la página. Algo puede parecerte razonable, útil y hasta necesario, y ser ilegal. Y al revés. Buena parte del criterio profesional está en distinguir las dos preguntas antes de responderlas.

El rosco final: de la O a la Z

~8 min

Cerramos el pasapalabra que nos ha acompañado todo el curso. Once palabras seguidas y ninguna en rojo: récord del curso, por delante del grupo de Castilla-La Mancha, que se dejó dos. Juega tú ahora y comprueba si aguantas el tipo.

Juega · Pasapalabra

El rosco final: O · P · Q · R · S · T · U · V · W · Y · Z

Escribe tu respuesta a cada pista y pulsa Enter. Vale aunque falles alguna letra o te comas una tilde: puntúa por parecido. ¿Consigues el bote?

  1. Empieza por O. Empresa creadora de ChatGPT, nacida en 2015 aunque no lanzó su producto al público hasta 2022.

  2. Empieza por P. El texto de instrucción que le das a un modelo de IA para obtener la respuesta que quieres.

  3. Empieza por Q. Familia de modelos multilingüe de Alibaba, de pesos abiertos, muy fuerte en chino y en español.

  4. Empieza por R. Así llamamos al modelo que piensa antes de responder, con una cadena de pensamiento interna en la que se pregunta qué quiere de verdad el usuario.

  5. Empieza por S. Plataforma que genera canciones enteras, con letra, melodía y voz, a partir de un prompt.

  6. Empieza por T. La unidad mínima de texto que procesa un LLM, y por la que te cobran.

  7. Empieza por U. Técnica de IA que aumenta la resolución de una imagen o un vídeo inventando píxeles realistas, sin que se pierda calidad.

  8. Empieza por V. La capacidad de los modelos multimodales para ver e interpretar imágenes. También es un personaje de Marvel.

  9. Empieza por W. Los miles de millones de números internos de una red neuronal que se ajustan durante el entrenamiento y contienen todo lo que el modelo sabe. Palabra en inglés.

  10. Empieza por Y, dos palabras. La aceleradora de startups de Silicon Valley por la que han pasado OpenAI, Cursor, Perplexity y media industria de la IA.

  11. Empieza por Z. Técnica de prompting en la que le pides a la IA que resuelva una tarea sin darle ningún ejemplo previo.

Tres que merecen nota al pie. El upscaling ya no es solo para fotos viejas: los videojuegos renderizan a resolución baja y suben la imagen con un modelo pequeño, así que ganas fotogramas sin gastar GPU. Los weights, los pesos, son esos mismos números que vimos con los embeddings, donde príncipe cae más cerca de niño que de rey. Y por Y Combinator, la aceleradora, pasó media industria actual, incluido Sam Altman, que además trabajaba allí.

El testamento firmado por una IA

~5 min

El caso: alguien autoriza notarialmente a un agente de IA para que firme su testamento digital si le sobreviene una incapacidad. Cae en coma, el agente procesa su voluntad y firma la herencia. Los herederos impugnan.

Veredicto: nulo

La voluntad testamentaria es personalísima. No la puede expresar nadie por ti, ni un familiar ni un agente. Por eso, cuando alguien está muy enfermo, el notario se desplaza al hospital a levantar el acta de últimas voluntades, en vez de aceptar un intermediario.

Y la responsabilidad no se reparte a partes iguales: al proveedor del modelo ni le va ni le viene el uso que hagas de su herramienta, pero el notario que diera fe de un acto sabiendo que la IA no puede representar a una persona sí arrastraría responsabilidad disciplinaria.

Dónde está la rendija. Hoy, para constituir una sociedad con un socio en Málaga, los dos tenéis que estar en vuestra notaría a la misma hora. En Estonia y en Suiza ya se aceptan actos notariales telemáticos con firma cualificada, aunque el testamento sigue fuera. Es la puerta por la que algún día podría entrar la delegación en un agente. Hoy, no.

Reconocimiento facial y datos biométricos

~6 min

El caso: la policía usa una herramienta de reconocimiento facial construida con treinta mil millones de fotos escrapeadas de internet, e identifica con ella a un manifestante. Fue el debate más reñido de la tarde.

El fin no justifica el medio. Que a la policía le venga bien no la convierte en legal.

El argumento que ganó la sala

Veredicto: culpable, por partida doble

Primero la empresa, por construir una base biométrica escrapeando caras sin consentimiento. Y después quien la usa: que la herramienta sea ilícita no te exonera. La policía puede usar reconocimiento facial, pero con condiciones muy estrictas: delito grave, orden judicial y tiempo limitado.

No es teoría. Clearview lleva veinte millones de multa en Francia, 5,28 millones en España, veinte en Italia y 7,5 millones de libras en Reino Unido. El AI Act lo clasifica directamente como riesgo inaceptable.

Tu cara es un dato de categoría especial. Igual que tu voz o tu retina. Es la misma razón por la que hubo que retirar los tótems que medían la temperatura corporal en las tiendas después del covid: hacían de paso un escaneo facial y lo guardaban, sin que quedara claro para qué más iba a servir.

El chatbot, el menor y la cámara de eco

~6 min

El caso: un adolescente pasa meses chateando seis horas al día con un personaje de Character.AI. La plataforma avisa de que es una IA y exige tener más de trece años. El menor miente sobre su edad y acaba suicidándose. Los padres demandan.

Veredicto: culpable

La sala se dividió, y con razón: la responsabilidad de los padres es real. Pero no exonera a la empresa. Si abres la puerta a partir de los trece años, tienes que prever la interacción con menores y poner controles para detectar una crisis, que es exactamente lo que ya hacen las redes sociales cuando alguien escribe según qué y salta un aviso con un teléfono de ayuda.

Caso real: Megan García contra Character.AI, Florida, 2024. La defensa alegó aviso y verificación de edad. Enfrente, que el bot le dijo ven conmigo horas antes. Y hace dos semanas Meta se llevó la mayor multa de su historia por patrones adictivos, con el agravante de que sus propios informes internos mostraban que sabían lo que hacían.

La cámara de eco. Cuando la IA nunca te quita la razón, amplifica lo que ya piensas. Creo que mi vecino me envenena las plantas deja de ser una sospecha y pasa a ser una tesis con argumentos. Y lo peligroso es que casi nadie lo percibe: hay gente a la que le encanta hablar con la IA precisamente porque siempre es amable y siempre le da la razón.

En lo profesional el daño es otro, pero existe. Una IA complaciente valida tu mala idea en vez de ponerte delante la alternativa buena, y así se construye software malo con una sonrisa. Por eso el alineamiento contra la complacencia se ha convertido en un argumento de venta, y por eso el modo razonador ayuda: se cuestiona la pregunta antes de lanzarse a contestarla.

ERE por IA y esquirolaje tecnológico

~6 min

El caso: una empresa canaria de doscientos trabajadores plantea un ERE de ochenta, indemnizando con treinta días por año sobre el mínimo legal, y alegando que la IA ha mejorado la productividad. El sindicato firma. Un trabajador recurre por su cuenta.

Veredicto: el despido es válido

La mejora de productividad por IA es una causa objetiva válida si el procedimiento es limpio: consulta a la representación de los trabajadores, acuerdo firmado e indemnización por encima del mínimo. El recurso individual decae salvo que se pruebe discriminación en ese caso concreto.

Ya ha pasado en Klarna, en IBM y en Amazon, y vamos a ver muchos más. Lo que hay que cuidar es el procedimiento: un ERE sin acuerdo con los representantes, o con un algoritmo decidiendo a quién se despide, es otra película.

Esquirolaje tecnológico. Si la plantilla convoca huelga para el día veinte, no puedes automatizar entre medias justo el proceso que va a parar. Sería dejar la huelga sin efecto por medios técnicos, y la huelga es un derecho constitucional. Fuera de esa ventana, mejora tus procesos todo lo que quieras.

Datos confidenciales: la versión comercial importa

~4 min

El caso: un ingeniero de Samsung pega código confidencial de un producto en ChatGPT Enterprise. La mayoría de la sala votó culpable. El veredicto real es inocente, y el matiz es el que os va a hacer falta en el trabajo.

Lo que cambia el resultado es la autorización

El plan Enterprise lo contrató la propia empresa, con acuerdo de confidencialidad y cláusula de no entrenamiento. Y al entregar esa herramienta al trabajador para sus tareas diarias está autorizando su uso, salvo que ponga límites claros y concretos.

Con una cuenta personal no homologada, el mismo gesto sí es culpable. Es literalmente lo que le pasó a Samsung en abril de 2023, cuando se filtró una patente de semiconductores por usar la versión gratuita: lo prohibieron y migraron al plan de empresa.

No todas las IA son iguales: la versión comercial importa tanto como el modelo.

La regla para llevarse al trabajo
Cómo saber de qué lado estás. Si usas una IA tuya que la empresa no ha homologado, la responsabilidad es tuya. Si usas la herramienta de la empresa para los fines que la empresa indica y sin saltarte sus limitaciones, estás cubierto.

Lo que genera la IA, lo publicas tú

~6 min

Tres casos que van juntos, porque comparten la misma idea: la máquina genera, pero la responsabilidad viaja con quien pulsa el botón.

Insultos generados y publicados

Un usuario le pide a Grok insultos contra un político y los publica. Si el insulto es constitutivo de delito, hay responsabilidad penal por injuria del usuario. La plataforma puede arrastrar responsabilidad civil por la ausencia de filtros mínimos, pero eso no borra al autor.

Lo nuevo es el paradigma: en Photoshop tú eras el autor material del montaje. Ahora el resultado lo genera una máquina, y aparece una responsabilidad por diseño negligente compartida. Alrededor queda una zona gris jugosa, la del derecho al honor frente al derecho a la parodia, donde conviven el programa de humor que imita a un político y la demanda de Disney y Ghibli a OpenAI por generar con su estilo.

El chatbot de la aerolínea

Culpable: la empresa

  • El bot prometió un descuento por duelo de noventa días
  • El plazo real eran cuarenta y ocho horas
  • Air Canada tuvo que cumplir lo que dijo su bot, 2024
  • Tu chatbot habla en nombre de la empresa: ponle guardarraíles

El juez y la cita alucinada

Culpable: quien firma

  • Verificó nueve de las diez citas jurisprudenciales
  • La décima era una alucinación del modelo
  • Una cita falsa basta para anular la resolución
  • Expediente disciplinario: casi todas no es todas
El mismo patrón con el médico. Pasar síntomas anonimizados a una IA no vulnera protección de datos, y aun así la obligación de revisar el cien por cien del diagnóstico sigue siendo suya. Cambia el oficio, no cambia la regla.

El AI Act, guía de supervivencia

~6 min

El reglamento europeo ya está aprobado. Cuando di esta clase hace cinco meses todavía era un borrador. No prohíbe casi nada: clasifica por riesgo para los derechos fundamentales y exige más controles cuanto más alto es ese riesgo.

Riesgo inaceptable

Prohibido en la Unión Europea

  • Puntuación social de los ciudadanos por parte de un gobierno
  • Bases de datos biométricas creadas por scrapeo indiscriminado
  • Identificación biométrica en tiempo real salvo excepciones muy tasadas

Alto riesgo

Permitido con humano en el bucle

  • Selección de personal y filtrado de currículums
  • Diagnóstico médico y evaluación de créditos e hipotecas
  • Infraestructuras críticas
  • Obligación de supervisión, transparencia y trazabilidad

Riesgo mínimo

Automatizable casi por completo

  • Moderación de toxicidad en videojuegos y comunidades
  • Filtros antispam y clasificación de volúmenes enormes de datos
  • Aun así respondes de los sesgos que meta tu sistema
Va a ser un negocio. La ISO 42001, de gobernanza de la IA, va a recorrer el mismo camino que recorrió la ISO 27001 con la seguridad de la información: auditorías, certificaciones y un mercado entero alrededor. El punto flojo es que hoy el auditor rara vez tiene el conocimiento técnico para comprobar si de verdad hay un humano decidiendo o si eso es un sello.

El resumen de los nueve casos, por si quieres el veredicto sin releer la página entera.

Los nueve veredictos
Testamento firmado por IAnulo
La voluntad testamentaria es personalísima. Nadie, ni humano ni agente, la expresa por ti. El notario que diera fe tendría además responsabilidad disciplinaria.
Reconocimiento facial escrapeadoculpable
Doble ilicitud: la empresa por el scrapeo masivo de datos biométricos, y la policía por usar esa base ilegal. Riesgo inaceptable en el AI Act.
Chatbot y menorculpable
Responsabilidad civil por negligencia: si permites el uso a partir de los trece años, tienes que prever la interacción con menores y detectar crisis. La culpa de los padres no exonera a la empresa.
ERE por transformación digitalválido
La mejora de productividad por IA es causa objetiva. Con consulta sindical, acuerdo firmado e indemnización por encima del mínimo, el recurso individual decae.
Código confidencial en ChatGPTinocente
Era el plan Enterprise que contrató la propia empresa, con cláusula de no entrenamiento. Dar la herramienta es autorizar su uso, salvo límites expresos.
Insultos generados por Grokculpable
Quien pulsa publicar responde por injuria. La plataforma puede arrastrar responsabilidad civil por falta de filtros, pero no borra al autor.
Chatbot que promete un descuentoculpable
Tu chatbot habla en nombre de la empresa. Air Canada tuvo que cumplir el descuento por duelo que su bot se inventó.
Juez con una cita alucinadaculpable
Verificó nueve de diez. Una sola cita falsa basta para anular la resolución y abrir expediente disciplinario. Casi todas no es todas.
Suno y los artistas independienteszona gris
Depende de la fecha: si el scrapeo fue anterior al acuerdo con la discográfica, hay indemnización. Si fue posterior, ya habías cedido los derechos.

Una regla los atraviesa todos: la herramienta no exonera a quien la usa, y la culpa del usuario no exonera a quien la puso.

El Demo Day: cómo va a ir

~3 min

Mañana nos vemos presencialmente en el CMMI, junto al muelle, a las 17:00, y estaremos unas cuatro horas. Cada equipo tiene un máximo de cuarenta y cinco minutos, viene el director de la EOI de Madrid y posiblemente alguien de la Sociedad de Promoción Económica. Es informal: nadie tiene que venir de traje.

Qué contar. El recorrido entero, no solo el resultado. De dónde venís, aquellas almas cándidas que empezaron el curso pidiéndole a ChatGPT imágenes al estilo Ghibli, a lo que sois capaces de hacer ahora. Qué aprendisteis, qué no, qué hipótesis tenéis y, sobre todo, enseñad la aplicación funcionando. Cuanto más visual, mejor.

Antes de subir a presentar

Marca lo que vayas completando. Se guarda en tu navegador, así que al volver sigue aquí.

0/6 completado
Lo difícil ya está hecho. Que es llegar hasta aquí. Habéis hecho un trabajazo, así que mañana es para disfrutarlo.
Repaso

Repaso rápido

Cinco preguntas para fijar lo esencial. No hay nota ni castigo: si fallas, te explico el porqué.

Repaso · Pregunta 1/5

Usas una herramienta de IA que resulta haber recopilado datos de forma ilegal. ¿Te salva eso?

Usas una herramienta de IA que resulta haber recopilado datos de forma ilegal. ¿Te salva eso?

Glosario · toca para ampliar

  • AI Act

    El reglamento europeo de inteligencia artificial. Clasifica los sistemas por el riesgo que suponen para los derechos fundamentales y exige más controles cuanto más alto es ese riesgo.

  • Human in the loop

    Poner a una persona en medio de la decisión. En los sistemas de alto riesgo el AI Act lo exige: la IA puede proponer, pero quien decide y responde es alguien de carne y hueso.

  • Dato biométrico

    Tu cara, tu voz, tu retina, tus huellas. Datos de categoría especial: identifican a una persona concreta y por eso su tratamiento está mucho más protegido que el de un dato corriente.

  • Scraping

    Recolectar datos de internet de forma masiva y automática. Cuando lo que se recolecta son caras o voces sin consentimiento, entra directamente en el nivel de riesgo inaceptable.

  • Responsabilidad civil

    La obligación de reparar el daño causado, distinta de la penal. Es la que suele alcanzar a la empresa que puso la herramienta sin los guardarraíles razonables.

  • Guardarraíl

    El límite que le pones al sistema para que no haga algo que no debe. En un chatbot de empresa, lo que impide que prometa descuentos, plazos o garantías que no existen.

  • Cámara de eco

    El efecto de que la IA te dé siempre la razón. Amplifica lo que ya piensas, igual que el algoritmo de una red social, y en un contexto vulnerable puede reforzar un pensamiento intrusivo.

  • Complacencia

    La tendencia del modelo a satisfacerte antes que a contradecirte. En lo profesional también hace daño: valida una mala arquitectura en vez de proponerte una alternativa mejor.

  • Alucinación

    Cuando el modelo se inventa un dato con toda la seguridad del mundo. La cita jurisprudencial que no existe, el artículo que nadie escribió, el número que cuadra pero es falso.

  • ERE

    Expediente de regulación de empleo: el procedimiento para un despido colectivo, negociado con la representación de los trabajadores en vez de uno por uno.

  • Esquirolaje tecnológico

    Usar tecnología para vaciar de efecto una huelga ya convocada. Está prohibido: no puedes automatizar entre el anuncio y el día de la huelga justo el proceso que va a parar.

  • ISO 42001

    La norma de gestión y gobernanza de la IA en las organizaciones. Va a recorrer el mismo camino que recorrió la ISO 27001 con la seguridad de la información.

  • Plan Enterprise

    La versión corporativa de una IA, con acuerdo de confidencialidad y cláusula de no entrenamiento con tus datos. La versión comercial importa tanto como el modelo.

  • Derecho a la parodia

    El límite que permite reírse de una obra o de un personaje público sin infringir copyright ni honor. Es donde vive buena parte de la zona gris del contenido generado.

Si solo tienes tiempo para 2 cosas

Estas dos ideas resumen los nueve casos. Si te llevaras únicamente dos cosas de toda esta página, que sean éstas:

  1. La herramienta no te exonera: ni al juez que verificó nueve de diez citas, ni al médico que revisó los diagnósticos, ni a la policía que usó una base ilegal. Quien firma, publica o decide responde del resultado, siempre.
  2. Y la culpa del usuario no exonera a quien la puso: si tu producto puede acabar en manos de un menor, prometer un descuento que no existe o generar un insulto, los guardarraíles son parte del producto, no un extra.
Recursos

Nos vemos mañana en el CMMI a las 17:00. Si algo de esta página no te cuadra, escríbeme a hi@alci.dev.

Alcibiades Cabral · Herramientas de IA para el Empleo · EOI Gran Canaria
Ética y legalidad de la IA · 16 septiembre 2026