Timnit Gebru · 2 de diciembre de 2020

II

El artículo se llamaba, más o menos, algo así como «sobre los peligros de los loros estocásticos», y lo firmaban cuatro personas, dos de dentro de la empresa y dos de fuera.

Decía cuatro cosas y ninguna era una profecía.

Que entrenar modelos cada vez más grandes consume una energía que crece mucho más deprisa que lo que mejoran [el doble de tamaño no da el doble de nada], y que el coste ambiental lo pagan sitios que no van a usar la tecnología.

Que los datos con los que se entrenan salen de internet sin curar, de modo que lo que el sistema aprende de cómo se habla del mundo es cómo se hablaba del mundo en los sitios donde había más gente escribiendo, y que eso no es una muestra de la humanidad sino de quién tenía conexión y tiempo.

Que un sistema así no entiende nada; manipula formas. Ordena palabras según la probabilidad de que vayan juntas, sin ningún acceso a lo que significan, y el que lee le pone el sentido encima porque los humanos no sabemos leer sin hacer eso.

Que como el texto que produce parece escrito por alguien, la gente va a tratarlo como si alguien lo hubiera dicho.

De ahí el loro. Un loro repite con una fidelidad admirable y no sabe qué está diciendo. Lo estocástico es lo otro: que este además tira los dados.

La empresa pidió una de dos cosas: que el artículo se retirara, o que se quitaran de él los nombres de sus empleadas. Gebru preguntó quién había hecho esa revisión y con qué criterios, y le contestaron que no podía saberlo.

El artículo se publicó en marzo de 2021, en un congreso, con los nombres de las autoras de fuera y con una de las de dentro firmando con un seudónimo.

En febrero de aquel año habían despedido también a la otra.

III

Escribo esto con una de esas cosas abierta en otra ventana.

La uso para lo que la usa todo el mundo. Buscar cómo se llamaba un congreso, comprobar en qué mes fue algo, reformular un párrafo que llevaba media hora sin salir. La tengo abierta ahora mismo. Cuesta veintitrés euros al mes y los pago yo, de modo que esto no es la tribuna de nadie.

Hay un gesto que hago varias veces al día y que no había mirado hasta escribir esto. Le pido un dato, me lo da con una seguridad perfecta [sin matices y sin dudar] y entonces voy a comprobarlo a otro sitio. Si está bien, sigo; si está mal, lo corrijo y la sigo usando igual.

Eso quiere decir que llevo dos años trabajando con una herramienta a la que no creo, y que he construido a mi alrededor un procedimiento entero —comprobarlo todo, desconfiar por defecto, no citar nunca de memoria— que existe únicamente porque la herramienta hace lo que aquel artículo dijo que haría.

He interiorizado la advertencia hasta el punto de no necesitar leerla, y sigo pagando la suscripción.

Esta misma semana me dio con total aplomo una fecha equivocada [un año entero de diferencia] sobre un asunto que yo conocía bien. La corregí sin inmutarme, como quien aparta una silla del paso.

IV

Por dentro no hay nadie. Hay que contarlo despacio, porque de ahí sale todo lo demás.

El texto se parte en trozos que casi nunca son palabras enteras. Pedazos de tres o cuatro letras, terminaciones, espacios sueltos. Cada trozo se convierte en una lista larguísima de números, un punto en un espacio con miles de direcciones, y la posición de ese punto se ha ido fijando a base de leer cantidades enormes de texto y comprobar en cuál de esas direcciones cae cada cosa según con qué aparece.

Cuando llega una pregunta, el sistema no busca la respuesta en ningún sitio — no hay archivo, no hay índice, no hay nada que consultar. Lo que hace es calcular, para cada uno de los decenas de miles de trozos posibles, la probabilidad de que sea el siguiente, y elegir uno. Después repite la operación entera con ese trozo ya puesto, y otra vez, y otra.

No hay una frase en ninguna parte antes de que salga. Se fabrica de izquierda a derecha, un pedazo cada vez, y en ningún momento existe un plan de lo que se va a decir. Tampoco al final: entonces ya está dicho.

Ahí está la parte que descoloca. Un sistema que solo calcula qué viene después, repetido muchos millones de veces sobre suficiente texto, produce párrafos correctos, con sintaxis, con tono y con lo que parece un razonamiento. No porque haya aprendido a razonar: porque el razonamiento escrito deja una huella estadística y la huella se puede reproducir sin la cosa que la dejó.

Cuando no sabe algo, no hay ningún mecanismo que lo detecte. El sistema calcula la continuación más probable igual que siempre. Una fecha inventada y una fecha correcta salen del mismo procedimiento [la misma fluidez, el mismo aplomo] y no hay ninguna diferencia interna entre ellas.

No miente; mentir requiere saber. Rellena.

V

Lo que aquel artículo dijo en noviembre de 2020 no era que los modelos fueran peligrosos. Era que iban a hacerse mucho más grandes, que el aumento de tamaño no iba a arreglar el problema de fondo y que el problema de fondo era que no hay nadie dentro.

En los cinco años siguientes se hicieron mucho más grandes; el aumento fue de órdenes de magnitud, no de porcentajes. El problema de fondo sigue donde estaba, con parches encima, y la industria entera ha adoptado un vocabulario [alucinación, razonamiento, comprensión] que describe el aparato como si tuviera dentro algo que el propio aparato no tiene.

Lo que le costó el puesto a Gebru no fue anunciar una catástrofe. Fue describir el producto.

Esa es la diferencia con casi todas las historias de este tipo. No la echaron por exagerar; el artículo no exagera, es un repaso prudente de literatura existente con una metáfora buena en el título. La echaron, o se fue, por describir con precisión lo que estaba a punto de convertirse en la principal línea de negocio de la empresa.

VI

Contra mí, porque escribir esto desde aquí es cómodo.

Todo lo que acabo de contar como advertencia cumplida lo estoy contando desde el lado de quien se beneficia. La herramienta me ahorra horas de trabajo real, la uso con gusto, y mi indignación no ha cancelado la suscripción ni un solo mes.

Hay una segunda cosa peor. El artículo advertía de que el coste lo iban a pagar personas que no verían el beneficio, y esa parte también se cumplió: la gente que limpia y etiqueta esos datos cobra por hora lo que yo pago al mes. No es una consecuencia lateral del negocio. Es el negocio.

Yo lo sé. Sigo pagando los veintitrés euros.

VII

Vuelvo al correo del 2 de diciembre.

Hay algo en la ambigüedad de aquel día que se entiende mejor ahora. Despedida o dimitida, la discusión pública duró semanas y consumió toda la atención disponible, mientras que el contenido del artículo [once páginas, sin una sola afirmación extraordinaria] tardó tres años en ser consenso.

Casi tres mil empleados firmaron una carta de apoyo. La empresa no cambió de posición. La unidad se reorganizó, la otra coautora de dentro fue despedida diez semanas después [febrero de 2021], y la línea de negocio que el artículo describía pasó a ser la prioridad declarada de la compañía.

Un año después Gebru fundó un instituto propio, pequeño y financiado con donaciones, para hacer la misma investigación sin pedirle permiso a nadie.

Once páginas.

Cuatro autoras, de las cuales una tuvo que firmar con un nombre falso.

Dos mil seiscientos noventa y cinco empleados firmaron la carta.

Diez semanas entre un despido y el otro.

Mi suscripción, este mes: veintitrés euros.