‘La AI sobrerrepresenta opiniones hegemónicas’, la crítica de Timnit Gebru que no soportó Google

‘Es como la fiebre del oro’, comenta Timnit Gebru. “De hecho, es una fiebre del oro. Y muchas de las personas que están ganando dinero no son las que realmente están en medio de ella. Pero son los humanos quienes deciden si se debería hacer todo esto o no. Deberíamos recordar que tenemos la capacidad para hacerlo”.

Gebru habla sobre su campo de especialización: la inteligencia artificial. El día que hablamos por videollamada, ella se encontraba en Kigali, Ruanda, preparándose para impartir un taller y presidir un panel en una conferencia internacional sobre inteligencia artificial.

La conferencia abordará el enorme crecimiento de las capacidades de la inteligencia artificial, así como un aspecto que la frenética conversación sobre la inteligencia artificial no contempla: el hecho de que muchos de sus sistemas pueden estar construidos sobre un enorme desorden de prejuicios, desigualdades y desequilibrios de poder.

Esta reunión, denominada burdamente Conferencia Internacional sobre Representaciones de Aprendizaje, marca la primera vez que se reúnen personas de este campo en un país africano, lo cual demuestra claramente la negligencia de las grandes empresas tecnológicas respecto a los países en vías de desarrollo. Cuando Gebru habla sobre el modo en que la inteligencia artificial “afecta a las personas de todo el mundo y estas no pueden opinar sobre cómo deberían moldearla”, su experiencia realza aún más la cuestión.

En su adolescencia, Gebru fue una refugiada de la guerra entre Etiopía, país en el que creció, y Eritrea, país en el que nacieron sus padres. Tras pasar un año en Irlanda, llegó a las afueras de Boston, Massachusetts, y de ahí a la Universidad de Stanford, en el norte de California, Estados Unidos, lo cual le abrió el camino a una carrera en la vanguardia de la industria informática: Apple, después Microsoft y más tarde Google. Sin embargo, a finales de 2020, su trabajo en Google llegó a su fin de forma repentina.

Como codirectora del pequeño equipo de inteligencia artificial ética de Google, Gebru fue una de los autores de un artículo académico que advirtió sobre el tipo de inteligencia artificial que se está incorporando de forma creciente a nuestras vidas, que está llevando las búsquedas en internet y las recomendaciones a los usuarios a niveles aparentemente nuevos de complejidad y que amenaza con dominar talentos humanos como la escritura, la composición musical y el análisis de imágenes.

El peligro evidente, indicaba el documento, es que esa supuesta “inteligencia” se basa en enormes conjuntos de datos que “sobrerrepresentan opiniones hegemónicas y codifican sesgos potencialmente perjudiciales para las poblaciones marginadas”.

Dicho de forma más contundente, la inteligencia artificial amenaza con acentuar el dominio de una forma de pensar que es blanca, masculina, comparativamente acomodada y centrada en Estados Unidos y Europa.

En respuesta, los altos ejecutivos de Google exigieron a Gebru que retirara el artículo o retirara del mismo su nombre y el de sus colegas. Esto desencadenó una serie de acontecimientos que desembocaron en su salida. Google sostiene que Gebru renunció; Gebru insiste en que la despidieron.

Lo que todo esto le enseñó, comenta, es que las grandes empresas tecnológicas están obsesionadas con el desarrollo de la inteligencia artificial y “no quieren a alguien como yo que se interpondrá en su camino. Creo que esto dejó muy claro que, a menos que exista una presión externa para que se haga algo diferente, las empresas simplemente no se autorregularán. Necesitamos una regulación y necesitamos algo mejor que el simple afán de lucro”.

Gebru, que tiene 40 años, en ocasiones habla vertiginosamente rápido, como si los ricos detalles de su vida pudieran exceder la hora o poco más que tenemos para hablar. Suele utilizar el vocabulario preciso y comedido de una persona con información privilegiada sobre tecnología, matizado con un sentido del absurdo que se centra en una ironía particularmente estruendosa: el hecho de que una industria rebosante de personas que defienden opiniones liberales y deliberadamente progresistas a menudo parece llevar al mundo en la dirección opuesta.

Uno de los temas a los que regresa en repetidas ocasiones es el racismo, incluidas las experiencias de prejuicios que vivió en el sistema educativo estadounidense y en Silicon Valley. Cuando estudiaba en la preparatoria en Massachusetts, explica, su don para la ciencia fue objeto de un trato franco (un profesor le dijo: “He conocido a muchas personas como tú que creen que simplemente pueden venir aquí de otros países y cursar las clases más difíciles”) y pasivo-agresivo: a pesar de sus altas calificaciones en física, su petición para seguir estudiando la asignatura se topó con la preocupación de que le pudiera resultar demasiado difícil.

“Lo que me resultó muy confuso como migrante fue ese tipo de racismo liberal”, comenta. “Gente que parece que se preocupa de verdad por ti, pero que decía: ‘¿No crees que va a ser difícil para ti?’ Tardé un tiempo en realmente entender qué estaba pasando”.

Posteriormente tuvo una experiencia decisiva relacionada con prejuicios aún más descarados, cuando ella y una amiga –una mujer afroamericana– fueron atacadas en un bar. “Ese fue el encuentro más aterrador que he tenido en Estados Unidos”, comenta. “Fue en San Francisco, de nuevo, otro lugar liberal. Me estaba atacando un grupo de hombres y nadie me ayudó en absoluto. Aquello fue lo que más miedo me dio: que te estrangularan y que la gente pasara y te mirara”.

Gebru llamó a la policía. “Y eso fue peor que no llamarlos, porque primero me acusaron de mentir varias veces, y seguían diciéndome que me calmara. Y después esposaron a mi amiga, que acababa de ser atacada”. Su amiga también estuvo detenida en una celda de la policía.

En Stanford, aunque algunos de sus compañeros blancos le preguntaban con frecuencia con condescendencia si había entrado gracias a un programa de discriminación positiva, sus años de licenciatura transcurrieron en un entorno en el que al menos los altos cargos “hablaban mucho de diversidad, y contaban con personas de distintos lugares”.

No obstante, tras trabajar como ingeniera de sonido para Apple entre 2005 y 2007, regresó a Stanford para estudiar un doctorado y vivió experiencias muy distintas. Su vida, explica, se convirtió en algo como “ir a una oficina todos los días con el mismo grupo de gente. Y no había nadie que se pareciera a mí. Fue simplemente impactante”.

Gebru empezó a especializarse en inteligencia artificial de vanguardia, siendo pionera de un sistema que mostraba cómo los datos sobre los patrones de propiedad de automóviles en determinados vecindarios resaltaban las diferencias relacionadas con el origen étnico, las cifras de delincuencia, el comportamiento electoral y los niveles de ingresos.

En retrospectiva, este tipo de trabajo podría parecer la base de las técnicas que podrían mezclarse en la vigilancia automatizada y la aplicación de la ley, sin embargo, Gebru admite que “ninguna de esas alarmas se activó en mi cabeza … esa conexión de las cuestiones de la tecnología con la diversidad y la opresión apareció después”.

Sin embargo, al poco tiempo comenzó a pensar profundamente en cómo las innovaciones de las grandes empresas tecnológicas con frecuencia encarnaban las mismas desigualdades evidentes en sus oficinas, laboratorios y actividades sociales. En 2015, Google tuvo que disculparse cuando los sistemas de inteligencia artificial que funcionaban en su aplicación “Fotos” identificaron erróneamente a una pareja afroamericana como gorilas.

Un año después, el centro de estudios ProPublica reveló que el software utilizado en Estados Unidos para evaluar las posibilidades de reincidencia de los convictos en las cárceles tenía un fuerte sesgo en contra de las personas afroamericanas. Mientras tanto, Gebru se volvía cada vez más consciente de los aspectos de la cultura de la industria tecnológica que se escondían detrás de esas historias.

Por aquel entonces, asistió a una importante conferencia sobre inteligencia artificial en Montreal, donde, en una fiesta de Google, un grupo de hombres blancos la acosó públicamente. “Uno de ellos me besó, otro me sacó una foto. Y yo me quedé como congelada: Realmente no hice nada. Estaban celebrando una fiesta en una conferencia académica con bebidas ilimitadas en un bar y ni siquiera dejaban claro que se trataba de un evento profesional. Obviamente, nunca se debería acosar así a las mujeres –ni a nadie–. Pero eso era desenfrenado en estas conferencias”. Los organizadores de la conferencia señalan que desde entonces “elaboraron” su código de conducta; ahora tienen “un nuevo punto de contacto único para preocupaciones y quejas, que se supervisa minuciosamente”.

El año siguiente, Gebru hizo un recuento de los asistentes afroamericanos que acudieron al mismo evento. Descubrió que, entre los 8 mil 500 delegados, solo había seis personas de color. En respuesta, escribió una publicación en Facebook que ahora parece premonitoria: “No me preocupan las máquinas que se están apoderando del mundo; me preocupan el pensamiento grupal, la estrechez de pensamiento y la arrogancia en la comunidad de la inteligencia artificial”.

En ese contexto, puede parecer sorprendente que, después de pasar un año trabajando en el laboratorio de imparcialidad, responsabilidad, transparencia y ética en la inteligencia artificial de Microsoft, Gebru aceptara un puesto en Google. En 2018, gracias a Margaret Mitchell, una especialista en sesgo algorítmico recién contratada, Gebru fue contratada para codirigir un equipo que se dedicaba a la ética de la inteligencia artificial. “Estaba llena de inquietud”, comenta. “Pero pensé: ‘Bueno, Margaret Mitchell está aquí, podemos trabajar juntas. ¿Con quién más puedo trabajar? Pero así fue como me metí: yo pensaba: ‘Me pregunto cuánto podré durar aquí'”.

“Fue una decisión difícil”, explica. “Porque, en el momento en que me iba a incorporar a Google, había escuchado a varias mujeres hablar sobre acoso sexual, y otros tipos de acoso, y realmente me habían dicho: ‘No lo hagas'”.

Cuando entró Gebru, los empleados de Google se oponían abiertamente al papel de la empresa en el Proyecto Maven, que utilizaba inteligencia artificial para analizar imágenes de vigilancia captadas por drones militares (Google puso fin a su participación en 2018). Dos meses después, el personal participó en una gran huelga debido a denuncias de racismo sistémico, acoso sexual y desigualdad de género. Gebru comenta que era consciente de que “se toleraba demasiado el acoso y todo tipo de comportamientos tóxicos”.

En su misión de destacar algunas de las cuestiones morales y políticas que rodean a la inteligencia artificial, su equipo contrató al primer científico social de Google. Ella y sus colegas se enorgullecían de cuán diversa era su pequeña operación, así como de los asuntos que planteaban a la empresa, que incluían cuestiones relacionadas con la propiedad de YouTube por parte de Google.

Un colega de Marruecos alertó sobre un popular canal de YouTube que existía en ese país y que se llamaba Chouf TV, “que básicamente estaba gestionado por la rama de inteligencia del gobierno y lo utilizaban para acosar a periodistas y disidentes. YouTube no había hecho nada al respecto”. (Google señala que “necesitaría revisar el contenido para saber si viola nuestras políticas. Pero, en general, nuestras políticas en materia de acoso prohíben estrictamente los contenidos que amenazan a las personas, atacan a alguien con continuos o maliciosos insultos basados en atributos intrínsecos o revelan información personal identificable de una persona”).

Posteriormente, en 2020, Gebru, Mitchell y dos colegas escribieron el artículo que conduciría a la salida de Gebru. Se titulaba On the Dangers of Stochastic Parrots (Sobre los peligros de los loros estocásticos). Su argumento clave giraba en torno a la inteligencia artificial que se centra en los denominados grandes modelos de lenguaje (LLM): el tipo de sistemas –como ChatGPT de OpenAI y PaLM 2 de Google, de reciente lanzamiento– que, hablando burdamente, se alimentan de grandes cantidades de datos para poder realizar tareas complejas y generar contenidos.

Estas fuentes suelen proceder de internet e inevitablemente incluyen material que suele estar sujeto a derechos de autor (si un sistema de inteligencia artificial puede producir prosa con el estilo de un determinado escritor, por ejemplo, se debe a que ha absorbido gran parte de la obra de dicho escritor). Sin embargo, Gebru y sus coautores tenían una preocupación incluso más grave: que al rastrear el mundo en línea se corre el riesgo de reproducir sus peores aspectos, desde el discurso de odio hasta las opiniones que excluyen a personas y lugares marginados.

“Al aceptar grandes cantidades de texto web como ‘representativo’ de ‘toda’ la humanidad, nos arriesgamos a perpetuar las opiniones dominantes, aumentar los desequilibrios de poder y cosificar aún más la desigualdad”, escribieron.

Cuando se presentó el artículo para su revisión interna, uno de los vicepresidentes de Google rápidamente contactó a Gebru. Al principio, explica, se expresaron objeciones no específicas, como que ella y sus colegas fueron demasiado “negativos” respecto a la inteligencia artificial. Después, Google pidió a Gebru que retirara el artículo o que eliminara del mismo su nombre y el de sus colegas.

Gebru comenta que le dijo a la empresa que no se retractaría y que solo retiraría los nombres de los autores si Google especificaba sus objeciones. Si esto no ocurría, señaló, ella renunciaría. También envió varios correos electrónicos a mujeres que trabajaban en la división de inteligencia artificial de Google, en los que explicaba que la empresa estaba “silenciando voces marginadas”.

Luego, en diciembre de 2020, mientras estaba de vacaciones, uno de sus colegas más cercanos le envió un mensaje de texto para preguntarle si era correcto el correo electrónico que había visto en el que se decía que Gebru había dejado la empresa. Las cuentas posteriores señalaban que Google había citado “un comportamiento incoherente con las expectativas de un director de Google”.

Me pregunto cómo se sintió ella. “No estaba en modo ‘pensar’. Simplemente estaba en modo ‘actuar’, algo así como: ‘Necesito un abogado y tengo que contar mi historia; me pregunto qué están planeando; me pregunto qué van a decir de mí'”. Hace una pausa. “Pero me despidieron. En medio de mis vacaciones, en un viaje por carretera para visitar a mi madre, en medio de una pandemia”.

En respuesta a lo que Gebru comenta sobre el acoso laboral y el comportamiento tóxico en Google, sus experiencias en la fiesta en Montreal y la naturaleza de su salida, la oficina de prensa de la empresa me envía por correo electrónico una serie de “antecedentes”.

“Estamos comprometidos con la construcción de un lugar de trabajo seguro, inclusivo y respetuoso, y tomamos muy en serio la mala conducta”, dice el correo. “Tenemos políticas estrictas contra el acoso y la discriminación, investigamos exhaustivamente todas las preocupaciones denunciadas y tomamos medidas firmes contra las acusaciones fundamentadas. También disponemos de varios medios para que nuestros trabajadores puedan reportar sus preocupaciones, incluso de forma anónima”.

Hace cinco años, prosigue, la empresa revisó “la forma en que gestionamos e investigamos las preocupaciones de los empleados, con la introducción de nuevos programas de atención a los empleados que reportan sus preocupaciones y haciendo que la mediación sea opcional para los empleados de Google”.

En cuanto a las preguntas sobre los sistemas de inteligencia artificial que utilizan material protegido por derechos de autor, un vocero indica que Google “innovará en este ámbito de forma responsable, ética y legal”, y que planea “seguir colaborando y debatiendo con las editoriales y el ecosistema para encontrar la manera de que esta nueva tecnología ayude a mejorar su trabajo y beneficie a todo el ecosistema web”.

Tras su salida, Gebru fundó Dair, el Distributed AI Research Institute (Instituto de Investigación de Inteligencia Artificial Distribuida), al que ahora dedica su jornada laboral. “Tenemos gente en Estados Unidos y la Unión Europea, y en África”, comenta. “Tenemos científicos sociales, informáticos, ingenieros, defensores de los refugiados, organizadores sindicales, activistas… es una mezcla de personas”.

Entre los miembros del instituto, me explica, figuran un exrepartidor de Amazon y personas que tienen experiencia en el monótono y en ocasiones traumático trabajo de etiquetar manualmente contenidos en línea –incluido material ilegal y tóxico– para entrenar sistemas de inteligencia artificial. Gran parte de este trabajo se lleva a cabo en países en vías de desarrollo. “Existe mucha explotación en el campo de la inteligencia artificial, y queremos hacerla visible para que la gente sepa qué está mal”, señala. “Pero además, la inteligencia artificial no es magia. Hay muchas personas involucradas: humanos”.

Paralelamente, esto es una misión para ir más allá de la tendencia de la industria tecnológica y los medios de comunicación de centrar la atención en las preocupaciones de que la inteligencia artificial se apodere del planeta y acabe con la humanidad, mientras siguen sin plantearse las preguntas sobre lo que hace la tecnología y a quién beneficia y perjudica.

“Esa conversación atribuye la responsabilidad a una herramienta en lugar de a los humanos que la construyen”, explica. “Eso significa que se puede añadir responsabilidad: ‘El problema no soy yo. Es la herramienta. Es superpoderosa. No sabemos qué va a hacer’. Bueno, no, tú eres el problema. Estás construyendo algo con ciertas características para tu beneficio. Eso es extremadamente molesto, y desvía la atención de los daños reales y de las cosas que tenemos que hacer. En este momento”.

¿Cómo se siente al enfrentarse a sus exjefes de Silicon Valley? “No sé si los cambiaremos o no”, responde. “Nunca vamos a conseguir algo como un cuatrillón de dólares para hacer lo que estamos haciendo. Simplemente creo que tenemos que hacer lo que podamos. Tal vez, si suficientes personas hacen pequeñas cosas y se organizan, la situación cambiará. Esa es mi esperanza”.