Transparencia algorítmica

Como parte de una serie de regulaciones legales, en muchos países se ha empezado a requerir de forma obligatoria una explicación “humana” sobre la predicción que modelos que ocupan componentes de inteligencia artificial. Ya no solo es el Reglamento General de Protección de Datos de Europa, ahora también hay legislación parecida en California, Brasil, China y otros países. 

Esta regulación obliga a entender el concepto de ‘transparencia algorítmica’, que consiste en tener una explicación que pueda ser entendida por un humano sobre la salida de una predicción realizada por un modelo, normalmente de machine learning. Esta explicación debe cumplir los siguientes objetivos: 1) permite que la persona sobre quien se realizará la acción asociada a la salida de la predicción pueda entender el por qué de la predicción; 2) permite a los usuarios generar confianza en el modelo de predicción; y 3) nos permite a los desarrolladores de este tipo de soluciones verificar si las explicaciones tienen sentido, es decir, si el modelo está aprendiendo las cosas adecuadas o está haciendo predicciones correctas bajo supuestos incorrectos mucho antes de ponerlas en producción.

No todos los modelos de machine learning pueden ser “explicados”, únicamente las soluciones de aprendizaje supervisado pueden tener una explicación humana sin importar el algoritmo de machine learning utilizado. Esto es, no importa si el algoritmo es muy complejo como una red neuronal profunda o muy sencillo como un árbol de decisión, si la solución corresponde a una tarea de aprendizaje supervisado, es posible generar una explicación humana individual a cada predicción. 

Por ejemplo, un algoritmo de machine learning que predice si una persona pagará su crédito hipotecario puede generar una explicación de porqué a Liliana Millán le ha negado el crédito, esto me permitirá conocer la razón por la cual se me ha negado un servicio y los componentes que formaron parte de esa decisión. La explicación humana en este caso puede estar asociada a que en los últimos seis meses no pagué a tiempo mi tarjeta de crédito y esta es la razón por la que se me ha negado el crédito, de esta manera yo puedo trabajar sobre las razones por las que se me negó el crédito hipotecario, y poder regresar meses después a solicitar nuevamente un crédito hipotecario. 

Siguiendo con este mismo ejemplo, la explicación es clara para el usuario, conozco la razón de porqué se negó el servicio. Asimismo, es lógica para el contexto, nos permite confiar en que el modelo está tomando decisiones “adecuadamente”. Si por otro lado resultara que la explicación asociada a la negación del servicio es porque yo no tengo un carro, quedaría claro que el modelo está equivocado, pues tener un carro no influye en mi comportamiento financiero ni en mi posibilidad de pagar un crédito hipotecario.