Este texto es, sobre todo, una invitación a explorar una vía de pensamiento e investigación para las humanidades. Esta vía es el pensamiento crítico sobre los algoritmos. Voy a mostrar, con algunos ejemplos, que los algoritmos están presentes en varias formas de relacionarnos y que se proyectan, en un futuro no muy lejano, como artefactos casi ubicuos en nuestras relaciones. Ante ese panorama, voy a tratar de mostrar que los algoritmos no son artefactos neutros, sino que encarnan relaciones de poder y autoridad, esto es, relaciones políticas. A partir de lo anterior, voy a presentar algunas preguntas que se derivan de esa no neutralidad de los algoritmos y que deberían ser abordadas fundamentalmente por las humanidades, entendidas como un campo de investigación transdisciplinar.

Así pues, les pido que suspendan un momento la lectura para lo siguiente: hagan un listado de sus actividades e interacciones recientes con otras personas y respondan ¿cuáles de esas interacciones no están mediadas por un artefacto digital? En mi caso, ante la cuarentena y la necesidad de comunicación con estudiantes, colegas, amigos y familia, mis interacciones están muy mediadas por artefactos digitales, y así por algoritmos hechos software. En la semana tengo varias reuniones por Google Meets, Microsoft Teams y Zoom. Bueno, y todo el tiempo estamos interactuando con personas por WhatsApp. Por otro lado, mientras leo o reviso documentos, pongo música en Deezer. Puede que ustedes usen otras aplicaciones para esta actividad, como Spotify o ¡Tunes. Por otro lado, como muy pocas veces veo noticieros, entonces me entero de las noticias por Twitter. Casi no uso Facebook, pero por lo menos una vez a la semana ingreso a ver qué chisme nuevo me encuentro. Ahora, en medio del aislamiento preventivo, he descubierto la utilidad de aplicaciones de domicilios para mercados, como Merqueo –con Rappi tengo mis reservas así que no la uso. La cuarentena también me ha dado la oportunidad, dado que ya no gasto ingentes cantidades de tiempo en los trancones de Bogotá, de dedicar algo de la vida a cocinar. Y como no soy experto, busco recetas en Youtube. Dadas las posibilidades que tengo, pago servicios públicos y demás transacciones financieras por internet. En fin, aunque no puedo decir que toda mi vida transcurra por medio de un artefacto digital que requiera software y, en consecuencia, esté presente un algoritmo, sí es claro que realizo mucho de mi vida con algoritmos. ¿En qué medida les sucede esto a ustedes?

Además de lo anterior, hoy en día vemos un aumento de aplicaciones de Inteligencia Artificial (IA), que no es otra cosa que sofisticados algoritmos ejecutando[1] acciones cuyos resultados no pueden menos que asignarse a un ente inteligente, en tanto se habla de entrenamiento de los algoritmos y de aprendizaje de máquinas. Veamos algunos ejemplos: en medicina, concretamente en radiología[2], la lectura de imágenes diagnósticas, incluso ahora con el Covid-19[3], es un campo de desarrollo de mucha actividad. Allí hay una promesa sobre la efectividad y eficiencia con que algoritmos de IA podrán leer una gran cantidad de imágenes y proveer a los médicos con hipótesis diagnósticas. En contraste, para ver el amplio panorama de las aplicaciones, en el fútbol[4] se ha visibilizado recientemente un software de IA cuya promesa es el apoyo para clubes y equipos en la toma de decisiones deportivas y empresariales. Otra aplicación que encontré recientemente es el uso de IA para la gestión de inventarios en los supermercados[5], algo que no parece tan sorprendente porque en ese tipo de actividades desde hace mucho tiempo se usan algoritmos, así no se les califique como inteligentes. Más sorprendente, puede ser una aplicación que desarrolló Yamaha[6], que traduce los movimientos de un bailarín en pulsaciones de piano y, así, en música. El arte, sin duda, parece ser una de las manifestaciones más representativas de la inteligencia, y ahí las aplicaciones de IA encuentran un reto interesante. En esta vía, otro ejemplo es un software diseñado por Pindar Van Arman[7] con el propósito de imitar la creatividad de un pintor. Finalmente, otros dos ejemplos, que me servirán más abajo para plantear preguntas que las humanidades deberían abordar, son aplicaciones en: transporte, especialmente en los carros autónomos[8]; y en reconocimiento facial articulado con la criminología.

La idea fundamental, en todos estos casos, resulta ser la capacidad del algoritmo de IA para procesar, en poco tiempo, grandes cantidades de datos y proveer, de vuelta, sugerencias de interpretación de estos como apoyo a la toma de decisiones. Y, cuando se habla de capacidad para procesas datos se quiere decir que el software está diseñado para crear las categorías con que clasifica los datos, no se trata de que aplique categorías previamente definidas por el ingeniero del software[9]. De alguna forma, es por esta característica que se le califica como inteligencia. Resulta ser que una de las características de los humanos, como seres inteligentes, es su capacidad para ordenar el mundo, esto es, para crear categorías con las cuales clasificar y dotar de sentido su experiencia. Si equiparamos los datos que se suministran al software con la experiencia humana, lo cual puede ser debatible, estos algoritmos pareciera que la dotan se sentido al clasificarla, pero, sobre todo, al crear las categorías para esa tarea[10].  Lo anterior, además, involucra el denominado aprendizaje de máquinas. Se afirma que estos algoritmos aprenden a partir de la experiencia de expertos humanos, esto es, para que estos softwares procesen los datos, previamente se les ha entrenado a partir de las decisiones que han tomado humanos en casos concretos.

Ahora bien, en esa capacidad de procesamiento de datos y de aprendizaje se anclan los discursos respecto a una pretendida objetividad de las aplicaciones de IA. En tanto se considera a los algoritmos, y en general a los artefactos tecnológicos, como materialización de la racionalidad científica (Deus ex machina[11]), la cual se concibe como objetiva, entonces los artefactos y sus pretendidos efectos se invisten de esa misma cualidad. De esta manera, un argumento común, entre técnicos, ingenieros, científicos de la computación y tecnócratas, es que estos artefactos son neutros y sus efectos, positivos o negativos, dependen de las formas en que las personas los usen. Sin embargo, la invitación que constituye este artículo se orienta, justamente, a poner en cuestión, relativizar y matizar esa objetividad. Como espero mostrar a continuación, los algoritmos no son neutros, lo que quiere decir que encarnan relaciones políticas, esto es, los algoritmos tienen agencia en la constitución de las asociaciones que conforman nuestras sociedades. Esto nos permite hacer preguntas sobre su agencia en la constitución de nuestras formas de relacionarnos.

Veamos un primer ejemplo que me parece muy claro. El clásico dilema del tranvía, explicado por Philipa Foot[12], tiene una manifestación concreta en la construcción de los algoritmos de IA para el control de carros autónomos. De forma general, porque hay variadas situaciones concretas, en la construcción del software, los ingenieros deben involucrar elementos con los cuales, una vez en acción y ante una situación de peligro, el carro elija cuál decisión tomar: ¿debe salvar al pasajero del carro en detrimento de los peatones o de animales en la vía, así el pasajero sea uno y los peatones o animales varios?, ¿debe sacrificar la menor cantidad de vidas?, ¿debe privilegiar a su pasajero, que es un alto ejecutivo, o un peatón que resulta ser una persona en situación de vida en calle?[13] En este ejemplo, hay un claro dilema ético que los ingenieros resuelven bajo la pretendida objetividad del análisis y procesamiento de datos. Sin embargo, el algoritmo, en tanto es entrenado a partir de experiencias de expertos humanos, sin duda puede involucrar sus sesgos.

En esa vía está otro ejemplo de IA. Los softwares de IA para reconocimiento facial han mostrado sesgos[14] que configuran mecanismos contemporáneos de racialización. Estos softwares resultan tener un sesgo en relación con el color de la piel de las personas. Mientras no suelen tener complicaciones para reconocer el rostro de personas con piel clara o blanca, tienen muchos problemas con personas de piel oscura o negra. Y esto se pueden complicar aún más, cuando esas aplicaciones se involucran con estrategias de vigilancia[15], pues los sesgos sobre el color de piel, la desconfianza y la seguridad están a la orden del día en estos tiempos. Es así como, las aplicaciones de IA involucran cuestiones sobre biopolítica[16].   

Otro ejemplo, sin muchos detalles, que muestra la agencia política de los algoritmos es el caso de Tik Tok. A esta red social de videos se le ha acusado recientemente de discriminar videos en función del cuerpo y la condición económica de las personas[17].

Estos ejemplos de algoritmos que median nuestras formas de relacionamiento, incluidas aquellas con el Estado, me permiten sostener que esos artefactos no son neutros, en tanto su configuración, y no solo su uso, incorporan sesgos de diferentes tipos y, así, constituyen relaciones de poder, pues favorecen la exclusión de personas en función de su condición económica o étnica.

Así las cosas, surgen preguntas que llaman a las Humanidades a la acción y a la reflexión, algunas de las cuales pueden ser: ¿qué formas de discriminación instauran los distintos algoritmos con los que nos involucramos?, ¿cómo visibilizar esas formas de discriminación?, “¿Cómo afectan nuestra capacidad de decisión y acción los nuevos dispositivos digitales [i.e. algoritmos]?”[18], ¿de qué forma los algoritmos recolectan datos sobre nuestras vidas y acciones, y cómo nos puede afectar esto?, ¿cómo se constituyen formas de vigilancia a través de los algoritmos?

Pies de página: 

[1] En este punto, el lenguaje se pone, por así decirlo, al límite: ¿cómo denominar lo que hacen esos artefactos: acción, comportamiento, ejecución? El límite aparece en que determinadas acciones solo estamos dispuestos a reconocerlas de humanos, pero no de artefactos.

[2] https://scielo.conicyt.cl/scielo.php?script=sci_arttext&pid=S0717-93082017000300001 (Consultado el 23 de abril de 2020)

[3] https://www.technologyreview.com/2020/04/23/1000410/ai-triage-covid-19-patients-health-care/?utm_medium=tr_social&utm_campaign=site_visitor.unpaid.engagement&utm_source=Twitter#Echobox=1587667356 (Consultado el 23 de abril de 2020)

[4] https://cincodias.elpais.com/cincodias/2019/10/14/fortunas/1571075012_431129.html (Consultado el 13 de Junio de 2020)

[5] https://mashable.com/video/walmart-store-uses-ai-to-track-stock/ (Consultado el 24 de abril de 2020)

[6] https://mashable.com/2018/02/01/yamaha-ai-system-translates-dancer-s-motion-into-music-piano/ (Consultado el 30 de mayo de 2020)

[7] https://mashable.com/video/robot-painter-can-arman/ (Consultado el 13 de abril de 2020)

[8] https://elpais.com/elpais/2019/01/02/opinion/1546455278_349208.html (Consultado el 10 de junio de 2020)

[9] Amoore, Louise and Piotukh, Volha Ed. (2016). Algorithmic Life. Calculate devices in the age of big data. Routlegde, London and New York. Introduction.

[10] Una buena descripción, en lenguaje de divulgación, se encuentra en el sitio: https://planetachatbot.com/inteligencia-artificial-aprendizaje-autom%C3%A1tico-y-aprendizaje-profundo-862ca9790bb9 (Consultado el 10 de junio de 2020)

[11] Woolgar, Steve and Grint, Keith (1997). The Machine at Work. Techology, Work and Organization. Polity Press in association with Blackwell Publishers Ltd. Cambridge, UK.

[12] Foot, Philippa (2002). Virtues and Vices and Other Essays in Moral Philosophy. Oxford University Press. First published 1978 by Blackwell Publishers and University of California Press

[13] En los siguientes enlaces se pueden algunas presentaciones de este dilema actualizado a las aplicaciones de los carros autónomos: https://elpais.com/elpais/2018/10/24/ciencia/1540367038_964708.html y https://www.playground.media/news/el-test-para-decidir-a-quien-mataran-los-robots-el-dia-de-manana-22519 (Consultados el 20 de junio de 2020)

[14] Aquí algunos ejemplos: https://www.abc.es/tecnologia/moviles/abci-mujeres-negras-mas-discriminadas-sistema-reconocimiento-facial-201802121958_noticia.html , https://www.bbc.com/mundo/noticias/2015/07/150702_tecnologia_google_perdon_confundir_afroamericanos_gorilas_lv , y https://www.lavanguardia.com/internacional/20200611/481710398480/ibm-reconocimiento-facial-racismo-tecnologia-negros.html (Consultados el 20 de junio de 2020)

[15] Algunos ejemplos de estas aplicaciones: https://www.elespectador.com/noticias/ciencia/el-matematico-que-quiere-predecir-los-crimenes-de-bogota/, https://elpais.com/tecnologia/2019/05/21/actualidad/1558455279_966010.html, y https://www.lavanguardia.com/tecnologia/20190518/462270404745/reconocimiento-facial-china-derechos-humanos.html (Consultados el 20 de junio de 2020)

[16] Este concepto refiere claramente a la obra de Michel Foucault: Historia de la sexualidad 1. La voluntad de saber; Defender la sociedad; y Seguridad, territorio y población.

[17] Véase: https://theintercept.com/2020/03/16/tiktok-app-moderators-users-discrimination/,   https://hipertextual.com/2020/03/tiktok-gente-fea-gorda-pobre o https://www.lavanguardia.com/cribeo/cultura/20200318/474244004703/tiktok-tiene-norma-promocionar-videos-gente-fea-pobre-gorda-discapacidad-redes-sociales-discriminacion.html (Consultados el 20 de junio de 2020)

[18] Amoore, Louise and Piotukh, Volha Ed. (2016).  Op. Cit. Página. 16.