Muchas de las
ideas de Eric Pariser también las comparte la doctora Cathy O’Neil, matemática
por la universidad de Harvard, en su libro Armas de Destrucción Matemática:
cómo el BIG DATA aumenta la desigualdad y la democracia (2017).
La autora
asegura que los algoritmos están empezando a dirigir nuestras vidas, a veces de
manera injusta. Lo demuestra presentando casos reales de algunos sistemas matemáticos
que han influido o están influyendo en la vida de muchas personas llegando a determinar,
por ejemplo, a qué universidad irán, el trabajo que conseguirán, si podrán comprar
un coche o contratar un seguro e incluso presionar en el voto ante unas elecciones
nacionales.
El caso más
sonado que introduce el libro en las primeras páginas y que vuelve a mencionar Cathy
O’Neil en una entrevista
que concedió al periódico El País hace aproximadamente un año, es el del
sistema de evaluación del personal docente que se implantó en los distritos
escolares más deficientes de Washington D.C. a finales del curso académico 2009/2010.
Este modelo matemático partió de la idea de que el rendimiento académico de los
alumnos dependía mayoritariamente de la eficacia de sus profesores, así que
utilizaba las notas de los alumnos para calificarlos. Si las notas del grupo
eran bajas, el docente recibía una mala calificación y, por lo tanto, tenía más
riesgo de ser despedido. En el curso 2010/2011 se despidieron a 205 docentes considerados “malos profesores” según el algoritmo del sistema. Este
fue el caso de Sara Wysocki, una maestra primaria que, a pesar de que siempre
había recibido muy buenos comentarios de su práctica educativa, fue despedida ese
año (2017:12-14).
Uno de los
grandes problemas de estos sistemas es el “secretismo” que, como menciona O’Neil en
la entrevista, en el caso del sistema de evaluación del profesorado, impedía a los docentes reclamar su puntuación: era
demasiado difícil explicar de dónde venían esos número porque nadie sabía cómo
funcionaba exactamente el algoritmo (2017:17). Esta falta de transparencia es una de las cualidades
que definen lo que O’Neil considera un “Arma de Destrucción Matemática” (ADM en
adelante).
Un ADM es
básicamente un modelo matemático opaco, como el que acabamos de explicar, e
injusto, pues perjudica sin motivo a muchas personas, normalmente las
más vulnerables, pero también a la clase media. Además, posee un nivel de influencia
potencialmente expandible a ciertos sectores básicos como son la contratación,
la banca, las administraciones públicas de educación, sanidad, justicia, etc. Por
otro lado, son considerados “bucles de retroalimentación perniciosos” ya que “las
puntuaciones que asignan a las personas ayudan a crear, en cierto modo, el entorno
en el que se justifican” (2017:41). Estas últimas características se ven
claramente reflejadas en el modelo que determina el riesgo de reincidencia de
los reclusos, instalado en la mayoría de prisiones de los Estados Unidos de
América, el cual muchos jueces tienen en cuenta para asignar el tiempo de condena en la sentencia.
Se basa en un cuestionario
que recoge datos relevantes como los antecedentes del incriminado, su papel en
el delito, la relación de este con el consumo de drogas... Pero también otras
informaciones relativas a la vida y entorno del mismo, como el lugar de donde
procede, la primera vez que tuvo contacto con la policía, si sus familiares o
amigos han tenido problemas con la justicia, etc. En cierto modo, es injusto valorar el contexto socio-económico donde ha vivido el recluso, pues hace
que reciba una puntuación alta de riesgo de reincidencia y que, por consiguiente,
su condena sea más larga que la que le asignarían a una persona que ha cometido
el mismo crimen, pero que se haya criado en un barrio de clase acomodada. Además, el hecho de
que pase muchos años en prisión disminuirá las posibilidades de que encuentre
un trabajo estable al salir de la cárcel, por lo que será más probable que recurra
a acciones poco legales para buscarse la vida y termine por ser arrestado de
nuevo. Una consecuencia que justifica los resultados del
sistema de riesgo de reincidencia (2017:39, 38).
El mundo la
inteligencia artificial y el BIG DATA se expande a muchos sectores porque los algoritmos son muy eficaces y ahorran mucho tiempo y dinero las empresas y/o administraciones, pero ¿hasta qué punto estos algoritmos más justos que el juicio humano que al intentan sustituir?
La falsa apariencia
de justicia y objetividad de un resultado numérico que proporciona un ADM – nutrido con datos “sustitutivos”
como la geolocalización, la raza, los miembros de tu familia, la calificación crediticia,
el comportamiento de otras personas en una situación similar, etc. – es lo que intenta
denunciar la autora de este libro. A pesar de que un algoritmo es solo una
fórmula matemática, estos son diseñados por los humanos, por lo que terminan por
reflejar los perjuicios e ideologías de quienes están detrás. Puede que en
cierta medida los matemáticos, pero también las empresas que los contratan y
que determinan, en última instancia, lo qué es importante y lo que no.
Por eso no podemos
seguir pensando que Google es completamente neutral, es una empresa con unos
intereses y objetivos propios que marcan el funcionamiento del buscador y de
los filtros que establece. A veces, por estos filtros se escapan, tal vez de
manera involuntaria, perjuicios o estereotipos discriminatorios derivados del
trabajo de sus ingenieros, “la mayoría hombres blancos y asiáticos” como
asegura el periodista Daisuke Wakabayashi para
el New York Times 1. Un claro ejemplo
de los
resultados “racistas de Google ocurrió en 2015, cuando el algoritmo que
clasificaba automáticamente las imágenes de la aplicación Google Photos
etiquetó a una pareja negra como “gorilas”. Una de las víctimas compartió una
captura de pantalla para demostrarlo. Google pidió disculpas y arregló el
incidente que se hizo viral, aunque esto no quiere decir que no siga ocurriendo. Muchos de estos incidentes ocurren porque el buscador no entiende todas las connotaciones lingüísticas
del lenguaje natural humano y a veces muestra una lista de resultados
desafortunados cuando escribimos que puede tener varias interpretaciones.
Está claro que la injusticia
siempre ha existido y deriva de la maldad humana. Sin embargo, el hombre es
capaz de distinguir lo que está bien de lo que está mal, aprender y evolucionar, cambiar
de opinión y tomar otras decisiones. Es por ello que no podemos dejar en manos
del BIG DATA aspectos tan importantes para la vida y la sociedad.
En cuanto a la
pregunta con la que hemos titulado a este entrada, Cathy O’Neil afirma que no
puede asegurar si Google es un ADM o no pero sí es cierto que, al igual que
Facebook, tiene mucho poder y pueden contribuir al funcionamiento de un ADM: la
“publicidad depredadora”. Este nuevo estilo de marketing orientado al consumidor
se sustenta de las grandes cantidades de datos que desvelamos en la red,
llegando incluso a aprovecharse nuestras debilidades para vendernos sus productos
en el momento y lugar adecuado. La gente sin recursos, con grades
necesidades, los más ignorantes o los que está pasando por sus peores momentos son
el objetivo más fácil de estos “anuncios depredadores”.
Fuentes
consultadas:
O’NEIL, C. (2017). Armas de Destrucción Matemática: cómo el BIG DATA aumenta la
desigualdad y amenaza la democracia. Traducción de Violeta Arranz de la Torre. Madrid: Capitán Swing
Libros, S.L.
