Amazon tiene problemas con su IA “sexista” para el reclutamiento de trabajadores

0

La inteligencia artificial (IA) promete mejorarnos al aprovechar el poder de cómputo para tomar decisiones cotidianas de manera más rápida y menos subjetiva que la gente.

No obstante, a medida que la tecnología IA se propaga, se hace evidente que por el momento no puede escapar a los prejuicios de sus creadores.

Recientemente Amazon ha anunciado su decisión de descartar una herramienta interna “sexista” que utiliza inteligencia artificial para clasificar solicitudes de empleados.

Y es que los especialistas en aprendizaje de máquinas de la compañía han descubierto un gran problema: a su nuevo motor de reclutamiento no le agradaban las mujeres.

El equipo había estado construyendo programas informáticos desde 2014 para revisar el currículo de los solicitantes de empleo con el objetivo de mecanizar la búsqueda de mejores talentos, le expresaron a Reuters cinco personas familiarizadas con el esfuerzo.

Hasta el día de hoy la automatización ha sido clave para el dominio del comercio electrónico de Amazon, ya sea dentro de almacenes o impulsando decisiones de precios.

El experimentó de Amazon comenzó en un momento crucial para el minorista en línea más grande del mundo. De hecho para esa época el departamento de Recursos Humanos de la compañía estaba a punto de embarcarse en una serie de contrataciones: desde junio 2015, la plantilla global de la compañía se ha triplicado con creces a 575.000 trabajadores, según muestran los documentos regulatorios.

Por lo que así fue como se formó un equipo en el centro de ingeniería de Amazon en Edimburgo, el cual tenía como objetivo era desarrollar una IA que pudiera rastrear rápidamente la web y detectar candidatos que valga la pena reclutar.

 

El equipo se encargó de crear 500 modelos de computadora enfocados en funciones y ubicaciones específicas de trabajo. A cada sistema se le enseño a reconocer unos 50.000 términos que aparecieron en los currículos de los candidatos pasados. Los algoritmos aprendieron a asignar poca importancia a las habilidades que eran comunes en los solicitantes de TI, como la capacidad de escribir varios códigos de computadora.

Sin embargo para el año 2015, la compañía se dio cuenta de que su nuevo sistema aprendió a preferir a los candidatos masculinos sobre los femeninos, de acuerdo a los miembros del equipo.

Notaron que estaba penalizando los currículos que incluían la palabra “femenino”, como “capitana de clubes de ajedrez de mujeres”. También se informó que bajó la calificación de graduados de dos universidades para mujeres.

Esto se debe a que los modelos de computadora de Amazon se capacitaron para examinar a los solicitantes al observar los patrones en los currículums enviados a la compañía durante un período de 10 años. La mayoría provino de hombres, un reflejo del dominio masculino en la industria de la tecnología.

Amazon ajustó inmediatamente la IA en un intento de corregir el sesgo. Sin embargo, el año pasado, la compañía de Seattle finalmente disolvió el equipo porque los ejecutivos perdieron la esperanza del proyecto, según la gente, que habló bajo condición de anonimato.

Es relevante destacar los reclutadores de Amazon observaron las recomendaciones generadas por la herramienta al buscar nuevas contrataciones, pero se cree que nunca confiaron únicamente en esas clasificaciones, dijeron. Actualmente, las mujeres constituyen el 40 por ciento de la fuerza laboral de la compañía.

Amazon se negó a comentar sobre los desafíos de la tecnología, pero dijo que la herramienta “nunca fue utilizada por los reclutadores de Amazon para evaluar a los candidatos”. La compañía no dio más detalles. No cuestionó que los reclutadores consideraron las recomendaciones generadas por el motor de reclutamiento.

Esta situación deja en evidencia las limitaciones que aun hoy en día existen en el aprendizaje automático. Además sirve como lección para la creciente lista de grandes compañías, incluyendo Hilton Worldwide Holdings Inc. y Goldman Sachs Group Inc. que buscan automatizar partes del proceso de contratación.

Kevin Parker, director ejecutivo de HireVue, expresó que la automatización está ayudando a las empresas a mirar más allá de las mismas redes de reclutamiento en las que siempre han confiado. Un dato relevante es que entre los clientes de HireVue se encuentran las compañías anteriormente mencionadas.

En el caso de Goldman Sachs, han buscado crear su propia herramienta de análisis de currículo que trata de hacer coincidir a los candidatos con el departamento en los que serían más “eficientes”.

De hecho, de acuerdo con una encuesta realizada en 2017 por la firma de software de talentos CareerBuilder, alrededor del 55 por ciento de los gerentes de recursos humanos de Estados Unidos expresaron que la inteligencia artificial sería parte regular de su trabajo en los próximos cinco años.

Los empleadores siempre han soñado con aprovechar la tecnología para ampliar la red de contratación y reducir la dependencia de las opiniones subjetivas de los reclutadores humanos. Pero los científicos informáticos como Nihar Shah, que enseña aprendizaje automático en la Universidad Carnegie Mellon, dicen que todavía hay mucho trabajo por hacer.

“Cómo asegurarse de que el algoritmo es justo, cómo asegurarse de que el algoritmo sea realmente interpretable y explicable, todavía está bastante lejos”, dijo.

El peligro de sesgo inherente en el uso de algoritmos es un problema común en la industria de la tecnología. A los algoritmos no se les dice que estén sesgados, pero pueden volverse injustos a través de los datos con los que se alimentan.

Jessica Rose, directora técnica de la nueva empresa de educación FutureLearn y oradora tecnológica, dijo que “el valor de la inteligencia artificial tal como se usa en el reclutamiento hoy en día está limitado por el sesgo humano”.

En efecto, Google recientemente tuvo que eliminar la posibilidad de buscar fotos de gorilas en su aplicación Google Photos luego de que el servicio comenzó a sugerir que las fotografías de personas de color eran en realidad fotografías de gorilas.

El software de reclutamiento fallido de Amazon y los problemas de Google ilustran una de las mayores debilidades del aprendizaje automático, donde las computadoras se enseñan a sí mismas a realizar tareas mediante el análisis de datos.

Otro suceso relevante sucedió el verano pasado, cuando fue publicado un informe sobre la herramienta de Reconocimiento de Amazon, un sistema de reconocimiento facial que se comercializa a las agencias de aplicación de la ley, y descubrió que en al menos 28 casos confundía las fotos de miembros del Congreso con criminales en bases de datos de disparos.

Esto puede parecer gracioso, hasta que te das cuenta de que estos motores de búsqueda de IA ahora tienen acceso a las licencias de conducir y otras fotos de identificación de 117 millones de estadounidenses, y son utilizados por la policía para buscar paradores de tráfico con delincuentes conocidos o buscados. Y los “falsos positivos” son comunes, especialmente entre los jóvenes negros que están sobrerrepresentados en las fotos policiales.

El mes pasado, IBM lanzó una herramienta que está diseñada para detectar sesgos en la IA. El Fairness 360 Kit permite a los desarrolladores ver claramente cómo funcionan sus algoritmos y qué datos se utilizan para tomar decisiones.

En cuanto a Amazon, la compañía logró salvar algo de lo que aprendió de su experimento de IA fallido. Ahora utiliza una “versión muy diluida” del motor de reclutamiento para ayudar con algunas tareas rudimentarias, incluida la selección de perfiles de candidatos duplicados en la bases de datos, dijo una de las personas familiarizadas con el proyecto.