Prueba de Amazon Rekognition identificó como criminales a 28 miembros del Congreso.

0

Los algoritmos de reconocimiento facial están mejorando a pasos agigantados cada año, pero están lejos de ser perfectos. Un ejemplo: la Unión Estadounidense de Libertades Civiles dijo que, en una prueba de Rekognition de Amazon, el servicio identificó erróneamente como criminales a 28 miembros del Congreso.

La ACLU suministró a Rekognition 25.000 fotografías de una “fuente pública” y el servicio de Amazon las comparó con las fotos oficiales de los miembros del Congreso. Entre los representantes identificados erróneamente se encontraban seis en el Congressional Black Caucus, incluido el activista de derechos civiles, John Lewis, y 11 de los 28 congresistas con resultados erróneos – aproximadamente el 38 por ciento – eran personas de color, que constituyen solo el 20 por ciento de miembros actuales del Congreso.

Un trío de miembros del Congreso Demócrata respondió a la prueba en una carta abierta al CEO de Amazon, Jeff Bezos.

“Si bien los servicios de reconocimiento facial pueden ser una valiosa herramienta para hacer cumplir la ley, la eficacia y el impacto de la tecnología todavía no se comprenden por completo”, se lee en la carta. “En particular, se han expresado serias preocupaciones sobre los peligros que el reconocimiento facial puede suponer para la privacidad y los derechos civiles, especialmente cuando se utiliza como una herramienta de vigilancia gubernamental, así como la precisión de la tecnología y su impacto desproporcionado en las comunidades de color”

Jacob Snow, un abogado de libertades civiles de la ACLU, les dijo a los miembros de los medios que la prueba se realizó por menos de $ 13.

“Una de las cosas peligrosas a la hora de presentar esta información en un contexto de aplicación de la ley es que puede haber diferencias -en iluminación, en ángulos, en edad- por lo que puede ser realmente difícil decir simplemente basándose en las fotos que son misma persona “, expresó Snow a Mashable . “El reconocimiento facial tiene la posibilidad de sugerirle a un usuario de las fuerzas del orden que existe una coincidencia. Y luego hay una alta probabilidad o una probabilidad razonable de que el usuario de la ley confíe en el sistema y no aplique el mismo nivel de escepticismo”.

Los hallazgos de la ACLU no son del todo sorprendentes. Las investigaciones han demostrado que las tecnologías de reconocimiento facial son susceptibles a los prejuicios raciales. De hecho un  estudio realizado en el 2011 descubrió que los sistemas desarrollados en China, Japón y Corea del Sur tenían más problemas para distinguir entre caras caucásicas que los asiáticos orientales. Y en un estudio separado que fue realizado en 2012, los algoritmos de reconocimiento facial del proveedor Cognitec tuvieron un empeoramiento del 5 al 10 por ciento en los afroamericanos que en los caucásicos.

Pero un vocero de Amazon expresó que la prueba de la ACLU probablemente estaba sesgada por una mala calibración. Utilizó un umbral de confianza, es decir, la probabilidad de que una predicción determinada sea correcta, del 80 por ciento, inferior al 95 por ciento que Amazon recomienda para las aplicaciones de la ley.

“Como pensamos que los resultados probablemente podrían mejorarse siguiendo las mejores prácticas para establecer los umbrales de confianza… utilizados en la prueba”, dijo un vocero de Amazon en un correo electrónico. “Si bien el 80 por ciento de confianza es un umbral aceptable para las fotos de perros calientes, sillas, animales u otros casos de uso de las redes sociales, no sería apropiado identificar individuos con un nivel razonable de certeza”.

Sin embargo, no hay garantía de que los clientes de Amazon sigan sus directrices. Históricamente, la precisión de los algoritmos de reconocimiento facial utilizados por las fuerzas del orden público ha dejado mucho que desear. Una reciente audiencia del comité de supervisión de la Cámara sobre tecnologías de reconocimiento facial reveló que los algoritmos utilizados para identificar coincidencias son incorrectos el 15 por ciento de las veces. Mientras tanto, el sistema utilizado por la Policía Metropolitana de Londres produce hasta 49 coincidencias falsas por cada golpe.

En mayo, la ACLU reveló que Amazon trabajó con la ciudad de Orlando, Florida y la Oficina del Sheriff del Condado de Washington en Oregón para desplegar Rekognition, según los informes cobrando alrededor de $ 400 por la instalación y tan solo $ 12 por mes.

Orlando está aprovechando la tecnología de reconocimiento facial para apuntar a presuntos delincuentes en imágenes de los sistemas de vigilancia de la ciudad. Y el condado de Washington construyó un teléfono inteligente que permite a los agentes escanear fotografías con una base de datos de 300.000 caras para los resultados.

En junio, en una carta dirigida a Bezos, 19 grupos de accionistas de Amazon expresaron reservas sobre las ventas de Rekognition a la policía, uniéndose a ACLU y casi 70 otros grupos en protesta.

“Si bien Rekognition puede tener la intención de mejorar algunas actividades de aplicación de la ley, estamos profundamente preocupados de que en última instancia puede violar los derechos civiles y humanos”, escribieron los accionistas. “Nos preocupa que la tecnología se utilice para atacar y vigilar injusta y desproporcionadamente a  personas de color, inmigrantes y organizaciones de la sociedad civil… Nos preocupa que las ventas se amplíen a gobiernos extranjeros, incluidos los regímenes autoritarios”.