Después de un año infernal lleno de escándalos tecnológicos, incluso los ejecutivos contrarios al gobierno han comenzado a profesar su apertura a la legislación. Sin embargo el presidente de Microsoft, Brad Smith, dio un paso más el jueves, y pidió a los gobiernos que regulen el uso de la tecnología de reconocimiento facial y la inteligencia artificial (IA) para garantizar que no invada la privacidad personal o que se convierta en una herramienta de discriminación o vigilancia.

En la Universidad de St. Thomas en Minneapolis, Minnesota, un sistema de inteligencia artificial basado en las herramientas de reconocimiento facial de Microsoft monitorea a los estudiantes a través de la cámara web.

La cámara analiza las expresiones faciales de los estudiantes y utiliza esa información para predecir su estado emocional. Un resumen de los hallazgos del sistema, descrito por el grupo de investigación AI Now como “sentimiento del estudiante”, puede ser accedido por el maestro, que puede cambiar su estilo de enseñanza para maximizar el “compromiso del estudiante”.

En conjunto, el sistema es el principal ejemplo de cómo la inteligencia artificial (IA) así como promete reformar también tiene el potencial de estar lleno de fallas y estar preparado para el abuso, advierten los investigadores en AI Now.

“¿Cómo un estudiante impugnaría una determinación hecha por el sistema?”, preguntan los investigadores. “¿Cuáles son las implicaciones de privacidad de dicho sistema, especialmente dado que, en el caso del programa piloto, no hay evidencia de que los estudiantes hayan sido informados de su uso en ellos?”

El sistema St. Thomas es solo uno de los muchos puntos de datos que AI Now, un grupo compuesto por empleados de tecnología de empresas como Microsoft y Google y afiliados a la Universidad de Nueva York, dice que ejemplifica la necesidad de una regulación más estricta de la inteligencia artificial.

Microsoft declinó comentar sobre el sistema de la universidad.

El informe del grupo, publicado el jueves, subraya los peligros inherentes al uso de la IA para hacer cosas como ampliar la vigilancia en campos que incluyen finanzas y vigilancia policial, y argumenta que la rendición de cuentas y la supervisión son necesidades en lo que respecta a este tipo de tecnología naciente.

Fundamentalmente, argumentan, las personas deberían poder optar por todos los sistemas de reconocimiento facial. “La mera notificación pública de su uso no es suficiente, y debería haber un umbral alto para cualquier consentimiento, dados los peligros de la vigilancia masiva opresiva y continua”, escribe la organización. “Estas herramientas son muy sospechosas y se basan en una ciencia que aún es defectuosa”, expresó a Bloomberg Kate Crawford, una de las fundadoras del grupo, que trabaja para Microsoft Research.  Además añadió que “no se pueden tener sistemas de caja negra en los servicios sociales centrales”.

A principios de esta semana, Microsoft anunció que, también, preferiría que la tecnología de reconocimiento facial estuviera regulada. Después de hacer declaraciones similares en julio, el presidente de Microsoft, Brad Smith, reiteró su deseo de regulación, esta vez con más detalles.

Las empresas tecnológicas a menudo se ven obligadas a elegir entre la responsabilidad social y las ganancias, pero las consecuencias del reconocimiento facial son demasiado graves para los negocios como de costumbre, dijo Smith.

Brad Smith

“Creemos que la única forma de protegerse contra esta carrera hasta el fondo es construir un piso de responsabilidad que apoye la sana competencia del mercado”, dijo en un discurso en la Brookings Institution. “Debemos asegurarnos de que el año 2024 no se vea como una página de la novela de 1984.”

Para abordar el sesgo, Smith dijo que la legislación debe exigir a las empresas que proporcionen documentación sobre lo que su tecnología puede y no puede hacer en términos que los clientes y consumidores puedan entender. También dijo que las leyes deberían exigir una “revisión humana significativa de los resultados del reconocimiento facial antes de tomar decisiones finales” para usos “consecuentes”, como las decisiones que podrían causar daños corporales o emocionales o afectar la privacidad o los derechos fundamentales.

Además, como otra medida para proteger la privacidad, Smith manifestó que si el reconocimiento facial se usa para identificar a los consumidores, la ley debería exigir “un aviso visible que claramente indique que se están utilizando estos servicios”.

De esta manera Smith también dijo que los legisladores deberían extender los requisitos para las órdenes de registro al uso de la tecnología de reconocimiento facial. Señaló una decisión de junio de la Corte Suprema de los Estados Unidos que exige a las autoridades obtener una orden de registro para obtener registros de teléfonos celulares que muestren la ubicación del usuario. “¿Nuestras caras merecen la misma protección que nuestros teléfonos?”, preguntó. “Desde nuestra perspectiva, la respuesta es un rotundo sí”.

Por lo tanto se puede resumir que la propuesta de Microsoft se basa en dos factores:

  1. Exigir a las empresas que ofrecen servicios de reconocimiento facial que permitan a un tercero auditar su exactitud a través de un API (similar a la propuesta de AI Now)
  2. Que requiere una orden judicial para que el gobierno use el reconocimiento facial para rastrear a una persona a lo largo del tiempo.

La próxima semana, dijo Smith, Microsoft publicará un documento con sugerencias para poner en práctica estos principios. Smith también indicó la importancia de implementar tales protocolos dentro de Microsoft.

“Al dar este paso, estamos conscientes de la necesidad de crear políticas, procesos y herramientas para hacer que estos principios sean efectivos en toda nuestra compañía”, enfatizó. “Continuaremos este trabajo y lanzaremos formalmente estos principios, junto con este marco de apoyo, antes de finales de marzo de 2019”.

Cabe mencionar que en junio, los empleados de Microsoft protestaron por la asociación de computación en nube de la compañía con el Departamento de Seguridad Nacional.

En otros lugares, los empleados de Google se opusieron enérgicamente al contrato de la compañía con el Pentágono, lo que llevó a su terminación, y a Google a publicar sus propios lineamientos éticos para la inteligencia artificial. Y a principios de este año, un grupo de accionistas de Amazon envió una carta a Jeff Bezos en relación con Rekognition, la tecnología de reconocimiento facial de la compañía, es utilizada por la policía en Orlando, Florida. No obstante la ACLU probó la herramienta de Amazon y descubrió que identificó falsamente a miembros

Natasha Lamb, socia gerente de Arjuna Capital, uno de los accionistas que firmaron la carta, le dijo a BuzzFeed News que su firma seguía preocupada. “El lanzamiento del producto parece miope”, dijo Lamb. “Las preocupaciones a largo plazo en torno a las libertades civiles no se están considerando”.

Es relevante mencionar que el informe de AI Now llega la misma semana que el ACLU dio a conocer los planes del Servicio Secreto para poner a prueba la tecnología de reconocimiento facial tanto en la Casa Blanca como en sus alrededores. El programa de prueba comparó secuencias de video en circuito cerrado de espacios públicos de la Casa Blanca con una base de datos de empleados voluntarios, con el objetivo de rastrear “temas de interés”.

“¿Hasta qué punto cree el Servicio Secreto que deben cumplir sus esfuerzos de monitoreo? ¿Su misión?”, escribió la ACLU. “Cualquiera que sea la respuesta hoy, hay una buena razón para preocuparse por lo que podría ser esa respuesta en el futuro, especialmente si el reconocimiento facial no regulado y otras tecnologías hacen que sea barato y fácil extender los tentáculos de su vigilancia hacia el exterior”.

Pero aun así, es un paso crucial a medida que las compañías continúan desarrollando A.I. en un espacio no regulado. “Ya no se cuestiona si existen problemas con la responsabilidad”, dijo a Bloomberg Meredith Whittaker, cofundadora de AI Now que trabaja en Google. “Es lo que hacemos al respecto”.