Un sistema de inteligencia artificial (IA) utilizado por el gobierno del Reino Unido para detectar el fraude en la asistencia social está mostrando sesgo según la edad, la discapacidad, el estado civil y la nacionalidad de las personas, según reveló el medio The Guardian.
Una evaluación interna de un programa de machine learning utilizado para examinar miles de solicitudes de pagos del crédito universal en toda Inglaterra descubrió que seleccionaba incorrectamente a personas de algunos grupos más que de otros al recomendar a quién investigar por posible fraude.
La admisión se hizo en documentos liberados, gracias a la Ley de Libertad de Información, por el Departamento de Trabajo y Pensiones (DWP, por sus siglas en inglés). La “disparidad estadísticamente significativa en los resultados” surgió en un “análisis de imparcialidad” del sistema automatizado para los avances del crédito universal realizado en febrero de este año.
La aparición del sesgo se produce después de que el DWP afirmara este verano que el sistema de IA no presentaba ninguna preocupación inmediata de discriminación, trato injusto o impacto perjudicial en los clientes.
Esta garantía se produjo en parte porque la decisión final sobre si una persona recibe un pago de asistencia social todavía la toma un ser humano, y los funcionarios creen que el uso continuo del sistema, que intenta ayudar a reducir una pérdida estimada de 8 mil millones de libras esterlinas al año en fraudes y errores, es «razonable y proporcionado».
Pero aún no se ha realizado ningún análisis de imparcialidad con respecto a posibles sesgos centrados en la raza, el sexo, la orientación sexual y la religión, o el estado de embarazo, maternidad y reasignación de género, de acuerdo con las revelaciones.
Activistas respondieron acusando al gobierno británico de aplicar una política de “primero dañar, luego reparar” y pidieron a los ministros que fueran más abiertos sobre qué grupos probablemente serían erróneamente sospechosos por el algoritmo de intentar engañar al sistema.
El reconocimiento de las disparidades en la forma en que el sistema automatizado evalúa los riesgos de fraude probablemente aumentará el escrutinio del uso en rápida expansión de los sistemas de IA por parte del gobierno y alimentará los pedidos de una mayor transparencia.
Según un recuento independiente, existen al menos 55 herramientas automatizadas utilizadas por las autoridades públicas en el Reino Unido que podrían afectar las decisiones sobre millones de personas, aunque el propio registro del gobierno incluye solo nueve.
Los registros muestran que los organismos públicos han adjudicado docenas de contratos para servicios de IA y algoritmos. El mes pasado, un organismo de contratación policial creado por el Ministerio del Interior puso en venta un contrato para un software de reconocimiento facial, por un valor de hasta 20 millones de libras, lo que reavivó las preocupaciones sobre la «vigilancia biométrica masiva».
En los últimos años, los departamentos gubernamentales, incluidos el Ministerio del Interior y el DWP, se han mostrado reacios a revelar más sobre su uso de IA, citando preocupaciones de que hacerlo podría permitir que actores maliciosos manipulen los sistemas.
No está claro qué grupos de edad tienen más probabilidades de ser el objetivo equivocado de los controles de fraude mediante el algoritmo, ya que el DWP eliminó esa parte del análisis de imparcialidad.
Tampoco se reveló si las personas discapacitadas tienen más o menos probabilidades de ser seleccionadas erróneamente para ser investigadas por el algoritmo que las personas sin discapacidad, o la diferencia entre la forma en que el algoritmo trata a las diferentes nacionalidades. Los funcionarios dijeron que esto era para evitar que los estafadores jugaran con el sistema.
No dejes de leer: Desarrollo de la IA se está desacelerando, de acuerdo con el CEO de Google
Nuestras redes sociales, únete y sé parte de la tecnología
