New York lascia che l’intelligenza artificiale giochi d’azzardo con il benessere dei minori

Il mese scorso, nel suo reportage , The Markup ha rivelato che l'Amministrazione per i Servizi all'Infanzia (ACS) di New York City ha silenziosamente implementato uno strumento algoritmico per classificare le famiglie come "ad alto rischio". Utilizzando una serie di fattori come il quartiere e l'età della madre, questo strumento di intelligenza artificiale può sottoporre le famiglie a un controllo più rigoroso senza un'adeguata giustificazione e supervisione.

Vedere l'ACS bussare alla tua porta è un incubo per qualsiasi genitore, con il rischio che qualsiasi errore possa disgregare la famiglia e mandare i figli in affido. Sottoporre una famiglia a un simile controllo non dovrebbe essere preso alla leggera e non dovrebbe essere un banco di prova per decisioni automatizzate da parte del governo.

Questo strumento di "intelligenza artificiale", sviluppato internamente dall'Ufficio di analisi della ricerca di ACS, assegna un punteggio alle famiglie in base al "rischio" utilizzando 279 variabili e sottopone quelle considerate a rischio più elevato a un controllo più rigoroso. La mancanza di trasparenza, responsabilità o tutela del giusto processo dimostra che ACS non ha imparato nulla dai fallimenti di prodotti simili nell'ambito dei servizi per l'infanzia.

L'algoritmo opera in completa segretezza e i danni derivanti da questo opaco "teatro dell'IA" non sono teorici. Le 279 variabili derivano solo da casi del 2013 e del 2014 in cui i bambini hanno subito gravi danni. Tuttavia, non è chiaro quanti casi siano stati analizzati, quale tipo di audit e test siano stati condotti, se del caso, e se l'inclusione di dati di altri anni avrebbe alterato il punteggio.

Ciò che sappiamo è inquietante: le famiglie nere di New York vengono sottoposte a indagini da parte dell'ACS a un tasso sette volte superiore a quello delle famiglie bianche, e il personale dell'ACS ha ammesso che l'agenzia è più punitiva nei confronti delle famiglie nere, con genitori e sostenitori che definiscono le sue pratiche " predatorie ". È probabile che l'algoritmo di fatto automatizzi e amplifichi questa discriminazione.

Nonostante la preoccupante mancanza di trasparenza e responsabilità, l'utilizzo di questo sistema da parte dell'ACS ha sottoposto le famiglie che il sistema classifica come "a più alto rischio" a controlli aggiuntivi, tra cui possibili visite domiciliari, chiamate a insegnanti e familiari o consultazioni con esperti esterni. Ma queste famiglie, i loro avvocati e persino gli assistenti sociali non sanno quando e perché il sistema segnala un caso, rendendo difficile contestare le circostanze o il processo che porta a questo controllo intensificato.

Questo non è l'unico caso in cui l'utilizzo di strumenti di intelligenza artificiale nei servizi per l'infanzia ha incontrato problemi di bias sistemici. Nel 2022, l' Associated Press ha riportato che i ricercatori della Carnegie Mellon avevano scoperto che, da agosto 2016 a maggio 2018, la contea di Allegheny in Pennsylvania aveva utilizzato uno strumento algoritmico che segnalava il 32,5% dei bambini neri come soggetti a indagini "obbligatorie", rispetto a solo il 20,8% dei bambini bianchi, il tutto mentre gli assistenti sociali non erano d'accordo con i punteggi di rischio dell'algoritmo in circa un terzo dei casi.

Il sistema di Allegheny opera con la stessa tossica combinazione di segretezza e pregiudizi che ora affligge New York. Le famiglie e i loro avvocati non possono mai conoscere i loro punteggi algoritmici, rendendo impossibile contestare decisioni che potrebbero distruggere le loro vite. Quando un giudice ha chiesto di vedere il punteggio di una famiglia in tribunale, la contea ha opposto resistenza , sostenendo di non voler influenzare i procedimenti legali con numeri algoritmici, il che suggerisce che i punteggi sono troppo inaffidabili per un controllo giudiziario, ma accettabili per prendere di mira le famiglie.

Altrove, questi sistemi parziali sono stati sfidati con successo. Gli sviluppatori dello strumento Allegheny avevano già visto il loro prodotto rifiutato in Nuova Zelanda , dove i ricercatori avevano correttamente identificato che lo strumento avrebbe probabilmente portato a un maggior numero di famiglie Māori sottoposte a indagine. Nel frattempo, la California ha speso 195.273 dollari per sviluppare uno strumento simile prima di abbandonarlo nel 2019, in parte a causa di preoccupazioni relative all'equità razziale.

L'impiego governativo di processi decisionali automatizzati e algoritmici non solo perpetua le disuguaglianze sociali, ma elimina anche i meccanismi di responsabilità in caso di errori da parte delle agenzie. Lo Stato non dovrebbe utilizzare questi strumenti per decisioni che determinano i diritti e qualsiasi altro utilizzo deve essere soggetto a un attento controllo e a verifiche indipendenti per garantire la fiducia del pubblico nelle azioni del governo.