Cosa può andare storto quando la polizia utilizza l’intelligenza artificiale per scrivere rapporti?

Axon, il produttore di telecamere e taser per il corpo di polizia ampiamente utilizzati (e che continua anche a cercare di armare i droni), ha un nuovo prodotto: l'intelligenza artificiale che scriverà rapporti di polizia per gli agenti. Draft One è un sistema di apprendimento automatico con modello linguistico generativo di grandi dimensioni che, secondo quanto riferito, prende l'audio dalle telecamere indossate sul corpo e lo converte in un rapporto di polizia narrativo che la polizia può quindi modificare e inviare dopo un incidente. Axon considera questo prodotto il massimo risparmio di tempo per i dipartimenti di polizia che sperano di far uscire gli agenti dalle loro scrivanie. Ma questa tecnologia potrebbe presentare nuovi problemi per coloro che incontrano la polizia, e in particolare per quelle comunità emarginate già soggette a una quota sproporzionata di interazioni con la polizia negli Stati Uniti.

Responsabilità e codificazione delle inesattezze (intenzionali o meno).

L'abbiamo già visto. Video sgranato e traballante della telecamera indossata dal corpo della polizia in cui un agente che esegue l'arresto grida: "Smettila di resistere!" Questa frase può portare a un maggiore uso della forza da parte degli agenti o comportare accuse penali rafforzate. A volte queste grida possono essere giustificate. Ma come abbiamo visto più e più volte , la narrazione di qualcuno che resiste all'arresto può essere una falsa dichiarazione. L’integrazione dell’intelligenza artificiale nelle narrazioni degli incontri con la polizia potrebbe rendere un sistema già complicato ancora più maturo per gli abusi.

Se l'ufficiale dicesse ad alta voce in un video della telecamera "il sospettato ha una pistola", come si tradurrebbe questo nel prodotto finale narrativo del software?

Il pubblico dovrebbe essere scettico sulla capacità di un algoritmo linguistico di elaborare e distinguere accuratamente l'ampia gamma di lingue, dialetti, vernacolo, modi di dire e slang utilizzati dalle persone. Come abbiamo imparato osservando lo sviluppo online della moderazione dei contenuti, il software può avere una discreta capacità di catturare le parole, ma spesso ha difficoltà con il contenuto e il significato . In un contesto spesso teso come un blocco del traffico, l’intelligenza artificiale che confonde un’affermazione metaforica con un’affermazione letterale potrebbe cambiare radicalmente il modo in cui viene interpretato un rapporto della polizia.

Inoltre, come tutte le cosiddette intelligenze artificiali che assumono compiti consequenziali e processi decisionali, la tecnologia ha il potere di oscurare l’azione umana. Gli agenti di polizia che parlano deliberatamente con falsità o esagerazioni per modellare la narrazione disponibile nei filmati delle telecamere sul corpo ora hanno ancora più una patina di plausibile negabilità con i rapporti di polizia generati dall'intelligenza artificiale. Se la polizia dovesse essere colta in una bugia riguardo a quanto contenuto nel rapporto, un agente potrebbe essere in grado di dire che non ha mentito: l'intelligenza artificiale ha semplicemente trascritto male ciò che stava accadendo nel caotico video.

Inoltre, non è chiaro come funzionerà questa tecnologia in azione. Se l'ufficiale dicesse ad alta voce in un video della telecamera "il sospettato ha una pistola", come si tradurrebbe questo nel prodotto finale narrativo del software? Lo interpreterebbe dicendo "Io [l'ufficiale] ho visto il sospettato produrre un'arma" o "Il sospettato era armato"? Oppure riporterebbe semplicemente ciò che ha detto l’ufficiale: “Io [l’ufficiale] ho detto ad alta voce che il sospettato ha una pistola”? L’interpretazione è importante e le differenze tra loro potrebbero avere conseguenze catastrofiche per gli imputati in tribunale.

Revisione, trasparenza e audit

La questione della revisione, dell’audit e della trasparenza solleva una serie di domande. Sebbene la prima bozza consenta agli agenti di modificare i rapporti, come garantirà che gli agenti rivedano adeguatamente l’accuratezza anziché approvare la versione generata dall’intelligenza artificiale? Dopotutto, è noto che la polizia arresta persone sulla base dei risultati di una corrispondenza mediante la tecnologia di riconoscimento facciale senza alcuna indagine successiva, contrariamente all'insistenza dei venditori secondo cui tali risultati dovrebbero essere utilizzati come pista investigativa e non come identificazione positiva .

Inoltre, se il rapporto generato dall’intelligenza artificiale è errato, possiamo fidarci che la polizia contraddica quella versione degli eventi se è nel loro interesse mantenere le inesattezze? D’altro canto, la scrittura dei report tramite intelligenza artificiale potrebbe seguire la stessa strada delle fotocamere corporee potenziate dall’intelligenza artificiale ? In altre parole, se il rapporto produce costantemente una narrazione dall’audio che non piace alla polizia, la modificherà, la eliminerà o interromperà del tutto l’uso del software?

E che dire della capacità dei revisori esterni di accedere a questi rapporti? Data la segretezza eccessivamente intensa dei dipartimenti di polizia, combinata con una frequente mancata osservanza delle leggi sui registri pubblici, come può il pubblico, o qualsiasi agenzia esterna, essere in grado di verificare o controllare in modo indipendente questi rapporti assistiti dall’intelligenza artificiale? E come faranno i revisori esterni a sapere quali parti del report sono generate dall’intelligenza artificiale rispetto a quelle generate da un essere umano?

I rapporti della polizia, distorti e parziali come spesso sono, codificano la memoria del dipartimento di polizia. Rivelano non necessariamente cosa è successo durante un incidente specifico, ma cosa la polizia immaginava che fosse successo, in buona fede o meno. La polizia, con il suo potere legale di uccidere, detenere o, in definitiva, negare la libertà delle persone, è un’istituzione troppo potente per esternalizzare la sua creazione di memoria alle tecnologie in un modo che renda gli agenti immuni alla critica, alla trasparenza o alla responsabilità.