La mia spia è sempre con me

L'11 maggio di quest'anno la Commissione Europea ha presentato la sua bozza di “Regolamento recante norme per la prevenzione e la lotta agli abusi sessuali sui minori”. La prevista ordinanza è volta a contrastare la violenza sessuale sui minori e la loro iniziazione su Internet attraverso una complessa struttura di obblighi per i più importanti intermediari della comunicazione in rete. Inoltre, si tratta di creare un'infrastruttura di autorità transfrontaliera con una nuova agenzia dell'Unione europea come hub centrale. Le prime reazioni alla bozza furono controverse. Numerose organizzazioni per la protezione dell'infanzia hanno sostenuto la proposta della Commissione in una lettera aperta . D'altra parte, le organizzazioni per i diritti civili , le associazioni di categoria e le autorità per la protezione dei dati hanno criticato la bozza, alcune aspramente. Anche il governo federale ha mostrato un atteggiamento scettico inviando alla Commissione un ampio elenco di domande, alcune delle quali chiaramente critiche.

A un esame più attento, la bozza raggruppa le misure per combattere la violenza sessuale che sono comuni da tempo, ma i cui problemi tecnici e dubbi legali non sono ancora stati del tutto risolti. D'altra parte, la novità è che, secondo la proposta di regolamento, la comunicazione individuale su determinati servizi di comunicazione dovrebbe essere ricercata in modo estensivo e talvolta senza motivo per determinati contenuti. Questa parte della bozza è particolarmente critica.

Terminologia problematica del progetto di regolamento

L'ordinanza obbliga diversi intermediari nella comunicazione via Internet a combattere gli “abusi sessuali sui minori su Internet”. Il regolamento intende questo – in connessione con la Direttiva 2011/93/UE per combattere gli abusi sessuali sui minori – da un lato la diffusione di “raffigurazioni di abusi sessuali su minori” (c.d. pedopornografia), dall'altro il contatto con i minori per scopi sessuali (spesso indicati come adescamento), nella misura in cui i servizi basati su Internet vengono utilizzati a tale scopo. Nel seguito, entrambi i tipi di contenuto sono indicati con il termine generico di "contenuto incriminato". Inoltre, invece di "raffigurazioni di abusi sessuali su minori", si parla di raffigurazioni di violenze sessualizzate contro bambini. Perché la terminologia del regolamento non è priva di problemi. Il termine "abuso sui minori" è visto in modo critico da molte vittime perché può implicare che vi sia un "uso" legittimo dei bambini. Pertanto, qui utilizziamo questo termine solo sotto forma di citazioni, perché questa è la terminologia della bozza.

Panoramica dei contenuti essenziali della bozza

L'obbligo si estende ai fornitori di quattro tipi di servizi:

1. Servizi di hosting che memorizzano informazioni esterne per conto degli utenti e le mettono a disposizione di terzi (inclusi social media come Facebook, Twitter o Instagram),
2. Servizi di comunicazione interpersonale che consentono uno scambio diretto di informazioni tra persone selezionate (ad es. servizi di posta elettronica o messaggistica istantanea come WhatsApp o Signal),
3. negozi di applicazioni software,
4. Servizi di accesso a Internet.

Ciascuno dei fornitori di servizi è soggetto a specifici obblighi. Alcuni di questi obblighi sorgono direttamente, altri solo per ordine di un organismo responsabile dell'attuazione del regolamento.

Obblighi di valutazione e minimizzazione del rischio

Il regolamento obbliga immediatamente la maggior parte dei fornitori di servizi a svolgere una gestione continua del rischio. I fornitori di servizi di hosting e di servizi di comunicazione interpersonale devono, almeno ogni tre anni, valutare il rischio che il loro servizio sia utilizzato per diffondere contenuti incriminati. Su questa base, devono adottare misure per ridurre il rischio identificato, che possono includere la cura del contenuto delle informazioni che forniscono o la verifica della loro età. In ogni caso, i fornitori di servizi di hosting e di servizi di comunicazione interpersonale devono predisporre un sistema di segnalazione affinché i propri utenti possano indirizzarli verso contenuti incriminati. I fornitori di negozi di applicazioni software devono valutare in che misura le applicazioni offerte sulla loro piattaforma rappresentano un rischio che i bambini vengano contattati per scopi sessuali. Potrebbe essere necessario impostare limiti di età per l'utilizzo di tali applicazioni.

Rimozione e blocco di specifici contenuti incriminanti

Ulteriori obblighi del prestatore di servizi possono derivare da un'ingiunzione di un tribunale o di un'autorità amministrativa indipendente. La domanda in tal senso è presentata dall'autorità dello Stato membro che è la principale responsabile dell'attuazione dell'ordinanza (denominata autorità di coordinamento nell'ordinanza). Le autorizzazioni all'emanazione degli ordini sono ciascuna affiancata da specifiche che garantiscono trasparenza e aprono possibilità di tutela giuridica. Gli obblighi derivanti da un ordine riguardano in parte determinati contenuti, di cui è già noto il luogo di conservazione, ed in parte un numero indeterminato di contenuti in determinate categorie:

Da un lato, l'obbligo dei servizi di hosting di rimuovere determinate rappresentazioni di violenza sessualizzata per ordine si riferisce a contenuti specifici. D'altra parte, i servizi di accesso a Internet possono essere obbligati a bloccare l'accesso a determinate raffigurazioni di violenza sessuale se queste non possono essere rimosse perché distribuite da servizi di hosting di paesi terzi non cooperativi. Il contenuto da eliminare o bloccare viene identificato tramite indirizzi Internet (Uniform Resource Locator o URL in breve), che specificano una posizione di archiviazione specifica. Un ordine di rimozione o blocco di raffigurazioni di violenza sessuale non obbliga il fornitore di servizi interessato a cercare attivamente nel suo servizio contenuti specifici.

Ordini di divulgazione e obblighi di segnalazione

Tale obbligo di ricerca attiva di contenuti potenzialmente incriminanti può, tuttavia, derivare da un ordine di divulgazione per i fornitori di servizi di hosting e di servizi di comunicazione interpersonale. Un ordine di rilevamento può riguardare fino a tre tipi di contenuto:

1. rappresentazioni ben note di violenza sessualizzata,
2. rappresentazioni nuove e precedentemente sconosciute di violenza sessualizzata,
3. solo per servizi di comunicazione interpersonale: anche contatto per fini sessuali.

Se il fornitore di un servizio di hosting o di un servizio di comunicazione interpersonale viene a conoscenza di possibili contenuti incriminanti sul proprio servizio, deve segnalare i contenuti interessati. Questo obbligo di segnalazione sussiste indipendentemente da come il provider è venuto a conoscenza del contenuto. In particolare, include l'acquisizione di conoscenze sia sulla base del sistema di gestione dei rischi predisposto in modo autonomo, sia sulla base di un ordine di informativa.

La notifica è indirizzata al Centro dell'UE per la prevenzione e la lotta agli abusi sessuali sui minori, agenzia dell'Unione europea istituita dal regolamento. Il regolamento ha concepito il centro dell'UE come un centro di informazione, coordinamento e servizi. Il centro dell'UE non ha poteri operativi propri, ma supporta e collega in molti modi i fornitori di servizi e le autorità degli Stati membri. Ad esempio, il Centro dell'UE gestisce banche dati con indicatori per rilevare gli abusi sessuali su minori su Internet. I fornitori di servizi devono utilizzare questi indicatori quando impongono ordini di rimozione, blocco o divulgazione.

Se il centro dell'UE riceve una segnalazione, verifica se la segnalazione è manifestamente infondata. In caso contrario, il centro dell'UE trasmette la relazione a Europol e alle autorità di contrasto del presunto Stato membro responsabile.

Misure note: Obblighi dei fornitori di servizi di accesso a Internet e servizi di hosting

Le misure per combattere la rappresentazione della violenza sessuale su Internet previste dall'ordinanza sono ampiamente note. Finora alcuni fornitori di servizi li hanno istituiti volontariamente. Alcuni provvedimenti erano già oggetto di obblighi di legge. La discussione finora ha individuato alcuni problemi tecnici e dubbi giuridici associati a queste misure.

Nuova edizione del controverso blocco di Internet da parte dei provider di accesso

Nella misura in cui i fornitori di servizi di accesso a Internet possono essere obbligati a bloccare determinate rappresentazioni di violenza sessuale tramite URL, dal punto di vista tedesco l'ordinanza contiene una nuova versione della legge sulla restrizione dell'accesso , entrata in vigore nel 2010 ma mai applicata ed abrogata nel 2011. Questa legge diede all'allora ministro federale per la famiglia (e oggi presidente della Commissione europea) il perfido soprannome di "censura".

Il blocco degli URL da parte dei fornitori di accesso presenta due problemi principali, già evidenziati nella discussione sulla legge sull'impedimento all'accesso :

In primo luogo, vi sono dubbi sull'efficacia di questa misura. Alcuni dei comuni meccanismi di blocco possono essere facilmente aggirati. Nel caso di connessioni crittografate, il provider di accesso non può leggere completamente l'URL, quindi non può implementare il blocco senza misure tecniche complesse (es. reindirizzamento a proxy forzati).

In secondo luogo, molti meccanismi di blocco non consentono di limitare selettivamente il blocco al contenuto specifico da bloccare, ma creano invece un danno collaterale sotto forma di overblocking. L'ordinanza non specifica come attuare tecnicamente il blocco, e quindi almeno non stabilisce limiti chiari per un blocco eccessivo. Tuttavia, le precauzioni per la trasparenza e la protezione giuridica consentono ai fornitori di servizi e agli utenti di agire almeno contro pratiche di blocco eccessive. Inoltre, gli ordini di blocco sono limitati ai contenuti che non possono essere eliminati.

Nel complesso, l'autorizzazione ci sembra accettabile, a condizione che sia integrata da precauzioni specifiche e praticamente efficaci che impediscano l'overblocking. Ciò è particolarmente importante perché è tecnicamente molto più facile per i fornitori di servizi di accesso a Internet fornire blocchi a maglie grossolane basati su indirizzi IP o manipolazioni del sistema dei nomi di dominio piuttosto che bloccare effettivamente singoli contenuti basati su URL. Diversamente, in assenza di disposizioni concrete ed efficaci per prevenire l'overblocking, la normativa potrebbe creare notevoli incentivi fuorvianti.

Obblighi di rimozione e divulgazione dei provider di hosting

Gli obblighi dei prestatori di servizi di hosting previsti nella bozza devono essere valutati in maniera differenziata. Tecnicamente e legalmente insindacabile e da accogliere in termini di politica legale è l'autorizzazione a emettere ordini di rimozione relativi a specifici contenuti archiviati. Secondo quanto riportato dalla stampa , i servizi di hosting si comportano in maniera cooperativa, anche quando gli organismi non governativi forniscono informazioni, in modo che tale obbligo sarebbe quasi certamente soddisfatto a porte aperte. Più problematici sono gli ordini di divulgazione che obbligano i fornitori di servizi a cercare attivamente nella loro offerta rappresentazioni note o sconosciute di violenza sessuale contro i bambini.

Il regolamento lascia espressamente ai fornitori di servizi la facoltà di decidere quali mezzi tecnici utilizzare per attuare gli ordini di rilevamento, sebbene il centro dell'UE dovrebbe mettere a loro disposizione gratuitamente la tecnologia di rilevamento. In ogni caso, deve iniziare l'individuazione degli indicatori per la rappresentazione della violenza sessuale sui minori, forniti dal Centro dell'UE per la lotta agli abusi sui minori. Il regolamento non specifica esattamente quali informazioni contengano questi indicatori. Tuttavia, secondo lo stato dell'arte attuale e lo stato dell'arte prevedibile nel medio termine, i requisiti di rilevazione ammontano a due implementazioni tecniche.

Rimozione basata su hash di contenuti incriminanti noti

Per identificare rappresentazioni già note, ha senso utilizzare valori hash. Un valore hash è un tipo di impronta digitale che viene calcolata da un file e lo identifica. D'altra parte, non è possibile calcolare il file sottostante dal valore hash. Un meccanismo di rilevamento basato su hash confronta i valori hash dei file presenti sul servizio di hosting con i valori hash delle rappresentazioni note fornite dal centro UE. Dovrebbe essere garantito, per quanto possibile, che una rappresentazione sia riconosciuta anche dopo piccole modifiche (ad es. modifiche alle dimensioni o una nuova colorazione). A questo scopo viene utilizzato il cosiddetto hashing percettivo , che calcola il valore dell'hash non dall'intero file ma da alcune proprietà strutturali del materiale dell'immagine in esso contenuto. Proprio perché l'hashing percettivo è robusto ai cambiamenti, in linea di principio è anche suscettibile di falsi positivi. Ad esempio, un'immagine innocua potrebbe avere lo stesso valore hash di una rappresentazione di violenza sessualizzata perché ha una distribuzione di luminosità simile.

Arma miracolosa "intelligenza artificiale"?

D'altra parte, un approccio di rilevamento basato sul valore dell'hash è fuori questione per nuove rappresentazioni ancora sconosciute della violenza sessuale contro i bambini. I soli algoritmi di autoapprendimento possono essere utilizzati per riconoscere automaticamente tali rappresentazioni. Gli algoritmi identificano i modelli nei dati di addestramento e li applicano ai contenuti tenuti presso il servizio di hosting. Con questo metodo, però, è prevedibile in ogni caso un numero molto più alto di classificazioni di falsi positivi, che può essere ridotto affinando la tecnica di analisi, ma probabilmente non è da escludere. La classificazione del contenuto come raffigurante la violenza può dipendere dal contesto in cui è stato prodotto e distribuito. Anche i contenuti che non riflettono eventi reali possono richiedere considerazioni complesse, ad esempio quando i contenuti si qualificano come un'opera d'arte. La misura in cui gli algoritmi di autoapprendimento saranno in grado di effettuare le necessarie valutazioni e considerazioni di contesto nel prossimo futuro sembra essere una questione aperta.

Come misurare l'affidabilità dei sistemi di rilevamento?

Per valutare e valutare il rischio di errori di classificazione, è possibile utilizzare metriche comuni per i modelli di classificazione :

L'accuratezza ( accuratezza ) indica la proporzione di classificazioni corrette nella totalità dei processi di classificazione. Tuttavia, non dice nulla sulla distribuzione degli errori di classificazione tra le classi. Se, ad esempio, ci sono due rappresentazioni di violenza sessuale tra 10.000 immagini e un sistema di rilevamento classifica tutte le immagini come innocue, commette solo due errori di classificazione in 10.000 processi di classificazione e di conseguenza ha un'elevata precisione del 99,98%. Tuttavia, il sistema è inutilizzabile perché non riconosce le rappresentazioni della violenza.

Precisione , invece, mette le corrette classificazioni positive in relazione a tutte le classificazioni positive. Se, nell'esempio, il sistema riconosce entrambe le raffigurazioni di violenza sessualizzata in 10.000 processi di classificazione e classifica anche due immagini innocue come raffigurazioni di violenza, la sua precisione è solo del 50%, mentre l'accuratezza è del 99,96%.

La sensibilità ( recall ) indica la proporzione delle classificazioni correttamente positive rispetto a quelle effettivamente positive. Nell'esempio appena riportato, la sensibilità sarebbe del 100% perché le due rappresentazioni della violenza sono state correttamente identificate.

Precisione e sensibilità non possono essere ottimizzate contemporaneamente. Piuttosto, i miglioramenti in una metrica di solito vengono a scapito dell'altra. Ad esempio, se un sistema di rilevamento è impostato per rilevare il maggior numero possibile di contenuti violenti, in genere classificherà in modo falso positivo i contenuti più innocui.

Rischio di classificazioni errate

Il rischio di un sistema di rilevamento delle libertà di comunicazione dipende in gran parte dalla precisione del sistema. Vengono dati valori elevati per i sistemi esistenti per scoprire le rappresentazioni della violenza sessualizzata. Si dice che il sistema di rilevamento basato su hash PhotoDNA , sviluppato da Microsoft e utilizzato da molti grandi fornitori di servizi, abbia un tasso di errore estremamente basso di 1 su 50 miliardi . La precisione del sistema sarebbe quindi così elevata che si può presumere anche un livello di precisione molto elevato. Un livello di precisione comparabile non può essere raggiunto con i sistemi basati sull'apprendimento automatico, almeno non al momento. Dopotutto, la valutazione d'impatto della Commissione pubblicata con il progetto di regolamento afferma che il prodotto Safer offerto da Thorn può raggiungere una precisione del 99,9% e avere ancora una sensibilità dell'80%. Tuttavia, la valutazione d'impatto non spiega come esattamente sia stato calcolato questo risultato incoraggiante.

Specifiche della Corte di giustizia per i cosiddetti "filtri di caricamento"

Esiste anche il rischio che il rilevamento automatico delle violazioni della legge sui servizi di hosting porti a un numero eccessivo di classificazioni errate di falsi positivi e limiti quindi eccessivamente la libertà di comunicazione, non solo nel caso di rappresentazioni di violenza sessualizzata. Ad esempio, la direttiva (UE) 2019/790 obbliga alcuni fornitori di servizi di hosting (fornitori di servizi per la condivisione di contenuti online) a garantire che determinate opere protette dal diritto d'autore non siano disponibili sulle loro piattaforme e non siano caricate su di esse. In realtà, questa esigenza può essere realizzata solo utilizzando sistemi di filtraggio automatici, che tecnicamente corrispondono in gran parte alle tecniche di rilevamento per rappresentare un uso improprio. La Corte di Giustizia dell'Unione Europea ha approvato questo regolamento. A titolo di giustificazione, la Corte di giustizia ha richiamato le disposizioni della direttiva, che limitano il rischio di overblocking dovuto a un rilevamento falso positivo. Inoltre, la Corte di giustizia ha affermato che, secondo la direttiva, i fornitori di servizi devono rilevare e bloccare solo i contenuti che sono stati loro segnalati dai titolari dei diritti. Inoltre, i fornitori di servizi non dovrebbero bloccare i contenuti se dovessero valutare essi stessi l'illegittimità della pubblicazione in un esame legale dettagliato basato sulle limitazioni del diritto d'autore. Infine, la direttiva prevede garanzie procedurali a tutela della libertà di comunicazione.

Fattibilità di base dell'obbligo di informativa e necessità di modifiche in dettaglio

L'attuale progetto di regolamento contiene anche requisiti tecnici e procedurali per ridurre il rischio di rilevamenti eccessivi e per garantire trasparenza e tutela giuridica. Inoltre, nell'ambito della procedura di rendicontazione, il centro UE è interposto come organismo di controllo privo di poteri operativi. Il controllo di plausibilità da parte del centro dell'UE riduce il rischio che i falsi positivi del sistema di rilevamento abbiano conseguenze drastiche per gli utenti interessati.

Alla luce di ciò, l'autorizzazione a emettere ordini di informativa nei confronti degli operatori dei servizi di hosting ci sembra fondamentalmente giustificabile, poiché i contenuti archiviati sono rivolti a un numero indefinito di persone. Il riconoscimento e l'analisi dei contenuti archiviati da parte del fornitore del servizio non viola alcuna riservatezza degna di protezione.

Tuttavia, secondo lo stato dell'arte attuale, l'uso di algoritmi di autoapprendimento per scoprire nuove rappresentazioni della violenza sessualizzata, in particolare, pone notevoli problemi tecnici. Anche se tali rappresentazioni sono generalmente più facili da identificare rispetto alla violazione del diritto d'autore, la classificazione può causare difficoltà di contestualizzazione e problemi di bilanciamento in alcune costellazioni di casi. Il progetto di ordinanza dovrebbe pertanto essere modificato in modo che gli ordini di scoprire nuove rappresentazioni di violenza sessuale contro i bambini siano consentiti solo se è possibile ottenere un grado di precisione molto elevato con i sistemi di rilevamento disponibili basati su risultati affidabili, i fornitori di servizi sono tenuti a utilizzare sufficientemente precisi sistemi e la precisione valutata durante il funzionamento del sistema. Se necessario, ciò può portare alla ricerca solo di alcune categorie di rappresentazioni sconosciute della violenza che possono essere identificate con maggiore precisione. Se risulta che la precisione nell'uso pratico scende significativamente al di sotto di un valore di soglia specificato in una finestra temporale definita, l'uso deve essere interrotto.

Nuova misura: obbligo di divulgare i servizi di comunicazione interpersonale ("controllo della chat")

L'ordinanza apre nuovi orizzonti consentendo ordinanze di rilevamento nei confronti degli operatori dei servizi di comunicazione interpersonale. Tale autorizzazione non esisteva in precedenza. Un precursore, tuttavia, è il piano di Apple, annunciato nel 2021 e rinviato dopo massicce critiche , di controllare i caricamenti di iCloud basati su hash alla ricerca di rappresentazioni note di abusi. Dal punto di vista dei diritti fondamentali, questa autorizzazione non ci sembra perlopiù sostenibile.

Rischio di classificazione particolarmente elevato

L'individuazione a sua volta comporta il rischio di falsi positivi, che possono portare a divieti eccessivi e, nel peggiore dei casi, a gravi misure di intervento da parte delle autorità penali degli Stati membri. Rispetto ai servizi di hosting, questo rischio ci sembra essere notevolmente aumentato.

Da un lato, i contenuti che possono essere classificati solo in base alla contestualizzazione sono particolarmente diffusi tra le immagini ei video che vengono inviati a destinatari selezionati. È probabile che ciò riduca significativamente la precisione dei sistemi di classificazione algoritmica. A seconda del contesto in cui è stata prodotta e diffusa, l'immagine di un bambino nudo sulla spiaggia può essere classificata come rappresentazione di violenza sessualizzata o come innocuo saluto di festa alla famiglia.

D'altra parte, gli ordini di divulgazione per i servizi di comunicazione interpersonale possono estendersi anche ai contatti per scopi sessuali ("grooming"). A seguito di tale ordine, il prestatore di servizi deve identificare le comunicazioni tra presunti bambini e presunti adulti ed esaminarli per indicazioni sufficientemente affidabili di tale contatto. Ciò richiede una valutazione complessa del contenuto e del contesto della comunicazione. Esistono soluzioni tecniche iniziali che hanno lo scopo di fornire questo servizio di rilevamento, come Project Artemis sviluppato da Microsoft insieme ad aziende partner. Tuttavia, è dubbio che un livello di precisione sufficiente possa essere raggiunto nel prossimo futuro. Nella valutazione d'impatto della Commissione per il progetto Artemis, ad esempio, viene fornita un'accuratezza (apparentemente non precisione) dell'88%, per cui circa ogni decimo risultato della classificazione è errato. Poiché ci sono molti più processi di comunicazione innocui rispetto al contatto con i bambini per scopi sessuali, è probabile che le classificazioni errate siano prevalentemente classificazioni false positive. Con miliardi di comunicazioni interpersonali al giorno nell'Unione Europea, un sistema così impreciso genererebbe molti milioni di falsi positivi ogni giorno. Le conseguenze sarebbero rischi elevati per gli utenti dei servizi di comunicazione interpersonale e allo stesso tempo un onere estremo per il centro dell'UE e le autorità di contrasto degli Stati membri.

Varianti tecniche di "controllo chat"

Inoltre, esiste il problema specifico della divulgazione nei servizi di comunicazione interpersonale che la divulgazione viola la riservatezza della comunicazione, che è tutelata dai diritti fondamentali. Al riguardo, tali ordini di informativa differiscono dagli ordini nei confronti degli operatori di servizi di hosting. Come accennato, i contenuti archiviati nei servizi di hosting sono rivolti a un numero indefinito di persone. Di conseguenza, il riconoscimento e l'analisi dei contenuti archiviati da parte del fornitore del servizio non pregiudica la riservatezza degna di protezione.

L'interferenza con la riservatezza della comunicazione interpersonale è sostanzialmente indipendente da come il meccanismo di divulgazione è tecnicamente implementato, sebbene le implementazioni variano nell'entità dell'interferenza. A questo proposito, sono ipotizzabili soluzioni centrali, decentralizzate o ibride:

Scansione centralizzata sul server: pericolosi falsi incentivi contro una crittografia efficace

Il rilevamento può essere eseguito centralmente su un server del provider di servizi. Tuttavia, questo approccio è escluso se la comunicazione interpersonale è crittografata end-to-end (E2E), come è urgentemente raccomandato, poiché il fornitore del servizio non dispone quindi del contenuto della comunicazione trasmessa in testo normale. Tuttavia, la bozza non esclude di fare a meno di E2E ai fini della scansione. Il regolamento minaccia quindi di imporre falsi incentivi significativi per i fornitori di servizi a indebolire in generale la protezione della privacy dei propri utenti al fine di poter attuare più facilmente gli ordini di divulgazione.

Scansione decentralizzata sul dispositivo finale: inefficiente e pericolosa

Invece di eseguire la scansione sul server del fornitore di servizi, il rilevamento può essere completamente o parzialmente trasferito ai dispositivi finali degli utenti (la cosiddetta scansione lato client).

Ad esempio, per scoprire rappresentazioni note di violenza sessuale, il dispositivo finale potrebbe calcolare i valori hash di immagini o video che devono essere inviati tramite uno specifico servizio di comunicazione. Il dispositivo potrebbe confrontare questi valori hash con un elenco di valori hash di rappresentazioni note fornite dal fornitore di servizi o trasmetterli in modo anonimo al fornitore di servizi per il confronto centrale.

Sarebbe anche ipotizzabile che algoritmi di autoapprendimento vengano eseguiti sul dispositivo finale, cercando di riconoscere nuove rappresentazioni di violenza sessualizzata o contatti effettuati a fini sessuali. Tuttavia, ci sembra discutibile fino a che punto questi processi possano essere tecnicamente implementati sui dispositivi finali di oggi. È probabile che i requisiti hardware dei potenti sistemi di intelligenza artificiale superino le capacità di molti smartphone, quindi dovrebbero essere utilizzate soluzioni almeno in parte basate su server. Inoltre, nel caso di app con crittografia end-to-end, la tecnologia di scansione dei contenuti dovrebbe essere integrata in ogni singola app. Ciò significherebbe che una tecnologia simile dovrebbe essere installata più volte su ogni singolo dispositivo finale, in particolare separatamente per ogni app utilizzata. Lì, in particolare, le lunghe liste di valori hash dei contenuti incriminati occuperebbero ciascuno uno spazio di archiviazione limitato. Inoltre, le sfide tecniche della scansione lato client creerebbero a loro volta notevoli incentivi fuorvianti contro l'uso di E2E. Dopotutto, aumentano enormemente le barriere all'ingresso nel mercato per i nuovi fornitori di servizi di comunicazione.

violato la riservatezza delle comunicazioni

Indipendentemente dalla questione dell'attuazione centralizzata o decentrata, tuttavia, un ordine di rilevamento – a meno che non sia limitato a utenti o gruppi di utenti specifici – significa inevitabilmente che l'intero traffico di comunicazione del servizio in questione deve essere verificato per circostanze sospette. L'implementazione decide solo chi esegue questa revisione. Con una soluzione centrale, il fornitore del servizio è ritenuto responsabile come poliziotto ausiliario. Secondo l'approccio decentralizzato, il dispositivo finale è dotato di una funzione di spionaggio in modo che gli utenti si controllino in una certa misura, ma senza poter influenzare le modalità e l'entità della sorveglianza. In tutti gli scenari, i riscontri vengono segnalati a un'autorità centrale – inizialmente senza informare gli utenti – e possono quindi portare a seri provvedimenti di intervento. Gli approcci non differiscono quindi in modo significativo in termini di effetti sugli utenti.

La questione se la divulgazione rompa la crittografia end-to-end o la lasci intatta da un punto di vista tecnico è già stata molto discussa. Tuttavia, questa domanda risulta essere uno pseudo-problema per la valutazione legale di base della scansione di contenuti incriminati: sebbene la bozza non vieti l'E2E a titolo definitivo, fornisce vari incentivi per garantire che i fornitori non utilizzino questa tecnologia. E anche se la comunicazione dovesse essere crittografata "in movimento", gli utenti non possono più fidarsi della riservatezza della comunicazione, perché la crittografia viene comunque aggirata. Inoltre, anche il modo apparentemente più delicato di scansione lato client crea rischi significativi per la sicurezza dei dati . Questi vanno ben oltre una soluzione centrale in cui il sistema di rilevamento può essere sigillato relativamente bene contro l'accesso non autorizzato. La ragione di ciò è che, secondo l'approccio decentralizzato, la tecnologia di analisi e gli indicatori devono essere trasferiti almeno in parte ai dispositivi finali degli utenti. Lì, questi dati molto sensibili sono molto meno facili da proteggere da accessi non autorizzati rispetto a un'analisi centrale.

Il "controllo della chat" non è fondamentalmente consentito ai sensi dei diritti fondamentali

A nostro avviso, un obbligo di divulgazione a carico dei fornitori di servizi di comunicazione interpersonale che potenzialmente riguarda l'intero servizio – ovvero un controllo completo di tutte le storie di chat indipendentemente da sospetti concreti nei confronti del comunicatore – non può essere giustificato in base ai diritti fondamentali. Die Aufdeckung bewirkt in solchen Fällen eine Totalerfassung zumindest bestimmter Dateitypen, bei einer Anordnung zur Aufdeckung sowohl von Gewaltdarstellungen als auch von Kontaktaufnahmen potenziell der gesamten über den Dienst laufenden Kommunikation.

Am ehesten lässt sich die Aufdeckung bei interpersonellen Kommunikationsdiensten mit der suchbegriffsbasierten strategischen Telekommunikationsüberwachung vergleichen, wie sie die Nachrichtendienste vieler Mitgliedstaaten zur Auslandsaufklärung durchführen . Zwar haben sowohl der Europäische Gerichtshof für Menschenrechte als auch das Bundesverfassungsgericht solche Überwachungsprogramme unter engen Voraussetzungen gebilligt, wobei insbesondere die Maßnahmen der Dienste zur Reduktion der erfassten Daten sowie zusätzliche Hürden für die Weitergabe der Daten an operativ tätige Behörden ausschlaggebend waren. Uns erscheint jedoch schwer vorstellbar, dass sich diese permissive Haltung auf anlasslose Überwachungen zur Kriminalitätsbekämpfung übertragen lässt, bei der die Daten naturgemäß nicht ausnahmsweise, sondern systematisch und gezielt an Strafverfolgungsbehörden weitergegeben werden sollen. Das Bundesverfassungsgericht hat sogar ausdrücklich ausgeführt, dass die anlasslose strategische Überwachung auf die Auslandsaufklärung begrenzt bleiben muss. Zudem hat sich mit Blick auf die Unionsgrundrechte, an denen die Verordnung zu messen wäre, der Gerichtshof der Europäischen Union – jedenfalls bezogen auf die Sicherheitsbehörden der Vereinigten Staaten – deutlich weniger aufgeschlossen für eine Legitimation von strategischen Massendatenerfassungen gezeigt.

Denkbar: Suche nach bekannten Inhalten und verdachtsunabhängige Inhaltskontrolle ohne Meldepflicht

Allenfalls vertretbar erscheint uns eine Aufdeckungspflicht für Anbieter von interpersonellen Kommunikationsdiensten, wenn sie sich auf bereits bekannte Darstellungen sexualisierter Gewalt beschränkt. Die Existenz einer solchen Darstellung mag als konkreter Anlass angesehen werden, der eine großflächige Suche in einer Vielzahl von Kommunikationsvorgängen der jeweiligen Absender legitimieren kann. Insoweit mag sich eine Parallele zu der Suche in allen deutschen Kreditkartentransaktionen eines bestimmten Zeitraums nach Zahlungen an eine Plattform für Darstellungen sexualisierter Gewalt („Operation Mikado“) ziehen lassen, die ein – allerdings fragwürdiger – Kammerbeschluss des Bundesverfassungsgerichts gebilligt hat. Die Aufdeckung von Kontaktaufnahmen und neuen Gewaltdarstellungen in der vertraulichen Kommunikation unverdächtiger Personen beruht hingegen lediglich auf einer von konkreten Sachverhalten unabhängigen Risikoanalyse, wie sie strategische Überwachungen kennzeichnet.

Schließlich wäre die Aufdeckungspflicht möglicherweise anders zu beurteilen, wenn sie nicht mit einer Meldepflicht verbunden wäre. Das Aufdeckungssystem könnte sich stattdessen darauf beschränken, einen als Darstellung sexualisierter Gewalt oder Kontaktaufnahme erkannten Inhalt nicht zu senden und die sendende Person zu warnen, dass sie sich möglicherweise strafbar macht. Die Nutzer*innen interpersoneller Kommunikationsdienste würden damit nicht mehr dem Risiko belastender Folgemaßnahmen nach einem Treffer ausgesetzt; hierdurch reduzierte sich das Eingriffsgewicht der Aufdeckung. Das verbleibende Risiko falsch positiver Treffer ließe sich wie bereits jetzt vorgesehen durch transparenzschaffende Vorgaben und einen Beschwerdemechanismus einhegen. Gleichwohl könnten solche Warnungen einen spezialpräventiven Effekt haben, da bei den Nutzer*innen der Eindruck entstünde, sie seien ertappt worden („Big-Brother-Effekt“).

Fazit

Die Verhütung und Verfolgung sexualisierter Gewalt gegen Kinder kann als Anliegen von hohem Gewicht auch intensive Grundrechtseingriffe legitimieren. Soweit die geplante Verordnung Hosting-Anbieter in die Pflicht nimmt, lassen sich die vorgesehenen Eingriffe in grundrechtliche Kommunikationsfreiheiten grundsätzlich rechtfertigen, obwohl sie teils mit erheblichen Risiken verbunden sind. Allerdings sollte die Verordnung in einigen Punkten noch restriktiver gefasst werden.

Schon im Ansatz zu weit geht hingegen die Ermächtigung zu Aufdeckungsanordnungen bei interpersonellen Kommunikationsdiensten („Chatkontrolle“ im engeren Sinne). Sie hebelt die Vertraulichkeit der betroffenen Dienste potenziell flächendeckend und ohne konkreten Anlass aus. Auch das wichtige Anliegen des Kinderschutzes rechtfertigt es nicht, den Einsatz persönlicher Spione vorzuschreiben, um die Kommunikation großer Bevölkerungsteile fortlaufend zu untersuchen und Verdachtsmomente erst zu generieren.

---

Questa è la traduzione automatica di un articolo pubblicato su Verfassungsblog all’URL https://verfassungsblog.de/spion-bei-mir/ in data Thu, 11 Aug 2022 07:13:59 +0000.