Massenüberwachung durch neues Apple-System «NeuralHash»?

Apple wollte in Zusammenhang mit dem Rollout des Betriebssystems iOS 15 eine Funktion auf iCloud einbauen, die Bilder auf kinderpornographische Inhalte überprüft («CSAM-Detection»). Die Apple-Produkte sollten Bilder, die auf iCloud hochgeladen werden, anhand einer künstlichen Intelligenz namens NeuralHash überprüfen. Dieses Verfahren wird Child Sexual Abuse Material Detection (auch CSAM-Detection) genannt. NeuralHash löste aber unter Datenschutzexperten einen so grossen Aufschrei aus, dass dessen Einführung von Apple auf unbestimmte Zeit verschoben werden musste. In diesem Blogbeitrag erfährst Du, was NeuralHash ist und was die Gefahren von NeuralHash sind.

Wie funktioniert NeuralHash?

NeuralHash ist ein neuronales Netzwerk, welches mittels künstlicher Intelligenz in der Lage sein soll, kinderpornographische Bilder zu identifizieren. Dazu wurde NeuralHash mit einer Datenbank ausgerüstet, die Hashwerte von kinderpornographischen Bildern als Referenzwerte enthält. Bevor ein Bild in iCloud hochgeladen wird, generiert NeuralHash einen Hashwert für das Bild. NeuralHash vergleicht anschliessend den Hashwert des Bildes, mit den Referenzwerten seiner Datenbank. Stimmt der Hashwert eines iCloud-Bildes mit den Hashwerten der Referenzdatenbank in hohem Masse überein, schlägt NeuralHash Alarm. Das verdächtige Bild wird anschliessend von einer Person manuell überprüft. Ist die zuständige Person der Meinung, dass der User illegale Bilder besitzt oder hochgeladen hat, deaktiviert Apple den User-Account und benachrichtigt das amerikanische National Center for Missing and Exploited Children und die amerikanischen Strafverfolgungsbehörden. Wenn ein Nutzer der Meinung ist, dass sein Konto fälschlicherweise gesperrt wurde, kann er Einspruch einlegen (Vgl. CSAM Detection Technical Summary August 2021). Der Prozess ist nachfolgend vereinfacht dargestellt:

Wieso werden Hashwerte verwendet?

1. Hashwerte werden durch Einwegfunktionen generiert. Das bedeutet, dass es kaum möglich ist, aus einem Hashwert, den Inhalt der ursprünglichen Datei zu ermitteln. Datenlecks sind daher deutlich unproblematischer, weil nur Hashwerte und keine Bilddateien verloren gehen.

2. Zwei Dateien mit genau demselben Inhalt ergeben immer denselben Hashwert. Das bedeutet, dass für zwei Bilder mit demselben Inhalt derselbe Hashwert generiert wird. So lässt sich feststellen, ob ein Bild kinderpornographisch ist, indem die Hashwerte verglichen werden (weil gleicher Hashwert = gleicher Inhalt). Das Bild muss für die Überprüfung nicht angeschaut werden. Daher ist die Verwendung von Hashwerten datenschutztechnisch unbedenklicher als die direkte visuelle Analyse der Bilder.

3. Hashwerte sind Hexadezimalwerte von bis zu 64 Stellen. Es handelt sich daher um sehr kleine Dateien, die viel einfacher übermittelt werden können als grosse Bilddateien.
   

Was sind die Schwachstellen von NeuralHash?

NeuralHash kann die Verfolgung von Personen fördern, die kinderpornografisches Material besitzen. Das ist erfreulich, darf aber nicht darüber hinwegtäuschen, dass NeuralHash einige heikle Schwachstellen aufweist.

• Unnötige Datenbearbeitung bei falscher Auswertung durch NeuralHash

Ein Problem von NeuralHash ist dessen Fehleranfälligkeit. Es ist selten, aber möglich, dass zwei vollkommen unterschiedliche Bilder fast dieselben Hashwerte besitzen. Dies bringt die Gefahr mit sich, dass Bilder als verdächtig eingestuft werden, obwohl sie es gar nicht sind. Dank der manuellen Überprüfung durch eine echte Person kommt es zwar nicht direkt zu einer Strafanzeige, dennoch würden aber dadurch Personendaten unnötig bearbeitet werden.

Dieses Problem relativiert sich, wenn man der Aussage von Apple glaubt, dass NeuralHash nur in einem von 1'000'000'000'000 Fällen falsch liegt.

“The threshold is selected to provide an extremely low (1 in 1 trillion) probability of incorrectly flagging a given account.”

(Quelle: CSAM Detection Technical Summary August 2021)

• Manipulation des Hashwerts

Die Verwendung von Hashwerten ist nicht ganz unproblematisch. Optisch sehr verschiedene Bilder können unter Umständen sehr ähnliche Hashwerte aufweisen. Genauso können optisch sehr ähnliche Bilder unter Umständen sehr unterschiedliche Hashwerte aufweisen. Apple selbst sagt dazu zwar Folgendes:

“The main purpose of the hash is to ensure that identical and visually similar images result in the same hash, and images that are different from one another result in different hashes. For example, an image that has been slightly cropped or resized should be considered identical to its original and have the same hash.”

(Quelle: CSAM Detection Technical Summary August 2021)

NeuralHash kann die Bilder aber optisch nicht wahrnehmen, sondern nur dessen Hashwerte lesen. Daher kann NeuralHash durch gezielte Veränderungen des Hashwertes getäuscht werden. Der Hashwert eines Bildes kann manipuliert werden, ohne dass sich das Bild optisch wesentlich verändert. Dazu existiert bereits frei zugängliche Software, die es ermöglicht, illegale Bilder vor NeuralHash zu tarnen.

• Der Missbrauch

Künstliche Intelligenzen in Form von neuralen Netzwerken besitzen ein immenses Potenzial. Gleichzeitig droht aber die Gefahr, dass Software dieser Art missbraucht wird. Hacker oder totalitäre Regime könnten gezielt Bilder erstellen, die eigentlich keine verbotenen Inhalte enthalten, aber trotzdem eine Übereinstimmung mit den Hashwerten auslösen. NeuralHash könnte also missbraucht werden, um Unschuldige gezielt zu diskreditieren.

Auch in westlichen Ländern besteht Interesse an Überwachungssoftware. Zum Beispiel Gesichtserkennungssoftware bei Einlasskontrollen in Stadien. Ein Missbrauchspotential ist also auch dort vorhanden.

Ist ein Verbot die Lösung?

NeuralHash von Apple zu verbieten heisst jedoch nicht, dass die Gefahren, die von solchen neuronalen Netzwerken ausgeht, beseitigt wäre. Wenn Apple in der Lage ist, ein neuronales Netzwerk wie NeuralHash zu entwickeln, können dies Dritte (u.a. Staaten mit autoritärer Regierung) wohl auch.

Daher ist die Sensibilisierung der breiten Bevölkerung für einen kritischen Umgang mit neuronalen Netzwerken sehr wichtig.

Fazit und Ausblick

NeuralHash wird wahrscheinlich in der Lage sein, den Besitz und die Verbreitung von Kinderpornographie zu bekämpfen. Das ist eine gute Sache. Ein kritischer Umgang ist dennoch wichtig. Gerade die Schwachstellen im Bereich des Datenschutzes bedürfen noch weiteren Verbesserungen.

Die Europäische Kommission hielt fest, dass die derzeit bereits von Kommunikationsdiensten eingesetzten Verfahren zur Aufdeckung sexuellen Missbrauchs von Kindern im Internet möglicherweise nicht im Einklang mit der e-Privacy Richtlinie stehen. Die Einführung der CSAM-Detection liegt damit fürs Erste auf Eis. Wann und ob diese Funktion eingeführt wird, ist unbekannt.

Klar ist aber, dass mit dem Launch von iOS 15.2 ein Feature mit ähnlicher Funktion gekommen ist. Apple-Geräte, die von Kindern bedient werden, sind neu in der Lage pornographische Inhalte (nicht nur kinderpornographische) zu erkennen und allenfalls unscharf darzustellen. Im Unterschied zur CSAM-Detection wird die Analyse der Bilder lokal auf dem Gerät ausgeführt und die Funktion muss von den Eltern ausdrücklich aktiviert werden. Die Anwendung dieser Funktion beschränkt sich zudem auf die «Nachrichten» App. Daher ist diese Funktion aus Datenschutz-Sicht im Moment weniger bedenklich als die CSAM-Detection. Weitere Informationen zum Kinderschutz Feature ab iOS 15.2 findest du hier.

Ob und wann NeuralHash in Europa eingeführt wird, ist nicht bekannt. Ausgeschlossen ist die Umsetzung bislang nicht. Ein entsprechender Vorschlag für eine Übergangsregelung hat der Europäische Rat und das Europäische Parlament bereits vorgelegt (vgl. Vorschlag zur Verordnung des europäischen Parlaments).

Datenschutz.law hält Dich über weitere Entwicklungen zu NeuralHash auf dem Laufenden.