Hintergrund
Firmen integrieren bewusst oder unbewusst AI-Komponenten in ihre Prozesse. AI-Komponenten weisen aufgrund der grossen Anzahl Parameter eine grössere Unvorhersehbarkeit auf als klassische Software, die meist explizit mit dem Anspruch der Verlässlichkeit und Vorhersehbarkeit entwickelt wurde.
Dennoch weisen AI-Komponenten hinsichtlich ihrer Risiken viele Gemeinsamkeiten auf mit klassischer Software.
Applikationssicherheit von AI gemäss ISO Standard
Draft ISO/IEC DIS 27090 «Cybersecurity — Artificial Intelligence — Guidance for addressing security threats and compromises to artificial intelligence systems» (https://www.iso.org/standard/56581.html).
Beauftragung und Managementverpflichtung
Was mit der Absicht beginnt, die Sicherheit einer Firma oder Applikation sicherzustellen, führt jeweils zu der realistischeren Sichtweise, dass Sicherheit nicht absolut garantiert werden kann, zumindest jedoch informierte Risikoentscheidungen angestrebt werden sollen.
Da qualitative Risikoanalysen subjektiv sind, müssen für gute Entscheidungen mehrere Personen ein Übereinkommen finden hinsichtlich der Einschätzung des Risikos, möglicher Massnahmen, Chancen und Kontrollen.
Willkommen, «AI governance program».
Ein Programm bedarf nicht unbedingt eines Vollzeitäquivalents, aber es kann nicht aus einer Einzelperson bestehen, denn dann würde es AI governance manager heissen. Ein «AI governance program» ist eine Prozess-Struktur, die auf strategischer Ebene die Einschätzung von Risiken und Chancen von AI systematisch erfasst und bewirtschaftet. Dazu ist der unternehmensweite Risikomanagementprozess bestens geeignet. Insbesondere dann, wenn man ihn auch als Chancenmanagement versteht in dem Sinne, als dass Massnahmen skalieren können und man deshalb besonders chancenreiche Massnahmen identifizieren muss. Dies geschieht, indem nicht nur die Reduktion eines Risikos standardmässig als Chance einbezogen wird, sondern auch positive Effekte ausserhalb einer akuten Risikoreduktion als Argument für eine Massnahme aufgeführt werden können. Chancenmanagement ist die konkrete Empfehlung nach der Risikoanalyse.
Inventarisierung
Die Knochenarbeit jeglichen Security-Managements beginnt und endet mit der Inventarisierung. Wie stellt man sicher, dass jederzeit zentral bekannt ist, wer wo welche AI womit und wofür einsetzt?
Auch in der klassischen IT scheitern viele Organisationen bereits an dieser Grundanforderung. Am ehesten werden Inventare unterhalten, wenn deren Pflege technisch unterstützt oder durchgesetzt wird.
AI Applikationssicherheit
Wie in der klassischen IT gilt es, gewisse Grundprinzipien flächendeckend anzuwenden, um einen reproduzierbaren, dokumentierbaren und in den Grundzügen sicheren Entwicklungs- und Deploymentprozess zu etablieren.
Die meisten grundlegenden Sicherheitsanforderungen aus der klassischen IT gelten auch für AI Systeme. Explizit genannt wird ein Secure Software Development Lifecycle inklusive Supply Chain Management. Ebenso das Bestreben, möglichst schlanke Systeme mit reduzierter Komplexität und minimalen Rechten zu entwickeln.
Risikomanagement
Zentrales Element in einem AI governance program ist systematisches Risikomanagent. Dies umfasst das Sammeln von Bedrohungen, die Einschätzung von Risiken inklusive Akzeptanzkritierien, die Entwicklung von geeigneten Massnahmen mit Chancenmaximierung. Die grundlegenden Mechanismen werden in diversen ISO-Standards verwendet und bedürfen keiner grundlegenden Anpassung. Der Standard ISO/IEC 42001 AI management system beschreibt die Erweiterung von bestehenden Risikomanagementprozessen im AI-Umfeld.
Bemerkenswert ist, dass der Standard empfiehlt, öffentliche bekannte technische Details zu minimieren. Man möchte meinen, dass es durchaus auf den Anwendungsfall ankommt, ob dies wirklich wünschenswert ist. In der Praxis ist es oft so, dass transparente Systeme robuster und vertrauenswürdiger sind, als solche, die auf Sicherheit durch Verschleierung setzen.
Gutes Risikomanagement erfordert einen aktiven Effort, um grosse Risiken zu identifizieren. Es reicht nicht aus, passiv auf Risikomeldungen zu reagieren oder auf einer hohen Ebene komplexe technische Fragestellungen pauschal einzuschätzen. Es bedarf eines systematischen Threat Modellings für alle AI Applikationen. Im Threat Modelling müssen neben Bedrohungskatalogen klassicher IT auch AI spezifische Bedrohungen berücksichtigt werden. Der Standard ISO/IEC DIS 27090 (Entwurf) schlägt die folgenden Bedrohungen vor.
| Data poisoning attack | Ein Angreifer schleust unerwünschte Daten in die Trainingsdaten (oder im Falle des kontinuierlichen Lernens auch in die Eingabedaten) eines KI-Systems ein, um die Genauigkeit eines Modells zu beeinträchtigen oder es anfälliger für zukünftige Angriffe zu machen. |
| Evasion attack | Eingaben werden verändert, um falsche Ausgaben aus einem KI-System zu erzeugen, was zu Fehlfunktionen führt. Diese Veränderungen sind so gestaltet, dass sie für Menschen nicht wahrnehmbar sind. |
| Membership inference | Ein Angreifer erstellt Eingabe- und Ausgabepaare, um Datenproben im Trainingsdatensatz zu finden, die vom Modell gespeichert werden. |
| Model exfiltration | Durch die Modell-Exfiltration kann das Modell mit derselben Funktionalität wie das Originalmodell neu erstellt werden. |
| Model inversion | Aufbereitete Eingaben werden verwendet, um eine Ausgabe zu erzeugen, die eine im ursprünglichen Trainingssatz verwendete Eingabe nachahmt, was zu einer unbefugten Offenlegung von Informationen führt. |
| Direct model poison- ing | Manipulation des Verhaltens des Modells, nicht durch Verfälschung der Trainingsdaten, sondern durch Änderung des Modells während der Entwicklungs- oder Betriebsphase. |
| Direct model theft | Die Modellparameter aus einem System in der Betriebsphase oder aus einer Entwicklungsumgebung stehlen. |
| Direct training data leak | Unbefugter Zugriff auf Trainingsdaten. |
| Model input leak | Verletzung der Vertraulichkeit der in das Modell eingegebenen Daten. |
| Sensitive model output | Verletzung der Vertraulichkeit der Ausgabedaten des Modells. |
| Prompt injection | Inhalt einer Eingabeanweisung an das KI-System, die zu bestimmten Ausgaben führt, die als unbeabsichtigtes Verhalten des KI-Systems angesehen werden können. |
| Output contains injec- tion attacks | Die Ausgabe eines Modells enthält Injektionsangriffe wie Cross-Site-Scripting. |
Fazit
AI Applikationssicherheit entspricht in weiten Teilen klassischer Applikationssicherheit. Die organisatorischen Aspekte sind praktisch identisch, beginnend mit Mangementverpflichtung und Beauftragung, führend über Inventarisierung, Risikomanagementprozess und Grundhygiene im Entwicklungsprozess inklusive Lieferantenmanagement.
Unterschiede zeigen sich in den technischen Bedrohungen. Jedoch zeigen sich auch dort Parallelen zu klassischen Systemen. Wichtig ist, dass man sich der zuweilen unüberschaubar grossen Anzahl Parameter von AI-Modellen bewusst ist. Auch ist nicht immer klar, mit welchen Methoden und Daten die Modelle trainiert wurden.