USTP Expertise zu sicherer KI
Timea Pahi gab Einblicke in das EU-KI-Gesetz vs Chatbot-Realität
Juniorprofessorin Timea Pahi, aus dem Department Informatik & Security, beleuchtete bei einer gemeinsamen Veranstaltung von Shecurity und Women in AI Austria das Spannungsfeld zwischen den Anforderungen des EU-KI-Gesetzes und der Sicherheit realer Chatbot-Anwendungen. Im Mittelpunkt stand die Frage, wie sich KI-Systeme nicht nur rechtskonform, sondern auch technisch robust und widerstandsfähig gestalten lassen.
Künstliche Intelligenz und Cybersicherheit sind zunehmend miteinander verbunden. Je leistungsfähiger KI-Systeme werden und je stärker sie in Organisationen sowie in den Alltag eingebunden sind, desto wichtiger werden Fragen nach ihrer Sicherheit, Robustheit und verantwortungsvollen Nutzung. Diesen Themen widmete sich die Veranstaltung im November, die von Shecurity und Women in AI Austria gemeinsam organisiert wurde.
Zwischen Regulierung und technischer Realität
Timea Pahi, Juniorprofessorin im Department Informatik & Security der USTP, gab in ihrem Vortrag „Compliant but Compromised: EU AI Act vs. Chatbot Reality“ Einblicke in zentrale Schutzmechanismen für Chatbots. Sie zeigte, wie sogenannte Guardrails den Informationsfluss zwischen Nutzer*innen und KI-Systemen kontrollieren sollen.
Dabei unterschied sie drei Ebenen:
- Eingabe-Guardrails überprüfen Anfragen, bevor diese vom KI-System verarbeitet werden.
- Informations- und Kontext-Guardrails steuern, welche Daten und Informationen das System für seine Antworten verwenden darf.
- Ausgabe-Guardrails prüfen die von der KI erzeugten Inhalte, bevor sie den Nutzer*innen angezeigt werden.
Der Vortrag machte zugleich deutlich, dass formale Vorgaben und technische Schutzmaßnahmen allein keine vollständige Sicherheit garantieren. Angreifer*innen können versuchen, bestehende Leitplanken zu umgehen und Chatbots zu unerwünschten oder sicherheitskritischen Ausgaben zu bewegen. Diese Diskrepanz zwischen Konformität und tatsächlicher Widerstandsfähigkeit stellt Organisationen bei der Entwicklung und beim Einsatz von KI-Systemen vor neue Herausforderungen.
KI-Systeme ganzheitlich absichern
Ergänzt wurde diese Perspektive durch einen Vortrag von Mayo Takeuchi zur Robustheit von KI-Systemen unter Angriffen. Sie zeigte, wie Angriffe vor, während und nach der Verarbeitung einer Anfrage ansetzen können. Damit rückte eine grundlegende Frage in den Mittelpunkt: Reicht es aus, einzelne KI-Modelle zu schützen, oder müssen Organisationen die gesamten Systeme und Prozesse rund um eine KI-Anwendung absichern?
Mit ihrem Beitrag brachte Timea Pahi die anwendungsorientierte Expertise der USTP an der Schnittstelle von Künstlicher Intelligenz, Regulierung und Cybersicherheit in den fachlichen Austausch ein. Die Diskussion zeigt: Vertrauenswürdige KI entsteht erst dann, wenn rechtliche Anforderungen, technische Sicherheit und die konkrete Anwendungspraxis gemeinsam betrachtet werden.
„Eine großartige Veranstaltung von Shecurity zusammen mit Women in AI Austria, organisiert von von unserem langjährigen Kooperationspartner SBA Research. Es ist immer wieder eine Freude, dass sich die ständige Arbeit an einem derart schnelllebigen Thema lohnt, indem unsere Expertise bei solch Veranstaltungen angefragt wird!“ meint Simon Tjoa, Studiegangsleiter des Masterstudiengangs Cyber Security and Resilience.
Women in AI Austria ist eine gemeinnützige Community, die Frauen im Bereich Künstliche Intelligenz stärkt und sich für mehr Geschlechtervielfalt bei der Entwicklung von Algorithmen und Datensätzen einsetzt. Shecurity ist eine gemeinnützige Organisation, die die Vernetzung und Stärkung von Frauen in der IT Sicherheit durch eine starke Gemeinschaft und den Aufbau von Kompetenzen stärkt.