Zurück

KI als Angriffsvektor – Sicherheitsrisiken und Best Practices bei der Integration von LLMs

Viele Produkte integrieren mittlerweile Chatbots und LLMs in eigene Anwendungen, um deren Funktionsvielfalt zu steigern. So kann dann beispielsweise eine Mail-App passende Antworten autonom formulieren und senden. Fragt man Entwickler nach Angriffsszenarien, sind häufige Antworten Prompt-Hacking oder Jailbreaking – doch es gibt noch mehr zu beachten!

In unserem Vortrag geben wir eine Übersicht, wie integrierte KIs neue Angriffsvektoren in Ihren Anwendungen öffnen. Wir führen in das Prompt-Hacking und Jailbreaking ein und beleuchten komplexere Angriffe wie den Wurm Morris II, der KIs in Mailing-Apps angreift.

Abschließend gehen wir auf Best Practices für eine sichere Integration von KIs ein.

Vorkenntnisse

Dieser Vortrag ist an Softwareentwickler:innen und Systemarchitekten:innen gerichtet, die KI-Dienste in ihre eigenen Anwendungen integrieren wollen. Tiefere Kenntnisse bzgl. der genauen Funktionsweise von KI-Modellen sind jedoch nicht erforderlich. Die Teilnehmenden sollten mit dem Konzept eines Injection-Angriffs vertraut sein.

Lernziele

Die Teilnehmenden lernen neue Bedrohungen kennen, die sie erwarten müssen, wenn sie KI-Dienste in ihre eigenen Anwendungen integrieren, und sie erhalten ein tieferes Verständnis der besprochenen Angriffe. Darüber hinaus lernen sie, welche Gegenmaßnahmen möglich sind und wie sich diese effektiv in den Arbeitsalltag einsetzen lassen.

Speaker

Niklas Michels schloss 2021 Ausbildung sowie Bachelor ab und studiert seitdem im Masterstudiengang Informatik an der RWTH Aachen. Er arbeitet als wissenschaftliche Hilfskraft am Fraunhofer IEM, wo er sich mit Language und Software Security beschäftigt. An der RWTH Aachen forscht er bezüglich der Safety von generativer KI.

Sebastian Leuer schloss 2019 den Masterstudiengang Medieninformatik an der Hochschule Düsseldorf ab. Seitdem ist er wissenschaftlicher Mitarbeiter am Fraunhofer IEM und beschäftigt sich mit Werkzeugen und Weiterbildungen sicherer Softwareentwicklung. Aktuell verantwortet er die Konzipierung von zielgruppenorientierten Trainingskonzepten für das zertifizierte Security Champion Training.

Jetzt Tickets sichern

heise-devSec-Newsletter

Du möchtest über die heise devSec
auf dem Laufenden gehalten werden?

Anmelden