Quellcodeanalysen mit LLMs verbessern

Bei der nachträglichen Auswertung der Ergebnisse mehrerer unserer Sicherheitsüberprüfungen von Open-Source-Software der letzten Jahre mussten wir feststellen, dass statische Analysewerkzeuge (SAST) weit weniger relevante Ergebnisse beitragen konnten als erwartet.

Aufgrund ihrer hohen Relevanz für einen effektiven Secure-Software-Development-Life-Cycle haben wir uns intensiv damit beschäftigt, wie man unter Zuhilfenahme von Large Language Models (LLMs) die – unter Experten allgemein bekannten – Defizite von SAST-Werkzeugen abmildern kann. Eine auf der Auswertung von Code-Eigenschaften basierende Analysemethode lieferte hierbei die besten Ergebnisse.

Die Methode und deren Effektivität möchten Mirko in diesem Vortrag vorstellen.

Vorkenntnisse

Ein grundlegendes Verständnis für statische Quellcodeanalyse und entsprechende Schwachstellenkategorien wird empfohlen, aber nicht vorausgesetzt. Teilnehmende sollten idealerweise schonmal ein LLM für eigene Anfragen verwendet und keine Berührungsängste mit dem einen oder anderen Code-Schnippsel haben.

Lernziele

Die Teilnehmenden erfahren, wie moderne Analysemethoden unter Einsatz von Large Language Models (LLMs) systematische Defizite einer langjährig gereiften Werkzeugklasse gezielt kompensieren können. Es werden Überlegungen zur generellen Herangehensweise, von der initialen Problemstellung über die Auswahl und dem Umgang mit möglichst repräsentativen Schwachstellen-Daten bis hinunter zum feingranularen Einzel-Prompting vorgestellt.