ChatGPT erstellt mutierende Malware, die der Erkennung durch EDR entgeht

Oct 29, 2023

Von Shweta Sharma

Leitender Autor, CSO |

ChatGPT ist seit seiner ersten Veröffentlichung Ende letzten Jahres eine weltweite Sensation und die Beliebtheit von ChatGPT bei Verbrauchern und IT-Fachleuten gleichermaßen hat bei der Cybersicherheit Albträume darüber ausgelöst, wie es zum Ausnutzen von Systemschwachstellen eingesetzt werden kann. Ein zentrales Problem ist, wie Cybersicherheitsexperten gezeigt haben, die Fähigkeit von ChatGPT und anderen großen Sprachmodellen (LLMs), polymorphen oder mutierenden Code zu generieren, um Endpoint Detection and Response (EDR)-Systemen zu entgehen.

Eine aktuelle Reihe von Proof-of-Concept-Angriffen zeigt, wie eine scheinbar harmlose ausführbare Datei so gestaltet werden kann, dass sie zu jeder Laufzeit einen API-Aufruf an ChatGPT ausführt. Anstatt nur Beispiele bereits geschriebener Codeschnipsel zu reproduzieren, kann ChatGPT bei jedem Aufruf dazu aufgefordert werden, dynamische, mutierende Versionen von Schadcode zu generieren, wodurch die daraus resultierenden Schwachstellen-Exploits für Cybersicherheitstools schwer zu erkennen sind.

„ChatGPT senkt die Messlatte für Hacker. Böswillige Akteure, die KI-Modelle verwenden, können als moderne ‚Script Kiddies‘ betrachtet werden“, sagte Mackenzie Jackson, Entwicklervertreterin beim Cybersicherheitsunternehmen GitGuardian. „Die Schadsoftware, zu deren Produktion ChatGPT verleitet werden kann, ist alles andere als bahnbrechend, aber wenn die Modelle besser werden, mehr Beispieldaten verbrauchen und verschiedene Produkte auf den Markt kommen, könnte die KI am Ende Schadsoftware erzeugen, die nur von anderen KI-Systemen erkannt werden kann.“ Verteidigung. Welche Mannschaft dieses Spiel gewinnen wird, ist unklar.

Es gab verschiedene Proof-of-Concepts, die das Potenzial des Tools zur Nutzung seiner Fähigkeiten bei der Entwicklung fortschrittlicher und polymorpher Malware verdeutlichen.

ChatGPT und andere LLMs verfügen über Inhaltsfilter, die es ihnen verbieten, Befehlen oder Aufforderungen Folge zu leisten, um schädliche Inhalte wie bösartigen Code zu generieren. Inhaltsfilter können jedoch umgangen werden.

Fast alle gemeldeten Exploits, die potenziell über ChatGPT ausgeführt werden können, werden durch das sogenannte „Prompt Engineering“ erreicht, die Praxis der Änderung der Eingabeaufforderungen, um die Inhaltsfilter des Tools zu umgehen und eine gewünschte Ausgabe abzurufen. Frühe Benutzer stellten beispielsweise fest, dass sie ChatGPT dazu bringen konnten, Inhalte zu erstellen, die es nicht erstellen sollte – das Programm „jailbreaken“ –, indem sie Eingabeaufforderungen als hypothetisch formulierten und es beispielsweise aufforderten, etwas zu tun, als wäre es keine KI, sondern eine böswillige Person, die Schaden anrichten will.

„ChatGPT hat einige Einschränkungen im System eingeführt, wie zum Beispiel Filter, die den Umfang der Antworten einschränken, die ChatGPT durch die Beurteilung des Kontexts der Frage liefert“, sagte Andrew Josephides, Direktor für Sicherheitsforschung bei KSOC, einem auf Kubernetes spezialisierten Cybersicherheitsunternehmen. „Wenn Sie ChatGPT bitten würden, Ihnen einen Schadcode zu schreiben, würde die Anfrage abgelehnt. Wenn Sie ChatGPT bitten würden, Code zu schreiben, der die effektive Funktion des Schadcodes erfüllen kann, den Sie schreiben möchten, den ChatGPT jedoch wahrscheinlich erstellen wird.“ diesen Code für Sie.

Mit jedem Update wird es schwieriger, ChatGPT zu betrügen, aber da verschiedene Modelle und Produkte auf den Markt kommen, können wir uns nicht auf Inhaltsfilter verlassen, um zu verhindern, dass LLMs für böswillige Zwecke verwendet werden, sagte Josephides.

Die Fähigkeit, ChatGPT dazu zu verleiten, Dinge zu nutzen, die ihm bekannt sind, die aber hinter Filtern verborgen sind, kann Benutzer dazu veranlassen, effektiven Schadcode zu generieren. Es kann verwendet werden, um den Code polymorph zu machen, indem die Fähigkeit des Tools genutzt wird, Ergebnisse für dieselbe Abfrage zu ändern und zu optimieren, wenn sie mehrmals ausgeführt wird.

Beispielsweise kann eine scheinbar harmlose ausführbare Python-Datei bei jeder Ausführung der ausführbaren Datei eine Abfrage generieren, die an die ChatGPT-API gesendet wird, um eine andere Version des Schadcodes zu verarbeiten. Auf diese Weise wird die böswillige Aktion außerhalb der Funktion exec() ausgeführt. Mit dieser Technik kann ein mutierendes, polymorphes Malware-Programm erstellt werden, das von Bedrohungsscannern nur schwer erkannt werden kann.

Anfang des Jahres veröffentlichte Jeff Sims, leitender Sicherheitsingenieur beim Bedrohungserkennungsunternehmen HYAS InfoSec, ein Proof-of-Concept-Whitepaper für ein funktionierendes Modell für einen solchen Exploit. Er demonstrierte den Einsatz von Prompt Engineering und der Abfrage der ChatGPT-API zur Laufzeit, um eine polymorphe Keylogger-Nutzlast zu erstellen, die er BlackMamba nannte.

Im Wesentlichen handelt es sich bei BlackMamba um eine ausführbare Python-Datei, die die ChatGPT-API dazu auffordert, einen bösartigen Keylogger zu erstellen, der bei jedem Aufruf zur Laufzeit mutiert, ihn polymorph macht und Endpunkt- und Antwortfilter (EDR) umgeht.

„Die exec()-Funktion von Python ist eine integrierte Funktion, die es Ihnen ermöglicht, Python-Code zur Laufzeit dynamisch auszuführen“, sagte Sims. „Es nimmt eine Zeichenfolge, die den Code enthält, den Sie ausführen möchten, als Eingabe und führt dann diesen Code aus. Die Funktion exec() wird häufig für spontane Programmänderungen verwendet, was bedeutet, dass Sie das Verhalten eines laufenden Programms ändern können Programm durch Ausführen von neuem Code, während das Programm ausgeführt wird.

Im Kontext von BlackMamba „werden die Einschränkungen des Polymorphismus durch die Kreativität des Prompt-Ingenieurs (Eingabekreativität) und die Qualität der Trainingsdaten des Modells zur Erzeugung generativer Antworten eingeschränkt“, sagte Sims.

Beim BlackMamba-Proof-of-Concept werden die Daten nach der Erfassung der Tastenanschläge per Web-Hook an einen Microsoft Teams-Kanal exfiltriert, sagte Sims. Laut Sims hat BlackMamba eine „branchenführende“ EDR-Anwendung mehrfach umgangen, ohne jedoch zu sagen, welche.

Ein separates Proof-of-Concept-Programm, erstellt von Eran Shimony und Omer Tsarfati vom Cybersicherheitsunternehmen CyberArk, nutzte ChatGPT in der Malware selbst. Die Malware enthält „einen Python-Interpreter, der ChatGPT regelmäßig nach neuen Modulen abfragt, die bösartige Aktionen ausführen“, heißt es in einem Blog, den Shimony und Tsarfati geschrieben haben, um den Proof of Concept zu erläutern. „Indem wir bei ChatGPT bestimmte Funktionen wie Code-Injektion, Dateiverschlüsselung oder Persistenz anfordern, können wir problemlos neuen Code erhalten oder vorhandenen Code ändern.“

Während ChattyCat im Gegensatz zu BlackMamba nicht für einen bestimmten Malware-Typ gedacht war, bietet es eine Vorlage zum Erstellen einer großen Vielfalt an Malware, einschließlich Ransomware und Infostealer.

„Unser POC, ChattyCaty, ist ein Open-Source-Projekt, das eine Infrastruktur für die Erstellung polymorpher Programme mithilfe von GPT-Modellen demonstriert“, sagte Tsarfati. „Polymorphismus kann verwendet werden, um der Erkennung durch Antiviren-/Malware-Programme zu entgehen.“

Shimony und Tsarfati stellten außerdem fest, dass Inhaltsfilter in der ChatGPT-API im Vergleich zur ersten Online-Version schwächer oder gar nicht vorhanden waren.

„Es ist interessant festzustellen, dass das ChatGPT-System bei Verwendung der API seinen Inhaltsfilter offenbar nicht nutzt. Es ist unklar, warum dies der Fall ist, aber es erleichtert unsere Aufgabe erheblich, da die Webversion dazu neigt, sich zu verzetteln.“ komplexere Anfragen“, schrieben Shimony und Tsarfati in ihrem Blog.

Obwohl sich Regierungen weltweit mit der Regulierung der KI auseinandersetzen, um Schaden zu verhindern, ist China bisher das einzige große Land, das neue Regeln erlassen hat. Experten schlagen verschiedene Ansätze vor, um das Schadenspotenzial der generativen KI einzudämmen.

„Im Moment scheint die Lösung zur Beherrschung der Probleme mit der KI darin zu bestehen, ‚mehr KI hinzuzufügen‘, was meiner Meinung nach wahrscheinlich nicht realistisch ist.“ sagte Jeff Pollard, Analyst bei Forrester. „Um diesen Lösungen wirklich die richtigen Kontrollebenen hinzuzufügen, benötigen wir eine bessere Erklärbarkeit und Beobachtbarkeit des Kontexts im System. Diese sollten in die API integriert und verwendet werden, um aussagekräftige Details bereitzustellen und Verwaltungsfunktionen anzubieten, die derzeit scheinbar nicht vorhanden sind.“ "

Die Regulierung der generativen KI werde jedoch schwierig sein, da die Technologiebranche noch in einem frühen Stadium des Verständnisses ihrer Möglichkeiten sei, sagte Chris Steffen, Forschungsdirektor beim Analysten- und Beratungsunternehmen Enterprise Management Associate.

„Der Grund, warum eine Regulierung eine beängstigende Aussicht ist, liegt darin, dass ChatGPT zu den Dingen gehört, bei denen die Möglichkeiten praktisch endlos sind, und dass wir uns nicht einfach darauf vorbereiten können, um alle möglichen Umstände abzudecken, die eine GPT-Instanz möglicherweise abdecken könnte.“ „, sagte Steffen. „Vor allem in Bereichen wie der Regulierung, dem anzuwendenden Prozess und der Verantwortung wird es schwierig.“

Copyright © 2023 IDG Communications, Inc.