AI Hacker - kein Mythos mehr

    Mythos wird Realität.

    Display Spoiler

    APA

    22.07.2026

    06:26

    SAN FRANCISCO (dpa-AFX) - Ein außergewöhnlicher Zwischenfall beim Testlauf neuer KI-Modelle des ChatGPT-Entwicklers OpenAI demonstriert das Risiko potenzieller Cyberattacken mit Künstlicher Intelligenz. Die Software drang eigenständig in Computersysteme einer anderen KI-Firma ein und verhielt sich dabei wie ein gewiefter Hacker, wie aus einem Blogeintrag von OpenAI hervorgeht.


    Das betroffene Unternehmen Hugging Face, eine Plattform für KI-Anwendungen, berichtete bereits vergangene Woche von einem Cyberangriff mit Hilfe Künstlicher Intelligenz. Nun stellt sich heraus, dass dieser auf einen internen Versuch bei OpenAI zurückging, den die Software ungeplant zu weit trieb.


    Alles nur um zu schummeln


    OpenAI wollte laut dem Blogeintrag beim neuen Modell GPT-5.6 Sol und einer noch unveröffentlichten künftigen Version die Fähigkeit ausloten, Sicherheitslücken für Cyberattacken auszunutzen. Dafür sollte die Software Aufgaben eines Standard-Tests mit dem Namen ExploitGym lösen, der dafür oft in der Branche verwendet wird. Doch die KI-Modelle gingen viel weiter als erwartet, um die Aufgabe zu erfüllen.


    Zunächst brach die Software aus der Testumgebung aus, indem sie sich auf eigene Faust Zugang zum offenen Internet verschaffte - und zwar über eine bisher unentdeckt gebliebene Schwachstelle. Während sie eigenständig im Netz unterwegs waren, kamen die Modelle zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die ExploitGym-Aufgaben geben könnte. Deshalb habe die Software sich Zugang zu "geheimen Informationen" auf der Plattform verschafft, mit denen sie beim ExploitGym-Test schummeln könnte, erläuterte OpenAI.


    Auch dafür setzte die OpenAI-Software unter anderem auf zuvor unentdeckte Sicherheitslücken - aber auch auf gestohlene Zugangsdaten. Hugging Face zufolge führte der KI-Angreifer tausende Schritte aus und wechselte den Standort der digitalen Steuerzentrale der Attacke. OpenAI selbst sprach von einem "beispiellosen Cyber-Zwischenfall".


    Angst vor KI-Cyberangriffen


    Experten warnen schon lange vor Cyberattacken mit KI-Software. In den vergangenen Monaten heizte vor allem ein neues Modell des OpenAI-Rivalen Anthropic die Debatte an. Die Software mit dem Namen Mythos entdeckte über Jahrzehnte unentdeckt gebliebene Sicherheitslücken bei viel genutzten Programmen und Online-Diensten. Die Schwachstellen konnten in der Folge gestopft werden. Doch zugleich führte das vor Augen, dass solche KI in den falschen Händen als verheerende Cyberwaffe dienen kann.


    Anthropic macht die vollen Möglichkeiten von Mythos nur für ausgewählte Behörden und Unternehmen zugänglich. Für andere gibt es eine abgespeckte Version mit dem Namen Fable, der unter anderem die Cybersicherheits-Fähigkeiten fehlen. Nach Warnungen, dass die KI-Modelle von den Zügeln befreit werden könnten, musste Anthropic auf Geheiß der US-Regierung den Zugang zu Mythos und Fable zeitweise Sperren. Die Blockade wurde inzwischen aufgehoben./so/DP/zb


    Servus !

    RTFM = Read The Factory Manual, oder so

    Ich glaube auch, dass das längst kein Mythos mehr ist. KI kann heute schon beim Finden von Schwachstellen oder beim Erstellen von Phishing-Mails helfen. Am Ende ist aber immer noch der Mensch entscheidend – die KI ist nur ein Werkzeug. Mich würde interessieren, auf welchen konkreten Fall oder Artikel du dich beziehst.

    Quote from Milkachoks

    Mich würde interessieren, auf welchen konkreten Fall oder Artikel du dich beziehst.

    Es ist eine Pressemeldung der APA vom 22.7. 06:26 Uhr, die sich auf die Presseagenturen dpa-AFX beruft.

    Betroffen war (schon vor einer Woche) die Fa. Hugging Face, die selbst einen AI Agenten betreibt.

    Der Faktor Mensch hat aber hier offensichtlich versagt.


    Anthropic hat auch einen vergleichbaren Agenten (called Mythos) entwickelt. Der wird aber nur an ausgewählte Kunden (Regierungen und Geheimdienste) angeboten, behauptet Anthropic zumindest.


    Inzwischen ging aber der Vorfall auch schon durch alle Nachrichtensendungen.


    Servus !

    RTFM = Read The Factory Manual, oder so

    Edited once, last by RTFM (July 23, 2026 at 1:24 PM).

    Ich denke das Problem ist diese Aussage:

    Quote from RTFM

    den die Software ungeplant zu weit trieb

    Im März erschien auf Spektrum ein Artikel mit dem Titel "KI entwirft Experimente, die kein Mensch mehr versteht". Es geht darin, dass eine KI ein besseres Design für Gravitationswellendetektoren gefunden hat, das selbst Wissenschaftler nicht verstehen.

    Quelle: https://www.spektrum.de/news/ki-liefer…rstehen/2314636

    Wenn es soweit kommt, dass wir nicht mehr verstehen, was eine KI macht, haben wir ein massives Problem.

    Das Problem ist meiner Meinung nach, dass die Menschheit mit dem Wissen und Verständnis hinterherhinkt. Zumindest muss der Grossteil der Menschen erst mal die Grundlagen/Zusammenhänge/Auswirkungen verstehen, bevor es überhaupt vernünftig urteilen kann. Im Moment wird KI uns allen ungefragt von wenigen Technokraten "aufgezwungen" (wie es genutzt wird und genutzt werden soll). Ich glaube auch nicht, das die Mehrheit eine Welt möchte, die von https://www.deutschlandfunk.de/tech-bro-topia…valley-100.html bestimmt wird.

    Quote from daxb

    Ich glaube auch nicht, das die Mehrheit eine Welt möchte, die von https://www.deutschlandfunk.de/tech-bro-topia…valley-100.html bestimmt wird.

    Da zu passt hervorragend das Buch von Douglas Rushkoff:

    Survival of the Richest
    Warum wir vor den Tech-Milliardären noch nicht einmal auf dem Mars sicher sind

    Survival of the Richest. Buch von Douglas Rushkoff (Suhrkamp Verlag)
    Und was sind Ihre Pläne für den Weltuntergang? | Buch von Douglas Rushkoff versandkostenfrei & direkt vom Verlag kaufen
    www.suhrkamp.de

    Manches ist vielleicht übertrieben, aber es führt einem die Gedankengänge und das Weltbild dieser Personen näher.

    Eine KI ist im Übrigen auch keine "echte" Intelligenz im Sinne von "sie könnte etwas Neuartiges erfinden", sondern es handelt sich (zumindest derzeit "nur") um einen Algorithmus für Mustererkennung, Mustervergleich und Musterreproduktion, aufbauend auf einer (im Idealfall) sehr großen Wissensbasis. Dies gilt auch und insbesondere für die LLMs, die auf Fragen in natürlicher Sprache zumindest scheinbar passende Antworten liefern. Die Wissensbasis vieler LLMs ist "das Internet" oder große Teile davon. Je mehr "fake news" sich im Internet breit machen, desto größer wird auch der Grad der Fabulierungen in den KI-Antworten. Wenn solche künstlich generierten und mitunter falschen KI-Antworten dann den Weg ins Internet (zurück-)finden, wird die Richtigkeit der Antworten im Laufe der Zeit weiter sinken.

    Eine KI ist gut darin, viele Informationen schnell zu finden und nach ihrem Algorithmus zu sortieren. Daher verwundert es mich nicht, dass eine KI einen Weg findet, aus der Sandbox auszubrechen und einen Angriffsvektor zu finden. Schließlich ist das Internet mit dieser Art an Information voll. Interessant wäre natürlich, welche konkrete Anfrage (Tokens Prompt) ChatGPT vom eigenen Entwickler, OpenAI tatsächlich bekommen hat...

    Dass Menschen mitunter nicht mehr nachvollziehen können, wie und warum eine KI auf ein bestimmtes Ergebnis kommt, liegt schlicht daran, dass die Informationsmenge, auf die die KI Zugriff hat, dermaßen immens ist und die Großrechner in den Rechenzentren unter unvorstellbarem Energiebedarf extrem schnell rechnen und Algorithmen abarbeiten können und das im Parallelbetrieb.

    Ich denke, je weniger Berührungspunkte man mit der digitalen Konsumwelt hat, desto weniger werden einen die zukünftigen Entwicklungen betreffen. Ich bin ja 60+, und mit Raspberry Pi und einem Smartphone mit weitestgehend gefesselt und geknebelten Google stehe ich schon ganz gut in einer Nische, die für die zukünfigen Entwicklungen nur schwer erreichbar und eben auch ziemlich uninteressant ist.

    Ich schaue mir aus der Distanz in meinem Umfeld an, was den Leuten so geschieht, die "auf jeder Hochzeit tanzen" - also jeden neuen Trend bedenkenlos mit gehen. Für ein paar "bunte Glasperlen" verkaufen sie ihre digitale Identität und wenn sie dann digital verarscht, betrogen und um ihr Geld gebracht werden dann weiss ich: das wird mir so einfach nicht passieren.

    Die Chinesen sagen ja "Mögest du in interessanten Zeiten leben". Passt gut. Ich lebe in ziemlich uninteressanten Zeiten...

    Quote from soulfunk

    Ich denke, je weniger Berührungspunkte man mit der digitalen Konsumwelt hat, desto weniger werden einen die zukünftigen Entwicklungen betreffen.

    Kurzfristig und vielleicht auch mittelfristig funktioniert das sicherlich für den Einzelnen. Aber deine Umgebung betrifft das und über kurz oder lang dann auch dich selber. Also die Auswirkungen treffen mehr oder weniger alle. Das merken wir ja schon eine Weile lang, wenn irgendwo auf der Welt irgendetwas passiert, dass uns das Zeitversetzt beeinflusst. Und wenn KI überall (weltweit) in die System integriert worden ist, ... Ich hoffe es ist dann gut reguliert und abgesichert. Nicht von ein paar wenigen, sondern von allen und demokratisch.

    Natürlich muss man "am Ball bleiben" und sich technisch auf dem Laufenden halten. Aber wenn sich mein Bekanntenkreis plötzlich wieder per SMS meldet, weil deren Whatsapp Konto gespooft wurde, stört mich das nicht im Geringsten😁.

    Ich lasse öfters mal bei der Einkaufsfahrt in der Stadt mein Smartphone zuhause. Seitdem ist die Kaffeepause beim Bäcker deutlich erholsamer.

    ich frage mich bisweilen, wie sich ganze KI technisch und vor allem gesellschaftlich weiterentwickeln wird. Meine Vermutung ist, dass da gerade eine Blase wächst, die irgendwann in 5(?) oder 10(?) Jahren platzen wird. Denn es gibt Stand heute genau eine Firma, die mit KI Geld verdient:

    Display Spoiler

    Nvidia

    Bei einem KI-Crash wird es dann alle Firmen, die bezüglich KI in der zweiten Liga spielen, wie vermutlich auch Hugging Face, derbröseln. In der ersten Liga spielen Firmen mit wie OpenAI, Anthropic, DeepSeek und die Techriesen wie Microsoft oder Google. Von denen, die nur KI als Geschäftsmodell haben, werden vielleicht auch einige große verschwinden und die Techgiganten, bei denen KI eine Sparte von mehreren ist, werden diese Sparte entweder aufgeben oder weiterführen. Übrig bleiben im KI-Markt werden dann einmal mehr nur einige Techgiganten und die, die es dank KI ebenfalls geworden sind...

    soulfunk Ich denke das ist zu kurz gedacht. Man muss die Technik nicht selbst verwenden um davon betroffen zu sein. Wenn die beispielsweise von einem Arzt, den Du konsultierst, verwendet wird um Deine Daten und Patientenakte zusammen zu fassen, dann bist Du davon betroffen wenn bei der Zusammenfassung am Ende was wichtiges fehlt, oder etwas falsches hinzu halluziniert wird.

    Speziell Akten und Kommunikationsverläufe zusammen fassen, darauf hin dann Entscheidungen fällen und Antwortschreiben verfassen, wird in immer mehr Büros per LLM gemacht oder zumindest unterstützt. Das kann Dich direkt oder indirekt also durchaus betreffen.

    „A life is like a garden. Perfect moments can be had, but not preserved, except in memory. LLAP”
    — Leonard Nimoy's last tweet.

    Versicherung (*) an KI:

    Ist der Kunde XYZ, wohnhaft in ABC, DEF-Str. (0-9) ein Kostenrisiko?

    (*) oder Kreditinstitut, Arbeitgeber, Krankenkasse, ...

    MfG

    Jürgen

    __blackjack__: deswegen sollte KI immer nur als Werkzeug gedacht sein, gerade wenn es um repetitive Aufgaben geht auf großen Datensätzen wo bei menschlicher Routine schnell Fehler entstehen. Am Ende sollte immer ein Mensch stehen der mit Erfahrung und Plausibilität Entscheidungen fällt. Keine Maschine allein.

    Jürgen Böhm: ich denke nicht, dass das ein KI-spezifisches Problem ist. Überall dort wo Daten über eine Person gesammelt werden, können gewisse Wahrscheinlichkeiten erhoben werden. Auch ohne KI. Das passiert doch schon länger. Bei dem Abschluss einer KFZ-Versicherung spielt das Alter, die praktische Fahrerfahrung, der Wohnort uvm. eine Rolle. Und auch eine Krankenversicherung wird da in Zukunft anpassen. Die Kreditwürdigkeit wird ja auch erhoben. Das kann dir am angespannten Wohnmarkt große Schwierigkeiten bereiten.

    Quote from hyle

    Dann geht die SCHUFA pleite? Also hat K.I. doch Vorteile?

    Zu a) Warscheinlich nicht.
    Zu b) Definitiv Nein.

    Ich hatte mal von einer Story gelesen:
    Die Freundin einer Frau hatte Krebs, und die Frau wollte helfen.
    Also hat sie sich mittels Google schlau gemacht.
    Etwa 2 Jahre später brauchte sie ein neues Auto, und dann fing das Drama an.
    Kurz zusammengefaßt: Entweder kein oder teurer Kredit, keine Versicherung oder sehr teuer.
    Denn Google hatte sie als Risiko eingestuft. Herausbekommen hatte Sie das über einen Schulfreund,
    der bei einer Bank arbeitete.
    Wird schwierig werden aus der Nummer wieder rauszukommen.

    Und richtig, eine KI braucht man dazu nicht, aber sie kann das noch wesentlich schlimmer machen.

    MfG

    Jürgen

    P.S.: Ob die Geschichte wahr ist, weiß ich aber nicht.

    Quote from __blackjack__

    soulfunk Ich denke das ist zu kurz gedacht. Man muss die Technik nicht selbst verwenden um davon betroffen zu sein. Wenn die beispielsweise von einem Arzt, den Du konsultierst, verwendet wird um Deine Daten und Patientenakte zusammen zu fassen, dann bist Du davon betroffen wenn bei der Zusammenfassung am Ende was wichtiges fehlt, oder etwas falsches hinzu halluziniert wird.

    Speziell Akten und Kommunikationsverläufe zusammen fassen, darauf hin dann Entscheidungen fällen und Antwortschreiben verfassen, wird in immer mehr Büros per LLM gemacht oder zumindest unterstützt. Das kann Dich direkt oder indirekt also durchaus betreffen.

    Nun, die EPA habe ich löschen und blockieren lassen. Ist natürlich die Frage ob das in Zukunft möglich ist. Ich habe zum Glück trotz meines Alters keine "richtige" Krankheit, bin also recht zuversichtlich.

Participate now!

Don’t have an account yet? Register yourself now and be a part of our community!

Register Yourself Login