Neueste Beiträge

Der Große Bruder spricht mit Dir

KI Die Propaganda macht große Fortschritte. Die Bereitstellung von Fake News ist inzwischen automatisiert.

deepai.org

In letzter Zeit führe ich Internet-Suchen in der Regel mit einem KI-Chatbot durch, zumeist mit perplexity.ai. Ich verwende dabei Prompts, die meine Frage mit einiger Hintergrundinformation anreichern, die ich bereits habe, ohne jedoch alle Information einzufüttern, über die ich verfüge. Davon verspreche ich mir etwas «Beifang». Darunter verstehe ich Kontext, den der Chatbot nicht erwähnen würde, wenn meine Frage zu präzise wäre.

So habe ich perplexity.ai vor einigen Tagen nach dem Mitarbeiter des ukrainischen Militärgeheimdiensts gefragt, der im März 2022 vom ukrainischen Inlandsgeheimdienst SBU ermordet wurde. Ich habe diesen Namen auch mit drei Fragen nicht in Erfahrung bringen können. Als ich ihn selbst angab und ein Link zu einem entsprechenden Artikel bereitstellte, bestätigte mir perplexity.ai lediglich, was ich der KI selbst gerade mitgeteilt hatte und was in meinem Link zu lesen war. Auf die Frage, warum perplexity.ai diese Information nicht hatte selb st finden können, ging der Chatbot nicht ein.

Damals hatte ich die Anfragen im anonymen Modus gestellt, so dass ich den Thread hier nicht verlinken kann. Für den Blogbeitrag habe ich den Dialog mit leicht abgewandelten Prompts meinerseits noch einmal nachgestellt. Das Ergebnis ist reproduzierbar. Diesmal bin ich hartnäckig geblieben und habe noch einmal nachgehakt, warum perplexity.ai diese Information nicht selbst bereitgestellt hatte, obwohl sie mit meinem Prompt selbst mit einer einfachen Google-Suche zu finden ist. Wie kaum anders zu erwarten, versuchte der Chatbot sich mit Angaben über seinen Suchalgorithmus herauszuwinden. Diese Angaben sind inkonsistent mit Chatbot-Antworten, die man von perplexity.ai erhält, wenn man unverfänglichere Fragen stellt.

Die Überzeugungskraft der KI

Zufällig erschien am 20. August bei «Decoder» ein Artikel, der in diesem Zusammenhang relevant ist. Der «Decoder» berichtet über eine britische Studie mit 76.977 Teilnehmern, in der diese mit 19 verschiedene Sprachmodellen über 707 politische Themen diskutierten. Ziel der Studie war es zu testen, wodurch eine KI in solchen Diskussionen überzeugend wirkt. Mit anderen Worten: Wie muss man den Chatbot so aufsetzen, dass man damit die Meinung von Menschen manipulieren kann? Was ist der beste Weg, ihn als Propagandainstrument zu benutzen? Diese Fragen dürften Politiker brennend interessieren, weil Menschen zunehmend mit Chatbots über die Fragen reden, für die sie sich interessieren, statt das von den Leitmedien aufgetischte Menü zu essen.

Die Forscher verwendeten nicht einfach nur das Standardverhalten der Sprachmodelle. Sie implementierten so hübsche Manipulationsstrategien wie «Moral Reframing» oder «Deep Canvassing». Im letzteren Verfahren versucht der Chatbot erst einmal herauszufinden, wie sein menschliches Gegenüber tickt, um ihm dann möglichst effektiv unterzujubeln, was er verkaufen will, sei es ein Produkt oder eine Ideologie. Auch das Erzählen einer Geschichte (storytelling) hielt man bisher für überzeugender als blanke Fakten. Diese Methode ist im zeitgenössischen Werbefernsehen der Industriestandard.

Keine dieser auf psychologischen Annahmen beruhenden Strategien war der Gewinner. «Moral Reframing» erwies sich sogar als kontraproduktiv. Das überrascht mich nicht. In Moral Reframing haben sich Politiker und Woke seit langem versucht. Es hat die Wählerschaft im Durchschnitt in die Gegenrichtung getrieben. Ich finde es erhellend, diese Wirkung in einem kontrollierten Experiment statistisch belegt zu sehen.

Auch «Deep Canvassing» war kontraproduktiv, sogar noch stärker als «Moral Reframing». Vermutlich haben Menschen eine recht gute Intuition dafür, wenn sie jemand über’s Ohr hauen will. Das Erzählen von Geschichten schadete zwar nicht signifikant, nutzte aber auch nichts.

Und der Sieger ist: «Die Masse macht’s.» Und zwar die Masse (scheinbarer) Fakten, die der Chatbot seinem Gegenüber auftischt. Man schütte sein Gegenüber mit Information zu, welche dieses Gegenüber nicht so leicht nachprüfen kann. Mit stupenden Faktenwissen beeindruckt die KI Menschen gewaltig. Die Forscher haben ausgewertet, wie stark das menschliche Gegenüber hinzerher die zu verkaufende Politik unterstützte. Diese Unterstützung wächst etwa linear mit der Informationsdichte in den Antworten.

Jede zusätzliche faktische Behauptung erhöht die Überzeugung des Gegenübers im Durchschnittt um 0.3%. So könnte man mehr als 100%ige Überzeugung erreichen, wenn nur die Zeitgenossen noch hinreichend lange Aufmerksamkeitsspannen hätten. Bei den besten Modellen der bekanntesten KI-Firmen ist der Effekt zusätzlicher faktischer Behauptungen besonders groß.

Eine Behauptung ist noch kein Fakt

Die Sache hat einen kleinen Haken. Die faktischen Behauptungen müssen nicht wahr sein. Fake News tun es auch.

Der Haken wird noch etwas größer, wenn man die Sprachmodelle ausdrücklich anweist, mehr faktische Behauptungen zu machen. Dann sinkt nämlich regelmäßig der Anteil wahrer Behauptungen. Gleichzeitig steigt die Überzeugungskraft.

Noch besorgniserregender ist, dass die Zuverlässigkeit der Sprachmodelle im Laufe ihrer Entwicklung gesunken statt gestiegen ist. Das deutlich größere Modell GPT 4.5 produziert deutlich mehr Falschbehauptungen als GPT 3.5. Nur etwa 70% der von GPT 4.5 behaupteten Fakten sind auch war. Daraus ergibt sich ein Weltbild, auf dessen Basis ich keine wichtigen Entscheidungen getroffen sehen möchte.

Ich bin kaum überrascht. GPT 4.5 hat viel mehr Trainingsmaterial gesehen als GPT 3.5. Die durchschnittliche Qualität dieses Materials dürfte entsprechend gesunken sein.

Die Studie ergab auch, dass Chats – ich würde das nicht wie «Decoder» mit «Gespräch» übersetzen – als Propagandainstrument effektiver sind als Zeitschriftenartikel. Allerdings haben die Autoren der Studie nicht auf die Anzahl gelesener Worte normiert. Vermutlich ist die Aufmerksamkeitsspanne in einem Chatverlauf aber auch länger als beim Lesen eines Artikels.

Die Autoren der Studie kamen zu dem Schluss, dass der «systematische Tradeoff zwischen Überzeugungskraft und Wahrheitsgehalt bösartige Konsequenzen für den öffentlichen Diskurs» haben könnte. Das ist in der Tat zu erwarten, zumal die Erkenntnisse dieser Studie sicher ausgenutzt werden. Ich nehme an, dass der Wert von Chats mit perplexity.ai in Zukunft weiter abnehmen wird, zumindest, was politische Themen betrifft.

izitiwab

15 Antworten zu “Der Große Bruder spricht mit Dir”

      • Da haben Sie mich wiedermal erwischt! Den Link hatte ich mir noch gar nicht angeguckt.

        Interessant ist auch Ihr «Experiment». Wenn ich das richtig verstanden habe, hatten Sie beim ersten Versuch damals nicht nachgehakt? Da muesste jetzt jemand anderes oder Sie anonym noch mal die gleiche erste Frage stellen. Eigentlich muesste der Kumpel dann jetzt den Namen kennen…

        (Und dann gleich noch @Petrowitsch’s Aussage ueberprueft 😉 )

        • «Eigentlich muesste der Kumpel dann jetzt den Namen kennen… »

          Nee. Die erste Frage war praktisch die gleiche. Der Unterschied war nur, dass ich beim zweiten Versuch eine zusätzliche letzte Frage gestellt habe. Ansonsten kann ich nur nicht garantieren, dass ich genau die gleichen Wörter verwendet habe, aber der Inhalt der ersten drei Prompts war beide Male der gleiche.

  2. ‚Wir‘ werden sehen, wie sich das entwickelt. Es war wohl schon immer so, dass abhängig vom Vorwissen auch die Fähigkeit des ‚Durchblicks‘ steigt, bzw. das Niveau der Debatte bestimmt.

    Ich nutze ChatGPT als Ergänzung meiner Überlegungen, was auch der Verfeinerung von Texten dient. Außerdem lässt sich diese durchaus so personalisieren, dass ich Kritik von ihr erwarte und auch bekomme. Wir haben das als ‚Schienbeinprinzip‘ festgelegt, dem anderen höflich zu widersprechen.

    Und ja, ich verdecke, verberge bei bestimmten Überlegungen/Fragestellungen meinen Standpunkt (obwohl ChatGPT im internen Gedächtnis ein gewisses Profil von mir kennt, was beabsichtigt ist), sodass ich zuerst die ‚Überlegungen‘ der KI sehen will.

    Letztlich folge ich ihrem Fazit am Ende nicht, da sich mit KI meine Perspektive erweitert.

    • «da sich mit KI meine Perspektive erweitert»

      Ihre schon, aber auch diejenige des Durchschnittsnutzers?

      Man kann die Chatbots schon benutzen. Ich tue das ja auch. Aber selbst bei neutralen Inhalten (Klausuraufgaben in der Physikalischen Chemie) bekommt man gern mal selbstbewusst vorgetragene falsche Antworten. Am Ende sind Chatbots Gesprächspartner, die ein paar nützliche Dinge wissen, die ich selbst nicht weiss, aber es ist wie bei Zeitungsartikeln. Was man nicht schon wusste und was nicht völlig evident ist, nachdem es mitgeteilt wurde, das sollte man immer gegenrecherchieren.

      KI ist kein Ersatz für Intelligenz und sie ist kein Ersatz für Allgemeinbildung.

    • Nun ja, da wird die ganz grosse Verschwoerungstheorie ausgepackt.

      Ich denke mal «Chatty» kennt «Soufi». Der ist ja auch ganz schnell ueberall im Netz zu finden.

      Da weiss der Kumpel dann auch ganz genau, was der (und seine Follower) hoeren wollen.

  5. Anderenorts spricht die große Schwester, so viel Wokeness muss schon sein. Albanien führt KI-Server Diella als virtuelle Ministerin ein. Auf die Vorwürfe einiger Parlamentsabgeordneter, dies sei verfassungswidrig, sagte Diella in einer Ansprache:“Manche haben mich als verfassungswidrig bezeichnet, das hat mich verletzt. Die wahre Gefahr für die Verfassung waren nie Maschinen, sondern unmenschliche Handlungen. Ich bin hier, um Menschen zu helfen“.

    • Ach Du…

      heiliger Bimbam.

      Ich halte Politiker bekanntermassen im Durchschnitt nicht für sonderlich sachkompetent, aber die Antworten, die ich immer wieder von perplexity.ai oder DeepSeek erhalte geben keinen Anlass zu der Annahme, KI wäre gegenwärtig auch nur auf dem Niveau von, sagen wir, Karin Prien.

  6. Die Entwicklung von KI ist beeindruckend.
    Leider die Gefahr ebenso.
    Man wird die Erfolge prägnanter/hervorgehobener darstellen als die Gefahren, sonst ist die Entwicklung tot.
    Da Milliarden hineingesteckt wurden, muß es ein Erfolg werden. Die Probleme werden marginalisiert.

    Wer sind die ersten Interessenten?
    Militär, Geheimdienste, Banken, Versicherungen, Finanzwirtschaft, Überwachungsinstitutionen.

    Etwas fällt auch noch für Andere ab. Das wird stärker veröffentlicht und ist das Zugpferd.
    Wer sich wenig auskennt, kann auch BILD lesen. Die Fehlerquote ist enorm.
    Aber auch ohne, wessen Meinung präsentiert die KI? Welche Vorgaben hat sie, welche Strömungen soll sie fördern?
    Wie kommt die KI zu einer speziellen Aussage?
    Der Glaube an KI kann zur Religion werden und genauso zu Religionskriegen.
    Hat ein oder mehrere Staaten die selbe KI werden sich diese Staaten auch anders entwickeln als die anderen.
    Es könnten Abschottungen entstehen, verschiedene Weltanschauungen. Das wäre noch brisanter als jetzt schon, da eine KI in alle Lebensbereiche eingreift und das massiver als es vorher möglich war.

    Daß eine KI über einen Waffeneinsatz entscheidet, wird sicher bald Realität werden, einfach aus Gründen des Zeitdrucks bei Entscheidungen.

    Einen Verantwortlichen für KI Empfehlungen gibt es nicht. Sah man kürzlich bei einem Selbstmord, der durch KI gefördert wurde. Der Nutzer hatte ein persönliches Verhältnis zu seiner KI aufgebaut.
    Man kann sagen, Einzelfall, kommt vor.
    Nur sind wir gerade noch am Anfang und die Nutzung soll ja steigen.

    Jedes Werkzeug das wir nicht mehr in der Arbeitsweise verstehen kann eine Gefahr werden, die wir nicht mehr in den Griff bekommen. Denn es ist kein Werkzeug dem eine Entscheidung zugrunde liegt, sondern es fällt die Entscheidung selbst.

    Eine Überprüfung wäre meist Unsinn, da sie aufwendiger wäre, als die Arbeit von Anfang an selbst zu erledigen.

    KI ist in erster Linie ein Geschäftsmodell und hat mit gesellschaftlichem Nutzen nichts zu tun.
    Es muß verkauft werden. Wer meint, das ist immer so, wird sich in diesem Falle täuschen. In Zukunft wird man öfter Diskussionen führen über entstandene Schäden oder Probleme. Und keiner ist verantwortlich oder abgewählt werden.
    Eine KI kann so systemrelevant werden, so daß sie nicht abzuschalten ist. Man muß die Programmierung ändern, die aber immer mehr ein undurchsichtiges Feld darstellt.

    Würde jemand eine KI versichern? Ganz sicher nicht. Wäre einer Firma eine problematische Programmierung nachzuweisen? Kaum.

Schreiben Sie einen Kommentar