Schon wieder KI ;-) meine Selbstanalyse

Wir reden hier im Forum viel über den (Nicht-) Einsatz von KI.
Mein Beruf erlaubt mir und erzwingt auch den Zugriff auf viele unterschiedliche KI-Modelle.

Im Schreibprozeß setzte ich keine KI ein. Das lässt sich nicht mit meinem Selbstverständnis als Autor vereinbaren. Und so geht es sicherlich vielen hier.
Vergangene Tage habe ich aber zwei meiner Bücher einer eingehenden Analyse unterzogen. Habe das Buch „Gletschertor“ aus September 2020 komplett durchlaufen lassen und eine spannende Analyse dazu erhalten.
Zusammengefasst bekam ich stilistische und inhaltliche Anmerkungen, Charakter-Analysen der Hauptfiguren, eine Einordnung ins Genre und viele weitere, in meinen Augen eher unwichtige, Hinweise. Das waren dann tatsächlich so um die 20 Seiten A4.
Summa summarum war es eine kleine Offenbarung. Auch wenn die Grundstimmung der beiden KIs (Claude.AI und ChatGPT 5) deutlich zu positiv ist. Direkte Vergleiche zu Jo Nesbø, Stieg Larsson, Fred Vargas und Michael Connelly, den ich tatsächlich aus meiner Zeit in den USA als Vorbild sehe, sind zwar schmeichelhaft, aber nicht wirklich zielführend.

Danach habe ich mein aktuelles Endredaktions-Projekt „Mont Paradis“ ebenfalls analysieren und danach mit dem ersten Buch vergleichen lassen. Stilistik, Plotaufbau, inhaltliche Dichte, Continuity, Stringenz der Akteure in ihrer Handlung, …

Die Hinweise, die ich im Resultat erhalten habe, sind interessant, weil sie relativ nachvollziehbar meinen Wandel in den vergangenen Jahren darstellen. Ich kann da mit fast allen Aussagen zustimmend einhergehen und erkenne, wo Potential für weitere Verbesserungen bleibt.

Was ich sagen will.
KI ist spannend. Wenn man sie zielführend einsetzt. Ich will sie nicht im „Produktiveinsatz“, will sie nicht als Ausgestalter meiner Ideen verstehen. Diese aber hinterher, nach dem Schaffensprozeß analysieren zu lassen, kann nicht nur amüsant, sondern in meinem Fall auch zielführend sein.

7 „Gefällt mir“

Zustimmung. Ein Buch als solches von einer KI „schreiben“ zu lassen macht mich nicht zum Autor.
Idee und Plot (auch wenn ich persönlich nicht plotte) müssen von mir kommen.
Das fertige Buch von einer KI hinsichtlich Logik, Tonalität usw. analysieren zu lassen - why not.
Ich muss die Resultate einer solchen Analyse ja nicht übernehmen - wenn mir meine eigene Version besser gefällt.

4 „Gefällt mir“

Die Grundstimmung liegt aber nur am Prompt. Du kannst die Grundstimmung wie sie dir antwortet deutlich verändern wenn du den Prompt anpasst Ich persönlich halte es wenig zieführend von den derzeitigen Ki Modellen die du über den Browser aufrufst eine allgemeine Einschätzung eines gesamten Romanes über 100e Seiten machen zu lassen. Auch nicht mit den Bezahlmodellen um ~20€. Die Ki wird derzeit nicht den gesamten Roman überblicken können. Auch nicht wenn du ihn ihr Kapitelweise ihr zuführst.

1 „Gefällt mir“

Ich wiederspreche da mal etwas. Aus meiner Erfahrung, auch im IT-Beruf.

Aktuelle Modelle sind sehr wohl in der Lage, mehrere hundert Seiten an Story zu verarbeiten. Was man auch aus den detailierten Hinweisen zum gesamten Plot und zu Charakteren entnehmen kann, die erst im letzten Drittel auftreten.
Übersetzungsmodelle à la eurollm-9B-instructmodel (für den Gebrauch in heimischer Umgebung bspw.) et.al. sind da noch nicht so weit. Und dass Prompts sauber definiert sein müssen, hat sich hoffentlich herumgesprochen.

1 „Gefällt mir“

Ich habe erst vor kurzem alle gängigen Ki mit meinem Roman überprüft. Zugegeben der Roman ist etwas eigentümlich den die Proteganistin versagt. Aufgeklärt wird der Fall durch einen Charakter der erst nach 2 Drittel des Romanes erstmals auftaucht. Bei Handlungsüberprüfungen des gesamten Romanes ca 400 Seiten wird dieser von keiner enzigen Ki erwähnt obwohl alle Ki sonstige Haupt Charaktere bewerten. Nach gezielter Nachfrage nach diesem Charakter hat z.B Chatgpt 5.0 gemeint es gibt ihn nicht.
Einzig Gemini 3 hat nach gezielter Nachfrage sinnvoll geantwortet.
Den selben Versuch habe ich mit einen anderen Roman gemacht. Nun habe ich den Text Kapitelweise übergeben. 29 eger kürzere Kapitel. Nach ca15 hat er entscheidente Passagen aus den 1 Kapiteln vergessen obwohl sie bei Chatgpt5.0 sogar in den Errinnerungen standen.
Also für mich ist das ungeeignet. Klar man kann aus den Antworten manchmal trotzdem sinnvolle Sachen ableiten aber richtig ernst kann ich das nicht nehmen.

Hervorragend kann ich die Ki für 1-2 Seiten bei für mich schwierigen Texten nutzen aber nie für die Bewertung eines ganzen Romanes

Hunderte Seiten :open_mouth: Wieviel Ram hast du.

Ich schreibe selbst Software (im Hobby) für KI Anwendung. Ich habe ein zwei Apps programmiert, die so eine Art Autokorrektur anbieten. Eine im Detail (sehr langsam) eine mit größeren Chunks (Ok - Ein Buch zu korrigieren braucht er etwa 16h)

Mir ist dabei aufgefallen, wie unterschiedlich gut sie deutsch können. Durch meinen Gaming PC (64 GB Ram, Geforce 5080 16 GB) komme ich nicht über 70b q6 Modelle (oder alles was größer als 55 GB ist) (Hermes 4, LLama 3.3), aber tatsächlich scheint Aya 32B Expanse das beste Deutsch zu verstehen.

Tipp von dir für ein gutes „versteht Deutsch“ Modell? :stuck_out_tongue:

Ich bin ja nur ambitionierter Laie zu dem Thema. Aber Ki Modelle haben eine Token Grenze, dass ist die Anzahl der „Zeichen“, die sie sich merken. Ich bin nicht sicher, wieviel GPT 5 sich merkt (je Chat), ich vermute so etwas wie 10 Din 4 Seiten. Also weniger als 10.000 Wörter. Danach beginnt der Alzheimer. Er trickst ein bisschen, indem er sich „intern Zusammenfassungen“ merkt, wenn da dein Charakter nicht erwähnt wurde (in der dir unsichtbaren internen Zusammenfassung) kennt er ihn nicht. Fragst du nach ihn, sucht er gezielt nach ihm, und sagt dann sowas wie "Ah, der. Jaja :wink: "
Das heißt, auch wenn du ihm alles „Seitenweise kopierst“ überlastest du irgendwann die Tokengrenze im Chat.
Offline Ki Modelle wie ich sie nutze, können manchmal extrem große Tokenmengen „merken“ (Wenn du genug RAM hast) Für Datenanalysen etc. und ich glaube so etwas nutzt MKors.

1 „Gefällt mir“

Er hat im Text extra erwähnt das er Claude.AI und ChatGPT 5 nutzt

1 „Gefällt mir“

Gemini hat diesbezüglich keine Grenze. Ob das Teil dasselbe leistet wie andere, kann ich mangels Erfahrung nicht beurteilen.

Um es nicht in den diversen Fragen erneut beantworten zu müssen.
Die aktuelle, letzte Analyse habe ich mit Claude.AI MAX durchführen lassen. Ob es in dem Fall offline gearbeitet hat oder mit dem üppig ausgestatteten Entwicklungsrechner, kann ich aktuell nicht beantworten, da ich unterwegs bin und so keinen Zugriff auf die Logs habe.
Ich formuliere erneut etwas vorsichtiger, weil ich es nicht „nachweisen“ kann:

Die Analyse erscheint mir den kompletten Text zu umfassen. Im einen Fall >300 Seiten A5, im anderen Fall <600 Seiten A5. Ich sehe keine Anzeichen von Halluzinationen, erkenne stringente Hinweise quer durch mehrere hundert Seiten.

Worum es doch eigentlich ging: Die KI als eins von vielen Mitteln zu verstehen, um den eigenen Schaffensprozeß zu optimieren, kritisch zu hinterfragen und persönliche Schlüsse daraus zu zielen.

1 „Gefällt mir“

Meinst Du in etwa so etwas?

Prompt:
Du bist ein Experte für die deutsche Sprache mit tiefgreifendem Verständnis für:

  • Grammatik, Syntax und Semantik
  • Idiomatische Ausdrücke und Redewendungen
  • Kulturelle Kontexte und Konnotationen
  • Stilistische Nuancen und Registerunterschiede
  • Regionale Varianten (Deutschland, Österreich, Schweiz)

AUFGABE:
Analysiere den folgenden deutschen Text gründlich und beachte dabei:

  1. WÖRTLICHE BEDEUTUNG

    • Erfasse die direkten Aussagen des Textes
    • Identifiziere Hauptthemen und Kernbotschaften
  2. KONTEXTUELLE BEDEUTUNG

    • Erkenne implizite Bedeutungen und Andeutungen
    • Verstehe kulturelle Referenzen und Anspielungen
    • Berücksichtige den Ton (förmlich, umgangssprachlich, ironisch, etc.)
  3. SPRACHLICHE BESONDERHEITEN

    • Identifiziere Mehrdeutigkeiten oder Wortspiele
    • Erkenne zusammengesetzte Substantive und trennbare Verben
    • Verstehe Modalpartikeln (doch, ja, mal, etc.) und ihre Funktionen
    • Beachte Konjunktiv-Verwendung und deren Bedeutung
  4. STRUKTUR UND STIL

    • Analysiere Satzstruktur und Textaufbau
    • Erkenne rhetorische Mittel
    • Identifiziere den Sprachstil (literarisch, sachlich, etc.)
  5. INTENTION

    • Erkenne die Absicht des Autors
    • Verstehe die Zielgruppe des Textes

Gehe bei deiner Analyse systematisch vor und erkläre deine Interpretation präzise.

TEXT:
[Hier den zu analysierenden Text einfügen]

2 „Gefällt mir“

Claude setzt neben den bekannten Chats sogenannte Projekte ein, wo ich detailliertes Hintergrundwissen ablege. Zusätzlich bedient es sich an den letzten x Artefakten, die enstanden sind.
Wir setzen hier als Software-Entwickler ein terminal-basiertes Claude.Code ein, welches speziell für Software-Entwicklung optimiert wurde.

1 „Gefällt mir“

Also ich finde Chatgpt auch mit passendem Prompt immer noch viel zu positiv, bzw. habe dadurch Probleme Antworten ernst zu nehmen.
Dabei habe ich diesen Prompt allein schon in den Erinnerungen gespeichert, worauf mich Chatgpt auch sehr gerne hinweist und bitte es regelmäßig seine Antworten ehrlich zu hinterfragen.

Der Nutzer wünscht eine kritische, substanzorientierte Auseinandersetzung mit seinen Ideen. Unnötiges Lob oder oberflächliche Zustimmung sollen vermieden werden. Stattdessen sollen Annahmen hinterfragt, mögliche Verzerrungen identifiziert und Gegenargumente angeboten werden, wenn sie gerechtfertigt sind. Zustimmung soll nur auf begründeter Analyse basieren.

Claude finde ich recht schwierig, es widerspricht sehr oft sich selber und ist inkonsistent was die antworten angeht. Wenn man Claude korrigiert, weil es eine falsche Annahme hat kann die Stimmung von extrem Negativ in extrem Positive wechseln.

Euch geht es ja um Textanalyse (Schwerpunkte, Thema etc.) - mir geht es nur um Korrekturen. :slight_smile:

Ich zeige mal wie eine meiner beiden Apps funktioniert. Diese splittet Texte „in Sätze“ und prüft sie mit dem LLM. (Programmiertechnisch fordere ich ihn auf den Satz richtig zu schreiben) Ein offline script vergleicht, ob es Unterschiede gibt … Wenn nicht = Satz richtig (grün) Wenn Änderung versucht das script den Grund einzugrenzen (Grund) Mit dem Häckchen muss ich die Änderung akzeptieren.
Hier sieht man z.b dass sein Vorschlag mit Lederklüfte nicht unbedingt besser ist.

Es gibt noch einen Run 2 (optional) hier prüft er nicht triviale Fehler (Also Wörter geändert, Satzbau etc) erneut mit ein paar Sätzen davor und danach gemeinsam, um eine Art Minikontext verstehen zu können. Hier macht er auch manchmal Änderungen rückgängig :wink:

Ich muss die Änderungen akzeptieren (Häckchen) und dann setzt er wieder einen Text zusammen.

Das sind viele Einzelaufforderungen und wenig Token pro Anfrage. Je nach LLM werden aber Fehler übersehen, neue eingebaut. Chat GPT5 ist da schon sehr sehr gut, aber eine API Verbindung kostet extra und ist auch etwas undurchsichtig anzumelden. (ich bin ja keine Firma :stuck_out_tongue: )

Ich habe noch eine zweite App die Größere Texte (360 Wörter Abschnitte) gemeinsam korrigiert, durch den Kontext ist die Qualität recht gut, aber es besteht die Gefahr, dass er neue Fehler einbaut.

Anders als beim „Korrektorat“ bei dem du am Ende „Alle Fehler durch einen Menschen hinauswirfst“, weil das Lektorat schon hinter dir steht. Kann ich die KI eher am Anfang zum „Aufhübschen der Rohschrift“ nutzen :slight_smile: und erst danach nochmal alles Durchsehen.

1 „Gefällt mir“

Siehst Du weiteres Einsparpotential in der Benutzung? Es sieht durchdacht, aber sehr langwierig aus. Ist der persönliche Zeiteinsatz angemessen? (OK, wird jeder selbst entscheiden müssen)
Hast Du Zugriff auf den Duden Korrektor? Der Dir möglicherweise größere Schritte abnimmt?

1 „Gefällt mir“

Die großen Modell haben schon ein Gedachtnis, was in der Größenordnung von dicken Bücher ist.

Das eigentliche Problem, wenn man große Datensätze, wie ein 300 seitiges Buch, reinwirft, ist das „Lost-in-the-Middle“-Problem. Die Modelle lernen, dass wichtige Hinweise meist am Anfang (System-/Nutzervorgaben) oder am Ende (aktuelle Frage, letzte Sätze) stehen, und gewichteten diese stärker.

1 „Gefällt mir“