Zum Inhalt springen

Eine Website für Leser, die keine Menschen sind

KI-Assistenten lesen Websites für Menschen und fragen per HTTP nach Markdown. Warum die Antwort billig ist, was llms.txt kann, und was dabei übrig bleibt.

4 Min. Lesedauer
Eine Website für Leser, die keine Menschen sind

Deine Website hat Leser, die nie eine Zeile davon sehen. Ein Assistent, der für jemanden drei Angebote vergleicht, holt sich die Seiten selbst und liest, was der Server schickt. Er liest anders als ein Mensch, und er sagt dem Server sogar, was er gern hätte. Ob die Seite hinhört, ist eine Entscheidung, und eine billige.


Ein Leser, der nichts sieht

Wer einen Assistenten bittet, eine Seite zusammenzufassen oder drei Anbieter zu vergleichen, schickt ihn los, Seiten abzurufen. Zurück kommt der Quelltext: Navigation, Stile, Skripte, Fußzeile, und irgendwo dazwischen die drei Absätze, um die es ging. Den Aufbau, die Bilder, die Animation sieht er nicht. Er bekommt das Gerüst, in dem sie hängen.

Und er bezahlt für jedes Zeichen davon. Ein Sprachmodell hat ein begrenztes Arbeitsgedächtnis, und was nicht hineinpasst, fällt weg. Ein gängiges Abrufwerkzeug bekam eine Seite mit 565.000 Zeichen, las die ersten 100.000 und ließ den Rest liegen. Es hat das immerhin dazugeschrieben.

Auf dieser Website habe ich nachgemessen. Ein Beitrag wiegt als HTML rund 350 Kilobyte, als Markdown 4,5. Ein gutes Drittel des Unterschieds ist das Stylesheet, das absichtlich in jeder Seite steckt, damit ein Handy die Überschrift früher zeigt; fast der ganze Rest sind Skripte für den Browser. Für Menschen ist das richtig. Für den anderen Leser ist es Ballast vor dem ersten Satz.


Er sagt, was er will

Das Merkwürdige ist: Dieser Leser fragt höflich. HTTP hat seit 1997 eine Kopfzeile dafür, „Accept". Darin nennt der Abrufer die Formate, die er gern hätte, und welches ihm lieber ist, und der Server sucht die passende Fassung aus. Der heutige Standard, RFC 9110 von 2022, nennt das proaktive Aushandlung. Für Markdown gibt es seit 2016 einen eigenen Typ, „text/markdown".

Manche Agenten nutzen das schon. Claude Code etwa schickt „Accept: text/markdown, text/html, */*": erst Markdown, dann HTML, zur Not alles. Nachprüfen lässt sich das mit einem Dienst, der die empfangenen Kopfzeilen einfach zurückschickt. Andere Werkzeuge fragen nach HTML oder nach nichts Bestimmtem. Das wird sich ändern, und für den Server ist es egal: Er antwortet auf das, was gefragt wird. Wer nichts verlangt, bekommt die Seite wie immer.


Eine Quelle, zwei Ansichten

Naheliegend wären zwei andere Wege: eine eigene „KI-Version" unter eigener Adresse, oder ein Werkzeug, das das fertige HTML wieder in Text verwandelt. Beide scheitern leise. Die zweite Fassung sagt nach der dritten Änderung etwas anderes als die erste, und es fällt nicht auf, weil kein Mensch sie liest. Die Umwandlung liefert für jeden neuen Abschnitt irgendetwas, nur nicht unbedingt etwas Brauchbares, und auch das meldet niemand.

Hier ist es anders gebaut: dieselbe Adresse, derselbe Inhalt, zwei Darstellungen aus derselben Quelle. Jeder Abschnitt der Seite hat neben seiner Ansicht für Menschen eine für Maschinen, und ein neuer Abschnitt ohne die zweite lässt sich gar nicht erst bauen. Das hat einen Preis: Zwei Ansichten müssen zusammenpassen, und die zweite liest niemand gegen. Warum ich ihn trotzdem zahle, steht bei der Entscheidung, schriftlich.

Dieselbe Adresse ist dabei der eigentliche Punkt. Ein Agent bekommt einen Link und ruft genau diesen ab. Darauf, dass er nach einer zweiten Adresse sucht, würde ich nichts bauen. Wer die Markdown-Fassung direkt will, hängt „.md" an.


Und llms.txt?

Im September 2024 hat Jeremy Howard eine Datei vorgeschlagen, die im Hauptverzeichnis einer Website liegt und Sprachmodellen in Markdown erklärt, was es dort gibt: ein Inhaltsverzeichnis für Maschinen. Es ist ein Vorschlag, kein Standard, und ob ein Assistent die Datei liest, entscheidet sein Hersteller. Diese Website hat eine, weil sie fast nichts kostet.

Nur hilft ein Inhaltsverzeichnis dem nicht, der mit einem einzigen Link ankommt. Man kann lange darüber streiten, welche neue Datei die richtige ist. Ich würde zuerst die Frage beantworten, die schon gestellt wird.


Was übrig bleibt

Die zweite Ansicht stellt jedem Abschnitt eine unbequeme Frage: Was sagt er jemandem, der ihn nicht sehen kann? Auf dieser Website fällt in Markdown der Turm weg, die Steine, die ganze Bewegung. Übrig bleiben die Sätze, und die müssen ohne das Bild tragen.

Für eine Seite, die etwas verkaufen soll, ist das die interessantere Hälfte. Steckt das Argument nur in einem Bild, einer Animation oder einer Grafik, kommt es bei diesem Leser höchstens als Bildbeschreibung an. Seinem Menschen fasst er dann zusammen, was übrig bleibt.


Bitte den Assistenten, den du ohnehin benutzt, deine eigene Startseite in drei Sätzen zusammenzufassen: was du anbietest und für wen. Vergleich das mit dem, was du gemeint hast. Der Unterschied ist das, was er jedem erzählt, der ihn nach dir fragt. Und wenn du sehen willst, wie dieser Beitrag für ihn aussieht: Häng an diese Adresse „.md" an.

Ein ähnliches Problem?

Ein Problem, eine Skizze oder eine Frage reicht. Ich antworte innerhalb von zwei Werktagen.

Kontakt aufnehmen