Jedes Modell antwortet innerhalb einer festen Textspanne, die man sein Kontextfenster nennt — die Anweisungen, die es erhalten hat, alles, was für es abgerufen wurde, das bisherige Gespräch und Ihre Frage, alles gleichzeitig gegenwärtig. Kontext-Engineering ist die Arbeit, zu entscheiden, was diesen Raum belegt. Nicht, wie höflich die Frage formuliert ist, sondern welche Dokumente geholt und welche verworfen werden, wie viel vom Verlauf erhalten bleibt und was der Frage am nächsten steht. Das Fenster ist ein Schreibtisch mit begrenztem Platz, und jemand muss wählen, was darauf zu liegen kommt.
Der häufigste Fehler ist Grosszügigkeit. Angesichts eines begrenzten Fensters liegt der Impuls nahe, es zu füllen: alles abrufen, was relevant sein könnte, das ganze Gespräch noch einmal einspielen, die ganze Seite einfügen statt der Passage, die die Antwort enthält. Das verschlechtert Antworten auf eine Weise, die wirklich schwer zu erkennen ist, denn es fehlt ja nichts. Eine Tatsache in der Mitte eines langen Kontexts wird weniger zuverlässig herangezogen als dieselbe Tatsache am Anfang oder am Ende — ein Effekt, der gut genug belegt ist, um sich einen eigenen Namen verdient zu haben. Kommen widersprüchliche Quellen hinzu oder ein veraltetes Dokument neben einem aktuellen, hat das Modell keine Möglichkeit zu wissen, wem es glauben soll.
Ansehen
Die Disziplin geht in die andere Richtung: weniger abrufen und besser auswählen. Holen Sie die drei Passagen, die die Frage beantworten, statt der vierzehn Seiten, die sie erwähnen. Fassen Sie das Gespräch zusammen, statt es noch einmal abzuspielen. Legen Sie das Wichtige dorthin, wo die Aufmerksamkeit trägt: nahe an die Frage, statt es in der Mitte zu vergraben. Halten Sie jede abgerufene Passage zuordenbar, damit das Modell sie zitieren kann, statt sie mit allem anderen zu vermischen. Jeder dieser Schritte ist eine Entscheidung darüber, was das Modell anschauen darf, und jede fällt, bevor das Modell läuft.
Nimmt man die Technik weg, bleibt ein gewöhnliches Briefing. Geben Sie einer kompetenten Kollegin vierzig Seiten und eine vage Frage, und Sie bekommen eine Antwort voller Vorbehalte. Geben Sie derselben Kollegin den einen Absatz, auf den es ankommt, und fragen Sie präzise, und Sie bekommen eine brauchbare. An ihrer Intelligenz hat sich zwischen den beiden Versuchen nichts geändert. Geändert hat sich, was sie in der Hand hielt, als Sie fragten.
Für alle, die eine Website besitzen, statt diese Systeme zu bauen, zählt vor allem die Hälfte, die bestimmt, was überhaupt abgerufen wird. Wenn ein Assistent eine Frage zu Ihrem Unternehmen beantwortet, sind Ihre Seiten das Material, unter dem der Abrufschritt eines fremden Systems auswählt. Ob eine Passage von Ihnen diese Auslese übersteht, entscheiden Dinge, die Sie selbst in der Hand haben: ob sie überhaupt gelesen werden kann, ob sie ein Datum trägt und ob sie die Frage aus sich heraus beantwortet, statt sich auf den Absatz darüber zu stützen. Fremden Kontext können Sie nicht gestalten. Wohl aber entscheiden, was Sie ihm anbieten.
