Veröffentlicht am 17. November 2026

Woran eine Kanzlei erkennt, ob sich KI-Antworten wirklich verändert haben

Stellen Sie dieselben Fragen mit denselben Worten denselben vier Assistenten, jeweils viermal, und zählen Sie die Durchläufe, die die Kanzlei nennen. Eine Veränderung ist echt, wenn eine Frage bei zwei Messungen hintereinander mindestens zwei von vier Durchläufen über ihrer ersten Messung bleibt und eine Kontrollfrage, die die Kanzlei nicht angefasst hat, sich nicht bewegt hat. Ein Durchlauf von vier ist Rauschen. Niemand kann die Nennung versprechen, und dies ist eine allgemeine Information, keine Rechtsberatung.

Ein guter Screenshot ist keine Messung

Stellen Sie einem Assistenten fünfmal dieselbe Frage, und die Antwort ändert sich: eine andere Reihenfolge, eine andere Kanzlei, eine Quelle, die vorher nicht da war. So arbeiten diese Systeme; das ist kein Fehler. Die Partnerin, die am Montag ChatGPT öffnet, die Kanzlei genannt sieht und dem Team sagt, die Seiten hätten gewirkt, hat einen Durchlauf gelesen. Am Donnerstag sieht sie die Kanzlei vielleicht nicht mehr und schließt, die Arbeit sei zunichtegemacht. Beide Lesarten sind Rauschen.

Eine Messung ist eine Zählung über wiederholte Durchläufe festgelegter Fragen. Verglichen wird der Anteil der Durchläufe, die die Kanzlei nennen, vor und nach einer Änderung, und entschieden wird, ob die Bewegung größer ist als das Rauschen, das man sieht, wenn nichts angefasst wurde.

Was vor der ersten Messung festgelegt wird

Halten Sie einmal fest und lassen Sie es dann unberührt: die Liste der Fragen (bis zu zehn, in den Worten, die ein Mandant tippen würde, ohne den Namen der Kanzlei), Land und Sprache jeder Frage, die vier Assistenten, die Zahl der Durchläufe je Frage, nämlich vier, und das Datum. Speichern Sie jede Antwort vollständig, nicht einen Screenshot der ersten Zeilen, denn der Name kann im dritten Absatz oder nur in den Quellen stehen.

Fügen Sie eine Kontrollfrage hinzu: ein Rechtsgebiet, das die Kanzlei bearbeitet, zu dem sie im Zeitraum aber nichts veröffentlicht. Die Kontrolle zeigt, ob sich die Assistenten selbst bewegt haben. Springt sie von null auf drei von vier, ohne dass eine Seite geändert wurde, war es ein Modell-Update, und die Kanzlei darf sich das nicht gutschreiben.

Wer ein Wort in einer Frage ändert, auch um sie besser klingen zu lassen, beginnt eine neue Frage mit einer neuen ersten Messung. Man tut das, um eine bessere Zahl zu bekommen, und es ist der schnellste Weg, eine Reihe wertlos zu machen.

Die Leseregel

Eine Frage gilt als verändert, wenn sie beim selben Assistenten bei zwei Messungen hintereinander mindestens zwei von vier Durchläufen über ihrer ersten Messung bleibt. Ein Durchlauf von vier ist Rauschen, und eine einzelne Messung ebenfalls. Hat sich auch die Kontrolle bewegt, wird die Veränderung der Kanzlei nicht gutgeschrieben.

Lesen Sie dann, woher der Name kam. Nennt der Assistent die Kanzlei und zitiert deren eigene Seite, hat die Seite gewirkt. Nennt er die Kanzlei aus einem Verzeichnis, das sie schon führte, hat nichts von dem, was Sie veröffentlicht haben, sie bewegt. Die zitierte Quelle ist der Beleg; der Name allein ist es nicht.

Mitteln Sie die vier Assistenten nicht zu einer einzigen Zahl. Sie verhalten sich nicht wie einer, und eine Zahl wie 50 % verbirgt, dass sich zwei bewegt haben und zwei nicht. Führen Sie eine Zeile je Assistent und Frage.

Ein Beispiel, Schritt für Schritt

Beispiel: eine hypothetische Kanzlei, kein Kunde von sayurname. Mersey & Hale ist eine erfundene Kanzlei für Arbeitsrecht mit fünf Anwälten in Manchester, die kleine Arbeitgeber berät. Die Note zum Aufhebungsvertrag für den Arbeitgeber kostet £450 bis £700. Die alte Website hatte eine Seite „Arbeitsrecht“ mit einer Liste von zwanzig Themen. Die gemessene Frage lautete „Welche Anwälte in Manchester helfen einem kleinen Arbeitgeber bei einem Aufhebungsvertrag?“.

Die Kanzlei legte sechs Fragen fest: fünf zum Arbeitsrecht und eine Kontrolle zu Gewerbemietverträgen in Leeds, wo sie nichts veröffentlichen würde. Jede wurde viermal bei jedem der vier Assistenten gestellt, das ergibt bei jeder Messung 96 Antworten.

  1. Sechs Fragen, vier Assistenten und je vier Durchläufe festgelegt und jede vollständige Antwort mit Datum gespeichert.
  2. Woche 0: alle 96 Antworten gelesen. Die Kanzlei wurde in keinem der 16 Durchläufe zur Frage des Aufhebungsvertrags genannt und in keinem der Kontrolle.
  3. Die Seite mit zwanzig Themen durch eine einzige Seite zum Aufhebungsvertrag ersetzt: Name der Anwältin, wo sie zugelassen ist, Link zur Abfrage der Aufsichtsstelle, die Spanne von £450 bis £700 und was die Note nicht abdeckt.
  4. Woche 4: ChatGPT nannte die Kanzlei in 1 von 4 Durchläufen, die anderen in keinem. Ein Durchlauf von vier, also wurde nichts gutgeschrieben.
  5. Woche 8: ChatGPT 3 von 4 und Perplexity 2 von 4, Gemini 1 von 4, Claude 0 von 4. Die Kontrolle blieb bei jedem Assistenten bei 0 von 4.
  6. Woche 12: wieder ChatGPT 3 von 4 und Perplexity 3 von 4, also zählten beide als verändert. Gemini und Claude blieben unlesbar, und die Seite blieb weitere vier Wochen unverändert.

Bevor sie das Ergebnis ablegte, las die Kanzlei die Quellen. Perplexity zitierte die neue Seite in jedem Durchlauf, der die Kanzlei nannte. ChatGPT zitierte die Seite in zwei seiner drei Durchläufe mit Nennung und ein Rechtsverzeichnis im dritten; die Kanzlei schrieb der Seite also den größeren Teil dieser Bewegung gut, nicht alles.

Sie meldete nicht „50 % besser“. Sie meldete, dass sich zwei Assistenten bewegt hatten, zwei nicht, und was sie bei diesen beiden als Nächstes ändern würde. Eine andere Kanzlei mit derselben Seite sähe vielleicht zuerst Gemini sich bewegen oder in zwölf Wochen gar nichts.

Diagramm des hypothetischen Beispiels: die gemessene Frage zum Aufhebungsvertrag, sechs nummerierte Schritte und ein Raster mit dem Anteil der vier Durchläufe, die die Kanzlei nannten, je Assistent in den Wochen 0, 8 und 12, mit hervorgehobenen ChatGPT und Perplexity in Woche 12.
Hypothetisches Beispiel: Mersey & Hale ist eine Illustration, kein Kunde von sayurname. Gemini und Claude erreichten die Regel in zwölf Wochen nicht.

Wann nicht erneut messen

Messen Sie nicht eine Woche nach einer Seitenänderung erneut. Assistenten und die Quellen, die sie lesen, aktualisieren sich unterschiedlich schnell. Im Beispiel dauerte die erste Bewegung vier bis acht Wochen, und manche Kanzleien sehen in zwölf Wochen keine. Eine tägliche Ablesung zeichnet ein Rauschdiagramm und verleitet dazu, die Seite bei jedem Rückgang umzuschreiben.

Auch sollte keine Kanzlei eine Reihe zu einer Frage beginnen, auf die sie nie reagieren würde. Schreibt sie die Seite nicht, hält die Messung nur Woche für Woche fest, dass sie fehlt. Und erweitern Sie die Liste nicht, solange eine Reihe läuft: Neue Fragen bekommen ihre eigene erste Messung, getrennt von den alten.

Wie die Arbeit läuft

Es beginnt mit dem kostenlosen Test. Danach messen wir jede Woche bis zu 10 Fragen und veröffentlichen so viele, wie wir für nötig halten, damit KI Ihre Kanzlei in den gewünschten Antworten nennt. Umfang und Format richten sich nach dem Bedarf der jeweiligen Frage, und das entscheiden wir. Wir beantragen außerdem die Aufnahme in den Quellen, die KI nutzt. Was wir versprechen, ist der Antrag, nicht die Aufnahme.

Es kostet 299 US$ im Monat, ohne Mindestlaufzeit. Ein einmaliger Bonus von 599 US$ wird nur fällig, wenn eine KI die Kanzlei bei einer gemessenen Frage zu nennen beginnt, was eine Person aus unserem Team prüft, oder wenn Google Analytics einen Besuch von einer KI zeigt. Die Kanzlei bleibt dafür verantwortlich, den juristischen Inhalt des Veröffentlichten zu prüfen, und jedes Stück hat Anspruch auf eine Überarbeitung. Es ist keine Rechtsberatung und verspricht keinen Mandanten.

Fragen

Wie viele Durchläufe genügen?

Vier je Assistent und Frage sind in dieser Methode das Minimum. Das trennt keinen von den meisten Durchläufen. Es trennt nicht 40 % von 50 %, und die Kanzlei sollte das nicht versuchen.

Können wir die Assistenten selbst aus der Kanzlei befragen?

Sie können, aber Ihr Verlauf, Ihr Standort und frühere Chats können die Antwort verändern. Nutzen Sie eine saubere Sitzung, jedes Mal dieselbe Einrichtung, und speichern Sie die vollständige Antwort.

Was, wenn sich die Kontrollfrage bewegt?

Dann haben sich die Assistenten bewegt, nicht die Seiten der Kanzlei, und die Veränderung wird nicht gutgeschrieben. Führen Sie die Reihe weiter und lesen Sie bei der nächsten Messung erneut.

Wie oft sollte man messen?

Von Hand genügt einmal im Monat. Eine wöchentliche Messung, wie sie das Abonnement durchführt, liefert vier Ablesungen im Monat, und die Regel „zwei hintereinander“ lässt sich früher anwenden.

Heißt eine veränderte Antwort neue Mandanten?

Nein. Sie heißt, dass der Assistent die Kanzlei bei dieser Frage nun nennt. Ob dann jemand anruft, hängt von der Seite, der Abfrage und dem Rechtsgebiet ab.

Erfahren Sie, was KI heute über Ihren Markt sagt.

Eine Frage an ChatGPT, Gemini, Perplexity und Claude. Kostenlos, ohne Karte. Wir speichern die Antworten als Ausgangspunkt.

Kostenlosen Test starten