Publié le 17 novembre 2026
Comment un cabinet sait si les réponses de l’IA ont vraiment changé
Posez les mêmes questions, avec les mêmes mots, aux mêmes quatre assistants, quatre fois chacune, et comptez les exécutions qui citent le cabinet. Le changement est réel lorsqu’une question reste au moins deux exécutions sur quatre au-dessus de sa première mesure lors de deux mesures de suite, et qu’une question témoin que le cabinet n’a pas touchée n’a pas bougé. Une exécution sur quatre n’est que du bruit. Personne ne peut promettre le nom, et ceci est une information générale, pas un conseil juridique.
Une bonne capture n’est pas une mesure
Posez la même question cinq fois à un assistant et la réponse change : un autre ordre, un autre cabinet, une source qui n’y était pas avant. C’est ainsi que ces systèmes fonctionnent, ce n’est pas un défaut. L’associé qui ouvre ChatGPT le lundi, voit le cabinet cité et dit à l’équipe que les pages ont fonctionné a lu une exécution. Le même associé le jeudi peut ne plus voir le cabinet et conclure que le travail s’est défait. Les deux lectures sont du bruit.
Une mesure est un comptage sur des exécutions répétées de questions figées. On compare la part des exécutions qui citent le cabinet, avant et après un changement, et l’on décide si le mouvement dépasse le bruit que l’on observe quand rien n’a été touché.
Ce qu’il faut figer avant la première mesure
Notez une fois, puis n’y touchez plus : la liste des questions (jusqu’à dix, avec les mots qu’un client taperait, sans le nom du cabinet), le pays et la langue de chacune, les quatre assistants, le nombre d’exécutions par question, soit quatre, et la date. Gardez chaque réponse entière, pas une capture de ses premières lignes, car le nom peut se trouver au troisième paragraphe ou seulement dans les sources.
Ajoutez une question témoin : un sujet que le cabinet traite, mais sur lequel il ne publiera rien pendant la période. Le témoin dit si ce sont les assistants eux-mêmes qui ont bougé. S’il passe de zéro à trois sur quatre sans qu’aucune page ait changé, c’est une mise à jour du modèle, et le cabinet ne doit pas s’en attribuer le mérite.
Changer un mot de la question, même pour qu’elle sonne mieux, ouvre une nouvelle question avec une nouvelle première mesure. On le fait pour obtenir un meilleur chiffre, et c’est le moyen le plus rapide de rendre une série inutilisable.
La règle de lecture
Une question compte comme changée lorsque, sur le même assistant, elle reste au moins deux exécutions sur quatre au-dessus de sa première mesure lors de deux mesures de suite. Une exécution sur quatre est du bruit, et une mesure isolée aussi. Si le témoin a bougé lui aussi, le changement n’est pas attribué au cabinet.
Ensuite, lisez d’où venait le nom. Si l’assistant cite le cabinet et renvoie à la page du cabinet, la page a fait le travail. S’il cite le cabinet à partir d’un annuaire qui le listait déjà, rien de ce que vous avez publié ne l’a fait bouger. La source citée est la preuve ; le nom seul n’en est pas une.
Ne faites pas la moyenne des quatre assistants en une seule note. Ils ne se comportent pas comme un seul, et un chiffre comme 50 % cache que deux ont bougé et que deux n’ont pas bougé. Gardez une ligne par assistant et par question.
Un exemple, pas à pas
Exemple : un cabinet hypothétique, pas un client de sayurname. Mersey & Hale est un cabinet inventé de droit du travail, cinq avocats, à Manchester, qui conseille de petits employeurs. Sa note sur la convention de rupture, pour l’employeur, coûte £450 à £700. L’ancien site avait une page « Droit du travail » listant vingt sujets. La question mesurée était « Quels avocats de Manchester aident un petit employeur pour une convention de rupture ? ».
Le cabinet a figé six questions : cinq en droit du travail et un témoin, sur les baux commerciaux à Leeds, où il ne publierait rien. Chacune a été posée quatre fois à chacun des quatre assistants, soit 96 réponses à chaque mesure.
- A figé six questions, quatre assistants et quatre exécutions chacun, et a conservé chaque réponse entière avec sa date.
- Semaine 0 : a lu les 96 réponses. Le cabinet n’était cité dans aucune des 16 exécutions de la question sur la convention, ni dans aucune du témoin.
- A remplacé la page de vingt sujets par une seule page sur la convention de rupture : le nom de l’avocate, où elle est inscrite, le lien vers la consultation de l’autorité de tutelle, la fourchette de £450 à £700 et ce que la note ne couvre pas.
- Semaine 4 : ChatGPT a cité le cabinet dans 1 exécution sur 4 et les autres dans aucune. Une exécution sur quatre, donc rien n’a été attribué.
- Semaine 8 : ChatGPT 3 sur 4 et Perplexity 2 sur 4, Gemini 1 sur 4, Claude 0 sur 4. Le témoin restait à 0 sur 4 chez tous les assistants.
- Semaine 12 : ChatGPT 3 sur 4 et Perplexity 3 sur 4 de nouveau, donc les deux comptent comme changés. Gemini et Claude restent illisibles, et la page a été laissée telle quelle quatre semaines de plus.
Avant de classer le résultat, le cabinet a lu les sources. Perplexity a cité la nouvelle page dans chaque exécution qui nommait le cabinet. ChatGPT a cité la page dans deux de ses trois exécutions avec le nom et un annuaire juridique dans la troisième ; le cabinet a donc attribué à la page l’essentiel de ce mouvement, et pas tout.
Il n’a pas annoncé « 50 % de mieux ». Il a annoncé que deux assistants avaient bougé, deux non, et ce qu’il changerait ensuite pour les deux autres. Un autre cabinet avec la même page pourrait voir Gemini bouger en premier, ou rien du tout en douze semaines.
Quand ne pas mesurer de nouveau
Ne remesurez pas une semaine après qu’une page a changé. Les assistants et les sources qu’ils lisent se mettent à jour à des vitesses différentes. Dans l’exemple, le premier mouvement a pris de quatre à huit semaines, et certains cabinets n’en voient aucun en douze. Une lecture quotidienne dessine un graphique de bruit et invite à réécrire la page chaque fois qu’il baisse.
Un cabinet ne devrait pas non plus ouvrir une série pour une question sur laquelle il n’agirait jamais. S’il n’écrira pas la page, la mesure ne fait que constater, semaine après semaine, qu’il est absent. Et n’élargissez pas la liste pendant qu’une série court : une nouvelle question a sa propre première mesure, à part des anciennes.
Comment le travail se déroule
Cela commence par le test gratuit. Une fois abonné, nous mesurons jusqu’à 10 questions par semaine et nous publions autant de contenus que nous le jugeons nécessaire pour que l’IA cite votre cabinet dans les réponses que vous visez. Le volume et le format suivent les besoins de chaque question ; nous en décidons. Nous demandons aussi l’inclusion dans les sources que l’IA utilise. Ce que nous promettons, c’est la demande, pas l’entrée.
Cela coûte 299 $ US par mois, sans engagement. Un bonus unique de 599 $ US n’est facturé que lorsqu’une IA commence à citer le cabinet pour une question mesurée, vérifié par une personne de notre équipe, ou lorsque Google Analytics montre une visite venue d’une IA. Le cabinet reste responsable de valider le contenu juridique de ce qui est publié, et chaque contenu a droit à une révision. Ce n’est pas une consultation et cela ne promet pas un client.
Questions
Combien d’exécutions suffisent ?
Quatre par assistant et par question est le minimum de cette méthode. Cela sépare aucune de presque toutes les exécutions. Cela ne sépare pas 40 % de 50 %, et le cabinet ne doit pas essayer.
Pouvons-nous interroger les assistants nous-mêmes, depuis le cabinet ?
Vous pouvez, mais votre historique, votre localisation et les conversations précédentes peuvent modifier la réponse. Utilisez une session propre, la même configuration à chaque fois, et gardez la réponse entière.
Et si la question témoin bouge ?
Alors ce sont les assistants qui ont bougé, pas les pages du cabinet, et le changement n’est pas attribué. Poursuivez la série et relisez à la mesure suivante.
À quelle fréquence mesurer ?
À la main, une fois par mois suffit. Une mesure hebdomadaire, que fait l’abonnement, donne quatre lectures par mois, et la règle des deux de suite peut s’appliquer plus tôt.
Une réponse qui change veut-elle dire de nouveaux clients ?
Non. Cela veut dire que l’assistant cite désormais le cabinet pour cette question. Qu’une personne appelle ensuite dépend de la page, de la consultation et du sujet.