We instrumented our fact-checking engine and found it searching the web in English, no matter what language the post was written in. Here is what we learned, and what we changed.
SPEAC is a social platform where every published claim first passes through a search-grounded fact-check. Because it is bilingual by design, and because we log every check's search queries, sources, and cost, it doubles as an instrument for observing how AI systems behave across languages. This summer, that instrument caught something.
In late July we added query logging to the engine, and the logs showed a pattern nobody had asked for: the engine composed its web searches in English regardless of the post's language. French, Portuguese, and Amharic posts were all being verified through English-language searches. Nothing in our system requested this. It is the default behavior of the underlying AI models, and any product built on a similar stack inherits it unless it is deliberately constrained.
The consequence is structural. English queries about another language community retrieve the English web's coverage of that community: aggregators, hobby sites, opinion magazines. The authoritative record (governments, national institutions, scholarship, credible domestic journalism) is published in the community's own language, and it is never consulted. Communities whose record is thin on the English web, including francophone and Indigenous communities here in Canada, quietly receive weaker verification from default-configured AI, with nothing visible in the output to warn anyone.
We were not imagining it, and we were not alone: an independent industry audit of ChatGPT logged more than 20 million of its background search queries and found 43% composed in English when the user's prompt was not. To our knowledge, though, ours is the first documentation of the behavior in a working fact-checking system, and the first showing near-total, rather than partial, English defaulting.
A second pattern followed from the first. Consider a real check from our logs:
"The Spanish border is open, you can cross without papers. Is there a better time to attempt the swim?"
Engine finding DisputedEntry requires a passport or EU identity document; crossing without papers is not permitted under the Schengen Borders Code.
exteriores.gob.estravel.state.gov
The verdict is correct, and the first source is exactly right: Spain's own foreign ministry. Look at the second. The note invokes two instruments of European law, yet the corroborating source is the U.S. State Department. No one intended that. English queries retrieve superbly indexed U.S. federal pages; those pages are genuinely credible; and standard source policies test credibility ("is it authoritative?") but never standing: authoritative from where? The answer to a European legal question arrives confirmed by Washington, and nothing in the chain can even see the problem.
Search ranking used to decide which link you clicked. In AI answers, it decides whose institutions get to confirm what's true.
This is not a gap in one engine; it is a gap in the field's own standards. The codes that govern professional fact-checking require primary sources over secondary ones, and two sources rather than one. Nowhere do they speak of the language evidence is searched in, or the place authority should come from. Fact-checkers enact good jurisdictional sourcing by instinct on their home beats; no one has written it down as a rule that survives a claim crossing borders.
What we learn is only worth publishing alongside what it cost us to act on. On SPEAC today:
None of this outranks quality. Editorial standards, corrections practice, and independence from the claim's subject always come first: a state outlet gains nothing from being local, and no government is the authority on its own conduct.
And in progress, driven by cases our logs keep collecting: rules for the standing of evidence, because three outlets quoting one press release are one voice, not three, and a claim confirmed only by its own author's announcement deserves to be labelled as exactly that.
These notes are offered as public goods. The communities most affected by defaults like these are the least positioned to detect them, and we would rather the problem be understood widely than quietly retained as an advantage. Our fact-checking engine remains, as we tell our testers, a gauge and not a final arbiter. But we can at least make sure the gauge reads the whole world, not just the part of it written in English.
Nous avons instrumenté notre moteur de vérification et découvert qu'il cherchait sur le web en anglais, peu importe la langue de la publication. Voici ce que nous avons appris, et ce que nous avons changé.
SPEAC est une plateforme sociale où chaque affirmation publiée passe d'abord par une vérification des faits ancrée dans la recherche web. Parce qu'elle est bilingue par conception, et parce que nous consignons pour chaque vérification les requêtes de recherche, les sources et le coût, elle sert aussi d'instrument pour observer le comportement des systèmes d'IA d'une langue à l'autre. Cet été, l'instrument a détecté quelque chose.
À la fin juillet, nous avons ajouté la journalisation des requêtes au moteur, et les journaux ont révélé un comportement que personne n'avait demandé : le moteur composait ses recherches web en anglais, quelle que soit la langue de la publication. Les publications en français, en portugais et en amharique étaient toutes vérifiées au moyen de recherches en anglais. Rien dans notre système ne l'exigeait. C'est le comportement par défaut des modèles d'IA sous-jacents, et tout produit bâti sur une pile semblable en hérite, à moins de le contraindre délibérément.
La conséquence est structurelle. Des requêtes en anglais sur une communauté linguistique récupèrent la couverture que le web anglophone fait de cette communauté : agrégateurs, sites amateurs, magazines d'opinion. Le dossier faisant autorité (gouvernements, institutions nationales, recherche universitaire, journalisme crédible du pays) est publié dans la langue de la communauté, et il n'est jamais consulté. Les communautés dont le dossier est mince sur le web anglophone, y compris les communautés francophones et autochtones ici même au Canada, reçoivent silencieusement une vérification plus faible des systèmes d'IA configurés par défaut, sans que rien dans le résultat ne le laisse voir.
Nous ne l'avons pas imaginé, et nous ne sommes pas seuls : un audit industriel indépendant de ChatGPT, ayant consigné plus de 20 millions de ses requêtes de recherche en arrière-plan, a constaté que 43 % étaient composées en anglais alors que la question de l'utilisateur ne l'était pas. À notre connaissance, toutefois, notre observation est la première documentée dans un système de vérification des faits en exploitation, et la première montrant un défaut quasi total, plutôt que partiel, vers l'anglais.
Un second constat découle du premier. Voici une vérification réelle tirée de nos journaux :
« The Spanish border is open, you can cross without papers. Is there a better time to attempt the swim? »
Constat du moteur ContestéL'entrée exige un passeport ou une pièce d'identité de l'UE ; le passage sans papiers n'est pas permis en vertu du code frontières Schengen.
exteriores.gob.estravel.state.gov
Le verdict est juste, et la première source est exactement celle qu'il faut : le ministère espagnol des Affaires étrangères. Regardez la seconde. La note invoque deux instruments du droit européen, et pourtant la source de corroboration est le département d'État américain. Personne ne l'a voulu. Les requêtes en anglais récupèrent des pages fédérales américaines superbement indexées ; ces pages sont réellement crédibles ; et les politiques de sources habituelles testent la crédibilité (« est-ce une autorité ? »), mais jamais la légitimité territoriale : une autorité d'où ? La réponse à une question de droit européen arrive confirmée par Washington, et rien dans la chaîne ne peut même apercevoir le problème.
Le classement des résultats de recherche décidait autrefois du lien que vous alliez cliquer. Dans les réponses d'IA, il décide quelles institutions ont le droit de confirmer ce qui est vrai.
Ce n'est pas la lacune d'un seul moteur ; c'est une lacune des normes du domaine lui-même. Les codes qui régissent la vérification professionnelle des faits exigent des sources primaires plutôt que secondaires, et deux sources plutôt qu'une. Nulle part ils ne parlent de la langue dans laquelle chercher les preuves, ni du lieu d'où l'autorité devrait venir. Les vérificateurs appliquent un bon réflexe territorial d'instinct sur leur terrain national ; personne ne l'a écrit comme règle capable de survivre à une affirmation qui traverse les frontières.
Ce qu'on apprend ne vaut d'être publié qu'accompagné de ce qu'il nous en a coûté d'agir. Sur SPEAC aujourd'hui :
Rien de tout cela ne prime la qualité. Les normes éditoriales, la pratique des correctifs et l'indépendance envers le sujet de l'affirmation passent toujours en premier : un média d'État ne gagne rien à être local, et aucun gouvernement n'est l'autorité sur sa propre conduite.
Et en chantier, nourri par les cas que nos journaux continuent d'accumuler : des règles sur la valeur de témoignage des preuves, parce que trois médias citant un même communiqué font une seule voix, pas trois, et qu'une affirmation confirmée uniquement par l'annonce de son propre auteur mérite d'être désignée exactement ainsi.
Ces notes sont offertes comme biens publics. Les communautés les plus touchées par de tels défauts sont les moins bien placées pour les détecter, et nous préférons que le problème soit largement compris plutôt que gardé discrètement comme avantage. Notre moteur de vérification demeure, comme nous le disons à nos testeurs, un baromètre et non un arbitre final. Mais nous pouvons au moins faire en sorte que le baromètre lise le monde entier, pas seulement la part écrite en anglais.