_Résumé
Qu’est-ce que le taux de précision en IA ?
Commençons par les bases, car le « taux de précision » fait partie de ces termes que tout le monde utilise mais que presque personne ne définit clairement lorsqu’il est question d’IA. En termes simples, le taux de précision d’un système d’IA correspond au pourcentage de résultats qu’il produit et qui sont factuellement corrects. Si vous demandez à une IA d’extraire 100 chiffres d’un document réglementaire et que 87 d’entre eux sont corrects, son taux de précision pour cette tâche est de 87 %.
La communauté des chercheurs en IA s’est efforcée de mesurer cela avec précision, et les résultats sont plus décevants que ne le laisse entendre la plupart des campagnes marketing des entreprises dans ce domaine. En décembre 2025, Google DeepMind et Google Research ont publié le « FACTS Leaderboard », l’un des benchmarks les plus complets jamais développés pour évaluer la précision factuelle des grands modèles linguistiques (LLM). Ce benchmark a testé les principaux modèles d’IA selon quatre dimensions distinctes de l’exactitude factuelle, en couvrant des milliers d’exemples tirés du monde réel. Conclusion : même les modèles les plus performants se trompent sur les faits environ une fois sur trois lorsqu’ils traitent des tâches complexes basées sur des documents. (Source : The FACTS Leaderboard : A Comprehensive Benchmark for Large Language Model Factuality, Google DeepMind et Google Research, décembre 2025 : deepmind.google)
Les chercheurs ont clairement exposé les implications : « Les grands modèles linguistiques transforment notre façon d’accéder à l’information, mais leur maîtrise de l’exactitude factuelle reste imparfaite. Ils peuvent générer de fausses informations, en particulier lorsqu’on leur fournit des données d’entrée complexes. »
Il s’agit là du niveau de référence pour l’IA à usage général, dans le cadre de tâches courantes. Dans des environnements réglementaires spécialisés où les enjeux sont élevés, l’écart de performance se creuse considérablement. La loi européenne sur l’IA en tient déjà compte, en exigeant à l’article 6 que les systèmes d’IA à haut risque — une catégorie qui inclut explicitement l’IA utilisée pour la notation de crédit, l’évaluation des risques et le reporting réglementaire — atteignent un « niveau de précision approprié » avant de pouvoir être déployés. Une analyse technico-juridique de 2025 publiée sur arXiv a souligné que cette exigence implique des choix cruciaux quant aux erreurs acceptables et aux risques à privilégier, choix qui ne peuvent être effectués sans une compréhension du domaine spécifique dans lequel l’IA opère. (Source : Is your AI Model Accurate Enough? The Difficult Choices Behind Rigorous AI Development and the EU AI Act , arXiv, 2025: arxiv.org)
Ce qu’en disent les experts en IA : le problème des hallucinations
La communauté des chercheurs en intelligence artificielle a donné un nom au phénomène qui se produit lorsqu’un système génère un résultat présenté avec assurance et semblant plausible, mais qui est en réalité erroné : l’hallucination. Ce terme est souvent utilisé de manière imprécise, mais le mécanisme est précis et bien documenté, et revêt une importance particulière dans les contextes financiers et réglementaires.
Un modèle linguistique ne recherche pas des informations de la même manière qu’un moteur de recherche extrait des documents. Il génère des réponses en prédisant, d’un point de vue statistique, quel texte devrait suivre une entrée donnée, en s’appuyant sur des schémas appris à partir d’énormes quantités de données d’entraînement. Lorsqu’il rencontre une question à laquelle il ne peut pas répondre avec certitude — parce que le document est complexe, que la terminologie est ambiguë ou que le cadre réglementaire est spécialisé —, il ne dit pas « Je ne sais pas ». Il génère la réponse qui semble la plus probable, même si celle-ci n’a peut-être aucun fondement dans le document source.
Les autorités de régulation y prêtent attention. Le rapport 2026 de la FINRA sur la surveillance réglementaire comprenait une section consacrée à l’IA générative, exhortant explicitement les établissements financiers à mettre en place des procédures permettant de détecter les « hallucinations », définies comme des cas où l’IA génère des informations inexactes ou trompeuses, y compris des interprétations erronées des règles, des politiques ou des données clients qui influencent la prise de décision. (Source : wealthmanagement.com)
La loi européenne sur l’IA renforce cette approche au niveau structurel. Pour les systèmes d’IA à haut risque, qui comprennent notamment l’IA appliquée aux décisions de crédit, à l’évaluation des risques et aux déclarations réglementaires, l’article 14 exige une supervision humaine démontrable : documentée, mise en œuvre sur le plan technique et vérifiable.
Ce qui rend les erreurs particulièrement dangereuses dans le domaine de la conformité, c’est qu’elles passent souvent inaperçues en l’absence d’un mécanisme de traçabilité. Un chiffre erroné concernant le ratio d’actifs verts, une valeur d’émissions de scope 3 mal attribuée ou un indicateur de taxonomie mal mappé peuvent sembler tout à fait corrects jusqu’à ce que quelqu’un vérifie la source. Et dans un contexte post-CRR3, où les informations relevant du pilier 3 sont publiées sur la plateforme publique de données de l’ABE au format XBRL et peuvent faire l’objet de recoupements en temps réel par les autorités de surveillance et les acteurs du marché, le coût d’une erreur non détectée n’est pas interne. Il est public.
L’écart de précision entre l’IA à usage général et l’IA optimisée pour un domaine spécifique
L’écart de précision entre un outil d’IA standard et un outil spécialement conçu pour un sujet ou une application spécifique n’est pas un simple détail technique. Une étude publiée par Amazon Science en décembre 2025 a testé différents systèmes d’IA sur les mêmes documents financiers — rapports annuels, états financiers, documents réglementaires — et leur a posé les mêmes questions.
Un système d’IA standard, tel que ceux qui équipent la plupart des outils polyvalents actuellement disponibles sur le marché, a donné la bonne réponse dans 52 % des cas. Un système d’IA conçu avec des connaissances spécifiques au domaine financier intégrées en son cœur a donné la bonne réponse dans 94 % des cas.
Mêmes documents. Mêmes questions. Une précision presque deux fois supérieure. (Source : Amazon Science, décembre 2025 : amazon.science)
Comment expliquer cet écart ? Ce n’est pas la vitesse de traitement. Ce n’est pas non plus la taille du modèle. La différence tient à un seul élément : le fait que le système comprenne réellement ce qu’il lit.
Une IA classique lit un document réglementaire de la même manière qu’une personne sans connaissances financières lirait un code fiscal. Les mots sont reconnaissables, les phrases s’analysent correctement, et un résumé pourrait même paraître convaincant. Mais la compréhension de la signification de ces mots dans leur contexte — quels chiffres s’appliquent à quel cadre réglementaire, quelles précisions modifient la signification d’un chiffre, quelles deux phrases formulées différemment expriment en réalité la même chose — fait défaut. Le système comble donc cette lacune avec sa meilleure supposition. Et environ la moitié du temps, cette supposition est erronée.
Comme l’expliquent les chercheurs d’Amazon Science : « En intégrant directement l’expertise du domaine financier dans le processus de raisonnement, [un système optimisé pour ce domaine] offre une voie concrète vers une IA financière fiable, capable de répondre aux exigences rigoureuses en matière de précision imposées par la conformité réglementaire, les décisions d’investissement et la gestion des risques. »
Pour illustrer cela concrètement : si une équipe chargée de la conformité utilise un outil d’IA standard pour traiter 200 points de données dans le cadre d’une déclaration au titre du pilier 3, environ 96 de ces résultats contiendront des erreurs. Avec un système optimisé pour ce domaine, ce nombre tombe à environ 12 — et ces 12 résultats sont signalés pour être examinés par un humain, plutôt que d’être ignorés. Il ne s’agit pas d’une différence d’efficacité marginale. C’est la différence entre un processus qui génère des risques et un processus qui les maîtrise.
Validation en conditions réelles : Chez DYDON AI, nous avons récemment atteint un taux de précision de 99,54 % pour un client dans le cadre d’un processus spécialisé de reporting réglementaire. Ce résultat est le fruit d’un affinage approfondi du modèle sur des données et des documents spécifiques, associé à une architecture multimodèle et à une traçabilité complète des sources.
L’expertise humaine : la véritable source des connaissances métier
Une grande précision ne repose pas uniquement sur la technologie. Les connaissances métier intégrées dans une IA de conformité bien conçue ont été développées par des personnes, des spécialistes de la réglementation qui savent à quoi ressemble une réponse correcte et pourquoi une réponse incorrecte est dangereuse. Cette expertise ne s’arrête pas au déploiement. Elle reste active dans le flux de travail en tant que couche de validation qui rend les résultats vérifiables.
La répartition des tâches est claire : l’IA gère le volume, les humains se chargent de l’appréciation. McKinsey décrit cela comme une fonction d’intelligence des risques qui « sert toutes les lignes de défense, en automatisant le reporting et en améliorant la transparence, tandis que les gestionnaires de risques conservent le pouvoir de décision ». (Source : McKinsey)
KPMG a constaté une réduction pouvant atteindre 85 % du temps consacré à la préparation des rapports lorsque l’extraction assistée par l’IA est pleinement intégrée. EY fait état d’un gain de temps pouvant atteindre 90 % dans la vérification de la conformité grâce au pré-remplissage par l’IA de bout en bout. Ces gains dépendent entièrement d’une seule condition : l’étape de validation humaine doit être intégrée dès le départ dans l’architecture, et non ajoutée a posteriori.
Quelles sont les exigences à poser à une plateforme de conformité en matière d’IA ?
Ce ne sont pas des éléments distinctifs. Ce sont des critères de base.
- Traçabilité complète de l’origine. Chaque valeur extraite doit être associée à son document, à sa page et à son passage d’origine. Sans cela, les résultats ne peuvent être que considérés comme fiables, mais ne peuvent être vérifiés.
- Connaissances intégrées en matière de réglementation. Connaissances intégrées sur le CRR3, le SFDR, la taxonomie de l’UE et l’ESRS, élaborées par des professionnels du secteur et mises à jour au fur et à mesure de l’évolution des cadres réglementaires.
- Une conception axée sur la validation humaine. L’article 14 de la loi européenne sur l’IA impose une supervision humaine vérifiable pour les IA à haut risque.
- Résidence des données et sécurité au sein de l’UE. Une infrastructure isolée du client, la garantie d’une conservation nulle des données, ainsi que les certifications ISO 27001 et SOC 2 Type II. Pour les établissements traitant des données relatives aux contreparties et utilisant des modèles de capital internes, il s’agit d’une exigence réglementaire minimale.
Vous travaillez dans le domaine des déclarations réglementaires, de la publication d’informations ESG ou de la conformité, et vous souhaitez savoir quels taux de précision sont réalistes pour votre cas de figure spécifique ?
Faites-nous part de votre flux de travail : nous évaluerons ce qui est réalisable et identifierons les lacunes susceptibles d’exister dans votre processus actuel.
Contactez-nous →
Sources
- Amazon Science (décembre 2025). VERAFI: Verified Agentic Financial Intelligence. amazon.science
- Google DeepMind (December 2025). FACTS Leaderboard: A Comprehensive Benchmark for LLM Factuality. deepmind.google
- arXiv (2025). Is your AI Model Accurate Enough? The EU AI Act and AI Accuracy. arxiv.org
- Aveni (December 2025). AI Hallucinations in Financial Services. aveni.ai
- FINRA (2026). 2026 Annual Regulatory Oversight Report. wealthmanagement.com
- McKinsey & Company (2024). How Generative AI Can Help Banks Manage Risk and Compliance. mckinsey.com
- Galileo AI (2025). Domain-Specific LLM Evaluation. galileo.ai
- EBA (September 2025). Rising Application of AI in EU Banking and Payments Sector. eba.europa.eu
- KPMG (2023). Regulatory Technology Report — Automated Regulatory Reporting.
- EY (2023). Global Risk Consulting — Compliance Verification Automation.