Les LLMs utilisés comme juges d'évaluation scientifique présentent douze types de biais qui désavantagent les productions s'écartant des canons dominants¶
Claim · All claims
Evidence · 1 study · reviewr?·q2
Currency · newest study 2025 · not yet checked against its sources · not reviewed by a person · recheck by 2028: tool and model accuracy changes quickly
Evidence quality · No study behind this claim is a peer-reviewed article with a DOI: it rests on a source with no registered publication record (a web page, book or unpublished report). It is kept because a design page cites it; treat it as a lead to check, not an established finding.
Subclaims¶
Reading the evidence codes
q is the design tier, i the impact, n the sample, and the kind with its r
the rigour judged within that kind: what each code means.
This claim: no standardized effect is recorded in observations/ for it yet, so no benchmark reading is possible.
q2 i? La revue rapporte, citant Ye et coll. (2024), une analyse systématique identifiant douze types de biais des LLMs-juges, dont les biais de diversité, d'autorité, de verbosité et d'auto-amélioration. → Fatiha TALI OTMANI 2025
Evidence¶
Fatiha TALI OTMANI 2025¶
Fatiha TALI OTMANI. (2025). L'intelligence artificielle générative et la marginalisation des savoirs minoritaires dans l'enseignement supérieur. Le cas du handicap. https://scholar.google.com/scholar?q=%22marginalisation+des+savoirs+minoritaires+dans+l%27enseignement+sup%C3%A9rieur%22
q2 · i? · review · r?
La revue rapporte l'analyse systématique de Ye et coll. : « douze types de biais » des LLMs-juges, dont le biais de diversité (jugements variant selon les identités mentionnées), d'autorité (références même fausses valorisées), de verbosité et d'auto-amélioration. Le Tableau 1 de l'article en donne la synthèse adaptée.
"Ye et ses collègues (2024) ont conduit une analyse systématique des biais affectant les LLMs utilisés comme juges (LLM-as-a-Judge) et identifient douze types de biais."
Discussion¶
Related Claims¶
- Les outils d'IA présentent des potentialités réelles pour l'accessibilité de l'enseignement supérieur inclusif, mais leur efficacité reste conditionnée et limitée — a broader claim this one bears on
- Les personnes en situation de handicap sont invisibilisées dans les productions d'IA et exclues à trois niveaux (données, architectures, interfaces), selon un processus en spirale — related
- L'entraînement récursif sur des données synthétiques dégrade progressivement la diversité des productions (model collapse) et cristallise les représentations dominantes — related
- El uso de IA para evaluaciones basadas en competencias no es actualmente la mejor práctica — related
- Panelists strongly agreed human oversight must remain central in academic decisions involving GenAI, with clear accountability assignments — related
- Poorly grounded GenAI self-study risks fabricated content and inferior learning relative to curated resources — related
Page metadata
| Field | Value |
|---|---|
type |
claim |
id |
llm-as-a-judge-twelve-bias-types |
title |
Les LLMs utilisés comme juges d'évaluation scientifique présentent douze types de biais qui désavantagent les productions s'écartant des canons dominants |
description |
Les LLMs utilisés comme juges d'évaluation scientifique présentent douze types de biais qui désavantagent les productions s'écartant des canons dominants |
status |
review |
evidence_strength |
weak |
newest_evidence |
2025 |
recheck_by |
2028 |
generated |
by process:wiki-ingest on 2026-10-10 |
trust |
unverified — no one has confirmed this page's content |
sources |
1 — fatiha-tali-otmani-2025 |
Frontmatter is the page's machine-readable record — see the Schema & Guide.