Les benchmarks d'IA ignorent les désaccords humains, révèle Google
Rédigé à partir de la source originale; chaque fait est vérifié contre le texte source.
Que faut-il retenir ?
- Les benchmarks actuels utilisent trois à cinq évaluateurs par exemple, ce qui est souvent insuffisant.
- Les chercheurs ont testé des milliers de combinaisons de budgets et de nombre d'évaluateurs.
- Pour des résultats fiables, il faut généralement plus de dix évaluateurs par exemple.
- La stratégie d'évaluation dépend de ce que l'on cherche à mesurer, comme l'accord majoritaire ou la variation totale.
Pourquoi cette nouvelle compte-t-elle ?
Cette étude remet en question les pratiques actuelles d'évaluation des modèles d'IA, montrant que les résultats peuvent être peu fiables avec trop peu d'évaluateurs. Les professionnels doivent ajuster leurs méthodes pour mieux capturer la diversité des opinions humaines, ce qui est crucial pour des comparaisons de modèles précises.
Public concerné : développeurs, entreprises
Combien d'évaluateurs sont nécessaires pour un benchmark d'IA fiable ?
Selon une étude de Google, il faut généralement plus de dix évaluateurs par exemple pour obtenir des résultats statistiquement fiables et capturer la diversité des opinions humaines.
