Vous voulez une meilleure IA ? Obtenez l’avis d’un véritable knowledgeable (humain).

Peut-on faire confiance à l’intelligence artificielle ? Cette query se pose partout où l’IA est utilisée ou discutée, et elle est partout de nos jours.

C’est une query que même certains systèmes d’IA se posent.

De nombreux systèmes d’apprentissage automatique créent ce que les mavens appellent un « rating de confiance », une valeur qui reflète le degré de confiance du système dans ses décisions. Un rating faible indique à l’utilisateur humain qu’il existe une certaine incertitude quant à los angeles recommandation ; Un rating élevé indique à l’utilisateur humain que le système est au moins positive de ses décisions. Les humains intelligents savent qu’il faut vérifier le rating de confiance lorsqu’ils décident de faire confiance ou non à los angeles recommandation d’un système d’apprentissage automatique.

Des scientifiques du laboratoire nationwide du nord-ouest du Pacifique du ministère de l’Énergie ont introduit une nouvelle méthode d’évaluation des recommandations du système d’intelligence artificielle. Ils font participer des mavens humains pour démontrer les performances de l’apprentissage automatique sur un ensemble de données. L’knowledgeable apprend quels varieties de données le système d’apprentissage automatique classe généralement correctement et quels varieties de données conduisent à de los angeles confusion et à des erreurs système. Forts de ces connaissances, les mavens donnent ensuite leur niveau de confiance dans les futures recommandations du système.

Le résultat d’un humain regardant par-dessus l’épaule d’un système d’IA ? Les humains ont prédit avec plus de précision les performances du système d’IA.

L’effort humain minimum – quelques heures seulement – pour évaluer certaines des décisions prises par le programme d’IA a permis aux chercheurs d’améliorer considérablement los angeles capacité du programme d’IA à évaluer ses décisions. Dans certaines analyses de l’équipe, los angeles précision du rating de confiance a doublé lorsqu’un humain a fourni le rating.

L’équipe du PNNL a présenté ses résultats lors d’une récente réunion de los angeles Human Components and Ergonomie Society à Washington, D.C., dans le cadre d’une consultation sur le travail d’équipe entre les robots humanoïdes et l’intelligence artificielle.

“Si vous ne développez pas d’algorithme d’apprentissage automatique en premier lieu, cela peut ressembler à une boîte noire”, a déclaré Corey Fallon, auteur major de l’étude et knowledgeable en interplay homme-machine. “Dans certains cas, les décisions semblent bonnes. Dans d’autres cas, vous pouvez recevoir une recommandation vraiment surprenante. Vous ne comprenez peut-être pas pourquoi vous avez pris ces décisions.”

Réseaux et intelligence artificielle

C’est un dilemme auquel sont confrontés les ingénieurs électriciens qui travaillent avec le réseau électrique. Leurs décisions, basées sur une richesse de données qui changent à chaque speedy, permettent à los angeles country de continuer à fonctionner. Cependant, les ingénieurs électriciens peuvent être réticents à confier le pouvoir de décision aux systèmes d’apprentissage automatique.

“Il existe des centaines d’articles de recherche sur l’utilisation de l’apprentissage automatique dans les systèmes énergétiques, mais presque aucun d’entre eux n’est appliqué dans le monde réel. De nombreux opérateurs ne font tout simplement pas confiance à l’apprentissage automatique. Ils possèdent une experience dans le domaine, ce que l’apprentissage automatique ne peut pas faire”, a-t-il déclaré. » a déclaré le co-auteur Tianzhixi « Tim » Yin.

Les chercheurs du PNNL, qui dispose d’une équipe mondiale travaillant sur los angeles modernisation du réseau, ont examiné de plus près un algorithme d’apprentissage automatique appliqué aux systèmes électriques. Ils ont entraîné l’algorithme SVM (Improve Vector System) sur des données réelles provenant de l’interconnexion orientale du réseau américain. Le programme a examiné 124 événements et a déterminé si le générateur fonctionnait mal ou si les données montraient d’autres varieties d’événements moins remarquables.

L’algorithme était fiable à 85 % dans ses décisions. De nombreuses erreurs se produisaient en cas de diversifications de puissance ou de changements de fréquence complexes. Les rankings de confiance générés avec un humain dans los angeles boucle représentaient une nette amélioration par rapport à l’évaluation de ses décisions par le système. Los angeles contribution de l’knowledgeable humain a prédit les décisions de l’algorithme avec beaucoup plus de précision.

Un apprentissage automatique plus humain et meilleur

Fallon et Yin ont appelé le nouveau rating le rating « Knowledgeable Derived Self assurance », ou rating EDC.

Ils ont constaté qu’en moyenne, lorsque les humains évaluaient les données, leurs rankings EDC prédisaient le comportement du modèle, ce que les rankings de confiance de l’algorithme ne pouvaient pas prédire.

“L’knowledgeable humain comble les lacunes des connaissances en matière d’apprentissage automatique”, a déclaré Yin. « Les humains fournissent des informations que l’apprentissage automatique ne possède pas, et nous montrons que ces informations sont importantes. En fin de compte, nous avons montré que si vous ajoutez l’experience humaine aux résultats de l’apprentissage automatique, vous obtenez une bien meilleure confiance.

“C’est le sort de recherche nécessaire pour préparer et équiper une main-d’œuvre prête à l’IA”, a déclaré Fallon. “Si les gens ne font pas confiance à l’outil, vous perdez votre temps et votre argent. Vous devez savoir ce qui se passe lorsque vous prenez un modèle d’apprentissage automatique issu du laboratoire et que vous le mettez en pratique dans le monde réel.” .

“Je suis un grand fan de l’experience humaine et de los angeles collaboration homme-machine. Les résultats de l’EDC permettent à l’humain de mieux évaluer los angeles state of affairs et de prendre los angeles décision finale.”