Entre attente et réalité: Quelle est la qualité de l’intelligence artificielle??

Dans cet article, réalisé par Maximilian Sand, Teamleader Intelligence Artificielle par Dallmeier Electronic, se ponen de relieve algunos principios básicos que permiten valorar la funcionalidad y beneficio del análisis de vídeo basado en Inteligencia Artificial.

Analyse vidéo basée sur l’intelligence artificielle (Lla) promet un saut quantique dans la technologie avec un grand avantage pour le client. Mais seulement si l’utilisateur critique – ou ce qui est le même, informé- est capable d’évaluer correctement la technologie.

Depuis longtemps maintenant, La technologie de sécurité vidéo intègre des procédures basées sur l’intelligence artificielle. De plus en plus de nouvelles applications et de nouveaux produits utilisent des algorithmes pour fournir de nouvelles analyses ou rendre les analyses existantes plus robustes..

L’objectif est une valeur ajoutée claire pour les utilisateurs, et les résultats parlent d’eux-mêmes. Si dans le passé, par exemple avec le traitement d’image classique, c’était un grand effort pour reconnaître de manière fiable un arbre déplacé par le vent comme une fausse alarme, de nos jours, une IA le fait sans problème.

La distinction essentielle entre l’analyse d’images ou de vidéos avec traitement d’image classique et celles avec intelligence artificielle est que les algorithmes ne sont plus seulement programmés mais enseignés., avec beaucoup de données.

Utilisation de ces données, le système apprend à reconnaître les modèles et ainsi de suite, Par exemple,, différencier un arbre d’un intrus. Mais le concept d’apprentissage automatique pose également de nouveaux problèmes et défis..

Les différences dans la qualité de la reconnaissance des différents groupes ethniques en sont un exemple frappant., un problème qui a même fait les manchettes. Bien que l’arrière-plan soit relativement simple: seulement lorsqu’il y a des données en quantité suffisante et avec une diversité suffisante et une répartition égale, une intelligence artificielle peut apprendre de manière robuste.

Qualité du système d’IA

Tout cela conduit à des questions sur la capacité de performance d’un système qui utilise l’intelligence artificielle.. Quelles mesures sont utilisées pour comparer, Par exemple,, deux procédures, différents systèmes ou fabricants? Qu’est-ce que cela signifie si une brochure promet par exemple « 95% de précision de détection » ou « reconnaissance fiable »? Quelle est la qualité d’une précision de l' 95%? Et, en définitive, qu’est-ce qu’une reconnaissance fiable?

Pour ce faire,, Tout d’abord, vous devez comprendre comment les procédures d’IA peuvent être évaluées. La première étape est la définition spécifique par l’application et le client de ce que signifie « faux » et de ce que signifie « correct »., surtout dans les cas limites. Par exemple,, dans un système de reconnaissance des personnes, Une détection doit-elle être jugée correcte si l’image ou la vidéo ne voit pas une personne réelle, mais seulement une affiche publicitaire avec une personne ??

Ce paramètre et d’autres doivent être établis. Une fois que cette définition existe, vous avez besoin d’un jeu de données qui connaît les résultats corrects que vous attendez.

L’IA analysera cet ensemble de données et déterminera le rapport entre les détections correctes et fausses.. Les mathématiques fournissent à l’utilisateur différentes mesures, comme la sensibilité (proportion des détections attendues qui ont effectivement été détectées) ou l’exactitude de l’exactitude (proportion de détections qui sont réellement correctes). Ainsi, la « qualité » de l’IA, Après tout, est toujours un énoncé statistique sur l’ensemble de données d’évaluation qui a été utilisé.

Été ou hiver?

L’utilité de cette déclaration pour l’utilisateur ou le client potentiel d’un système dépend de la distribution de l’ensemble de données.. Une évaluation peut certifier de bonnes performances de détection. Mais si l’ensemble de données est basé exclusivement sur des images des mois d’été, cette évaluation n’a aucune valeur informative sur la qualité de l’IA en hiver, car la lumière et les conditions météorologiques peuvent différer considérablement..

Par conséquent, en général,, déclarations sur la qualité d’une analyse d’IA – en particulier, ceux qui ont des chiffres concrets tels que « 99,9% »-, prenez-les avec prudence lorsque tous les paramètres ne sont pas connus. Aucune connaissance de l’ensemble de données utilisé, de la métrique appliquée et d’autres paramètres, une déclaration sans équivoque sur le degré de représentativité du résultat n’est pas possible.

Il ne peut y avoir aucune indication exacte

Chaque système a ses limites, Même, Naturellement, Systèmes d’IA. ainsi, connaître les limites est l’exigence de base pour prendre des décisions éclairées. Mais aussi ici, les statistiques et la réalité se croisent, comme vous pouvez le voir dans l’exemple suivant. Une IA reconnaît le pire, logiquement, objets dans l’image/vidéo plus ils sont petits.

Sur la première question, qui est posé à un utilisateur avant l’achat d’un système, est la distance maximale jusqu’à laquelle les objets peuvent être détectés, car il influence le nombre de caméras nécessaires et, Donc, sur les coûts de l’ensemble du système. Mais indiquer une distance exacte n’est pas possible. Simplement, il n’y a pas de valeur jusqu’à laquelle l’analyse fournit des résultats 100% correct et une autre valeur à partir de laquelle une détection n’est pas possible.

Une évaluation ici n’est en mesure de fournir que des statistiques telles que, Par exemple,, la précision de la détection en fonction de la taille de l’objet.

Mieux vaut comparer directement

En ce qui concerne les limites du système, il a été choisi de décrire, dans la mesure du possible, les limites du système avec des valeurs minimales ou maximales spécifiques: par exemple dans les fiches techniques des produits. Parmi ceux-ci, il y aurait la distance minimale ou une résolution minimale.

C’est raisonnable, car les clients ou les installateurs ont besoin de benchmarks pour pouvoir évaluer le système. Cependant, il y a encore beaucoup d’incertitude, par exemple si ces valeurs limites sont indiquées par le fabricant de manière plutôt conservatrice ou optimiste. L’utilisateur fera bien de toujours garder à l’esprit que dans l’analyse vidéo, il peut n’y avoir pas de limites claires et définies.

Avec chaque système, ce sera comme ça: également dans certains paramètres, des erreurs se produiront et, dans le même temps, dans de bonnes conditions, des résultats utiles peuvent être obtenus, a même dépassé la limite.

Si un utilisateur souhaite déterminer la véritable qualité d’une analyse basée sur l’IA, cela ne sera possible que par une comparaison directe; les nombres et les paramètres des différents fabricants sont trop différents. Et, De plus,, conditions-cadres et contributions, Bien sûr, ils doivent être les mêmes dans tous les systèmes.

Un vrai test avec des produits de démonstration, emprunté ou similaire, est une bonne possibilité pour cela. Plus, les performances du système sont affichées directement dans le cas d’utilisation requis.

Est, D’ailleurs, également la clé lors de l’évaluation de la performance des systèmes d’IA en général: dépend entièrement de l’utilisation dans chaque cas. Cela doit être spécifié aussi précisément que possible. Puis, avec la bonne solution, il sera possible de donner une réelle valeur ajoutée au client.

Sable Maximilien

Teamleader Intelligence Artificielle par Dallmeier Électronique
 

 

 

D’autres articles sur Dallmeier