Tra aspettativa e realtà: Quanto è buona l'Intelligenza Artificiale??

In questo articolo, realizzata da Maximilian Sand, Teamleader Intelligenza Artificiale di Dallmeier Electronic, se ponen de relieve algunos principios básicos que permiten valorar la funcionalidad y beneficio del análisis de vídeo basado en Inteligencia Artificial.

El análisis de vídeo basado en Inteligencia Artificial (Le) promete un salto cuántico en la tecnología con un gran beneficio para el cliente. Pero sólo si el usuario crítico -o lo que es lo mismo, informado- es capaz de evaluar la tecnología correctamente.

Ya desde hace tiempo, la tecnología de videoseguridad incorpora procedimientos basados en Inteligencia Artificial. Cada vez más aplicaciones y productos nuevos utilizan algoritmos para ofrecer análisis nuevos o hacer más robustos los ya existentes.

El objetivo es un claro valor añadido para los usuarios, y los resultados hablan por sí solos. Si en el pasado, por ejemplo con el procesamiento clásico de imagen, suponía un gran esfuerzo reconocer de forma fiable un árbol movido por el viento como falsa alarma, hoy en día una IA lo realiza sin problemas.

La característica distintiva esencial entre los análisis de imagen o vídeo con procesamiento clásico de imagen y aquellos con inteligencia artificial es que los algoritmos ya no son solamente programados sino enseñados, con una gran cantidad de datos.

Mediante estos datos, el sistema aprende a reconocer patrones y así, Per esempio, diferenciar un árbol de un intruso. Ma il concetto di apprendimento automatico pone anche nuovi problemi e sfide..

Un esempio importante per questo sono le differenze nella qualità del riconoscimento dei diversi gruppi etnici., un problema che ha fatto notizia anche. Anche se lo sfondo è relativamente semplice: solo quando ci sono dati in quantità sufficiente e con sufficiente diversità e distribuzione equa, un'Intelligenza Artificiale può imparare in modo robusto.

Qualità del sistema AI

Todo ello lleva a preguntarse por la capacidad de rendimiento de un sistema que usa inteligencia artificial. ¿Qué medidas sirven para poder comparar, Per esempio, dos procedimientos, diferentes sistemas o fabricantes? ¿Qué significa si en un folleto se promete por ejemplo una “precisión de detección del 95%” o un “reconocimiento fiable”? ¿Cómo de buena es una precisión del 95%? E, insomma, ¿qué es un reconocimiento fiable?

Per fare questo, antes que nada, hay que entender cómo pueden evaluarse los procedimientos IA. El primer paso es la definición específica por parte de la aplicación y del cliente sobre qué significa “falso” y qué “correcto”, especialmente en casos límite. Per esempio, en un sistema de reconocimiento de personas, ¿hay que valorar una detección como correcta si en la imagen o vídeo no se ve una persona real sino sólo un cartel publicitario con una persona?

Este y otros parámetros han de ser establecidos. Una vez exista esta definición, se necesita un conjunto de datos en que se conozcan los resultados correctos que se esperan.

La IA analizará este conjunto de datos y determinará la proporción de detecciones correctas y falsas. Las matemáticas proporcionan al usuario diferentes métricas, como la sensibilidad (proporción de las detecciones esperadas que realmente han sido detectadas) o la precisión de acierto (proporción de las detecciones que realmente son correctas). De modo que, la “calidad” de la IA, al fin y al cabo, siempre es una declaración estadística sobre el conjunto de datos de evaluación que se ha usado.

¿Verano o invierno?

Quanto sia utile questa affermazione per l'utente o il potenziale cliente di un sistema dipende dalla distribuzione del set di dati.. Una valutazione può certificare buone prestazioni di rilevamento. Ma se il dataset si basa esclusivamente su immagini dei mesi estivi, questa valutazione non ha alcun valore informativo sulla qualità dell'IA in inverno in quanto le condizioni di luce e meteorologiche possono differire considerevolmente..

Conseguentemente, in generale, las declaraciones sobre la calidad de un análisis IA -particularmente, aquellos con números concretos como “99,9%”-, hay que tomarlas con cautela cuando no se conocen todos los parámetros. Sin conocimiento del conjunto de datos utilizado, de la métrica aplicada y de otros parámetros, no es posible una afirmación inequívoca sobre el grado de representatividad del resultado.

No puede haber indicaciones exactas

Cada sistema tiene sus límites, perfino, Naturalmente, los sistemas IA. Così, conocer los límites es el requisito básico para tomar decisiones fundadas. Pero también aquí, se cruzan estadística y realidad, como se puede ver en el siguiente ejemplo. Una IA reconoce peor, lógicamente, objetos en la imagen/vídeo cuanto más pequeños son.

La primera pregunta, que se plantea a un usuario antes de la compra de un sistema, es la distancia máxima hasta la que los objetos pueden ser detectados, ya que influye en el número de cámaras necesarias y, Quindi, en los costes del sistema entero. Pero indicar una distancia exacta no es posible. Simplemente, no existe ningún valor hasta el cual el análisis proporcione resultados 100% correctos y otro valor desde el cual una detección no es posible.

Una evaluación aquí sólo es capaz de facilitar estadísticas como, Per esempio, la precisión de la detección en función del tamaño del objeto.

Mejor comparar directamente

En relación a los límites del sistema se ha optado por describir, en la medida de lo posible, los límites del sistema con valores mínimos o máximos concretos: ad esempio nelle schede tecniche dei prodotti. Tra questi ci sarebbe la distanza minima o una risoluzione minima.

Questo è ragionevole, poiché i clienti o gli installatori hanno bisogno di benchmark per poter valutare il sistema. Tuttavia, c'è ancora molta incertezza, Ad esempio, se questi valori limite sono indicati dal fabbricante in modo piuttosto conservativo o ottimistico. L'utente farà bene a tenere sempre presente che nell'analisi video potrebbero non esserci limiti chiari e definiti.

Con ogni sistema sarà così: también dentro de determinados parámetros se producirán errores y, allo stesso tempo, bajo condiciones buenas, se podrán originar resultados útiles, incluso sobrepasado el límite.

Si un usuario desea determinar la verdadera calidad de un análisis basado en IA, esto sólo será posible a través de una comparación directa; los números y parámetros de los distintos fabricantes son demasiado diferentes. E, Inoltre, las condiciones marco y el input, Naturalmente,, tienen que ser los mismos en todos los sistemas.

Una prueba real con productos de demo, prestados o similares, es una buena posibilidad para ello. Inoltre, el rendimiento del sistema se muestra justo en el caso de uso requerido.

Es, A proposito, también la clave a la hora de evaluar el rendimiento de sistemas IA en general: depende totalmente del uso en cada caso. Este debería estar especificado de manera lo más exacta posible. Allora, con la solución correcta, será posible dar un verdadero valor añadido al cliente.

Maximilian Sand

Teamleader Artificial Intelligence de Dallmeier Elettronica
 

 

 

Altri articoli su Dallmeier