Entre expectativa e realidade: Quão boa é a Inteligência Artificial??

Neste artigo, feito por Maximilian Sand, Líder de Inteligência Artificial pela Dallmeier Electronic, se ponen de relieve algunos principios básicos que permiten valorar la funcionalidad y beneficio del análisis de vídeo basado en Inteligencia Artificial.

Análise de vídeo baseada em Inteligência Artificial (O) promete um salto quântico em tecnologia com grande benefício para o cliente. Mas só se o usuário crítico – ou o que é o mesmo, informado- é capaz de avaliar a tecnologia corretamente.

Há muito tempo., tecnologia de segurança de vídeo incorpora procedimentos baseados em Inteligência Artificial. Cada vez mais novos aplicativos e produtos estão usando algoritmos para entregar novas análises ou tornar as já existentes mais robustas..

O objetivo é um claro valor agregado para os usuários, e os resultados falam por si mesmos. Se no passado, por exemplo, com o processamento clássico de imagens, foi um grande esforço para reconhecer de forma confiável uma árvore movida pelo vento como um alarme falso, hoje em dia uma IA faz isso sem problemas.

A característica essencial entre análise de imagem ou vídeo com processamento clássico de imagens e aqueles com inteligência artificial é que os algoritmos não são mais apenas programados, mas ensinados., com um monte de dados.

Usando esses dados, o sistema aprende a reconhecer padrões e assim por diante, Por exemplo,, diferenciar uma árvore de um intruso. Mas o conceito de machine learning também coloca novos problemas e desafios..

Um exemplo proeminente para isso são as diferenças na qualidade do reconhecimento de diferentes grupos étnicos., um problema que até fez manchetes. Embora o fundo seja relativamente simples: apenas quando há dados em quantidade suficiente e com diversidade suficiente e distribuição igual, uma Inteligência Artificial pode aprender robustamente.

Qualidade do sistema de IA

Tudo isso leva a perguntas sobre a capacidade de desempenho de um sistema que usa inteligência artificial.. Quais medidas são usadas para comparar, Por exemplo,, dois procedimentos, diferentes sistemas ou fabricantes? O que significa se um folheto promete, por exemplo, "precisão de detecção de 95% " ou "reconhecimento confiável"? Quão bom é uma precisão do 95%? E, em suma,, o que é reconhecimento confiável?

Para fazer isso, Em primeiro lugar, você tem que entender como os procedimentos de IA podem ser avaliados. O primeiro passo é a definição específica pelo aplicativo e o cliente do que significa "falso" e o que significa "correto"., especialmente em casos limítrofes. Por exemplo,, em um sistema de reconhecimento de pessoas, Se uma detecção for avaliada como correta se a imagem ou vídeo não ver uma pessoa real, mas apenas um pôster publicitário com uma pessoa?

Este e outros parâmetros devem ser estabelecidos. Uma vez que essa definição existe, você precisa de um conjunto de dados que saiba os resultados corretos que você espera.

A IA analisará esse conjunto de dados e determinará a razão de detecções corretas e falsas.. A matemática fornece ao usuário diferentes métricas, como a sensibilidade (proporção de detecções esperadas que foram realmente detectadas) ou precisão de precisão (proporção de detecções que são realmente corretas). Então, a "qualidade" da IA, Afinal de contas, é sempre uma declaração estatística sobre o conjunto de dados de avaliação que tem sido usado.

Verão ou inverno?

O quão útil essa declaração realmente é para o usuário ou potencial cliente de um sistema depende da distribuição do conjunto de dados.. Uma avaliação pode certificar o bom desempenho de detecção. Mas se o conjunto de dados é baseado exclusivamente em imagens de meses de verão, esta avaliação não tem valor informativo sobre a qualidade da IA no inverno, pois as condições leves e climáticas podem diferir consideravelmente..

consequentemente, em geral, declarações sobre a qualidade de uma análise de IA – particularmente, aqueles com números concretos como "99,9%"-, levá-los com cautela quando nem todos os parâmetros são conhecidos. Nenhum conhecimento do conjunto de dados usado, da métrica aplicada e outros parâmetros, uma declaração inequívoca sobre o grau de representatividade do resultado não é possível.

Não pode haver indicações exatas

Cada sistema tem seus limites, Mesmo, Naturalmente, Sistemas de IA. portanto, conhecer os limites é o requisito básico para tomar decisões informadas. Mas também aqui, estatísticas e realidade se cruzam, como você pode ver no exemplo a seguir. Uma IA reconhece pior, logicamente, objetos na imagem/vídeo menor que eles são.

A primeira pergunta, que é colocado para um usuário antes da compra de um sistema, é a distância máxima até que os objetos podem ser detectados, como ele influencia o número de câmeras necessárias e, Portanto, sobre os custos de todo o sistema. Mas indicar uma distância exata não é possível. Simplesmente, não há valor até o qual a análise fornece resultados 100% correto e outro valor a partir do qual uma detecção não é possível.

Uma avaliação aqui só é capaz de fornecer estatísticas como, Por exemplo,, a precisão da detecção com base no tamanho do objeto.

Melhor comparar diretamente

Em relação aos limites do sistema, foi escolhido para descrever, tanto quanto possível, os limites do sistema com valores mínimos ou máximos específicos: por exemplo, em folhas de dados de produtos. Entre eles estaria a distância mínima ou uma resolução mínima.

Isso é razoável., como clientes ou instaladores precisam de benchmarks para poder avaliar o sistema. No entanto, ainda há muita incerteza, por exemplo, se esses valores limite são indicados pelo fabricante de forma conservadora ou otimista. O usuário fará bem em ter sempre em mente que na análise de vídeo pode não haver limites claros e definidos.

Com cada sistema será assim: também dentro de certos parâmetros ocorrerão erros e, ao mesmo tempo, em boas condições, resultados úteis podem ser ação, mesmo excedeu o limite.

Se um usuário quer determinar a verdadeira qualidade de uma análise baseada em IA, isso só será possível através de uma comparação direta; os números e parâmetros de diferentes fabricantes são muito diferentes. E, Além disso, condições de estrutura e entrada, É claro, eles têm que ser os mesmos em todos os sistemas.

Um verdadeiro teste com produtos de demonstração, emprestado ou similar, é uma boa possibilidade para ele. Além disso, o desempenho do sistema é exibido apenas no caso de uso necessário.

É, A propósito, também a chave ao avaliar o desempenho dos sistemas de IA em geral: depende inteiramente do uso em cada caso. Isso deve ser especificado da forma mais precisa possível. Então, com a solução certa, será possível dar um valor real agregado ao cliente.

Areia Maximiliana

Líder de equipe inteligência artificial por Dallmeier Electronic
 

 

 

Outros artigos sobre Dallmeier