Между ожиданием и реальностью: Насколько хорош искусственный интеллект??

В этой статье, сделано Максимилианом Песком, Лидер команды Искусственный интеллект от Dallmeier Electronic, выделены некоторые основные принципы, позволяющие оценить функциональность и пользу видеоанализа на основе искусственного интеллекта.

Анализ видео на основе искусственного интеллекта (Teh) обещает квантовый скачок в технологии с большой выгодой для клиента. Но только если критический пользователь – или то же самое, информированный- умеет правильно оценивать технологию.

Уже давно, технология видеонаблюдения включает в себя процедуры, основанные на искусственном интеллекте. Все больше и больше новых приложений и продуктов используют алгоритмы для предоставления новой аналитики или повышения надежности существующих..

Целью является явная добавленная стоимость для пользователей, и результаты говорят сами за себя. Если в прошлом, Например, с классической обработкой изображений, Было предпринято большое усилие, чтобы надежно распознать дерево, движуемое ветром, как ложную тревогу, В настоящее время ИИ делает это без проблем.

Существенная отличительная особенность анализа изображений или видео с классической обработкой изображений и с искусственным интеллектом заключается в том, что алгоритмы больше не просто программируются, а обучаются., с большим количеством данных.

Использование этих данных, система учится распознавать шаблоны и так далее, Например, отличить дерево от злоумышленника. Но концепция машинного обучения также создает новые проблемы и вызовы..

Ярким примером этого является различия в качестве признания различных этнических групп., проблема, которая даже попала в заголовки газет. Хотя фон относительно прост: только при наличии данных в достаточном количестве, с достаточным разнообразием и равным распределением, Искусственный интеллект может надежно учиться.

Качество системы ИИ

Все это приводит к вопросам о производительности системы, использующей искусственный интеллект.. Какие меры используются для сравнения, Например, две процедуры, различные системы или производители? Что это значит, если брошюра обещает, например, «95% точность обнаружения» или «надежное распознавание»?? Насколько хороша точность 95%? И, короче говоря, что такое надежное распознавание?

Для этого, Прежде всего, вы должны понимать, как можно оценить процедуры ИИ. Первым шагом является конкретное определение приложением и клиентом того, что означает «ложь» и что означает «правильно»., особенно в пограничных случаях. Например, в системе признания лиц, Следует ли оценивать обнаружение как правильное, если на изображении или видео не видно реального человека, а только рекламный плакат с человеком?

Этот и другие параметры должны быть установлены. Как только это определение существует, Необходим набор данных, который знает правильные результаты, которые вы ожидаете.

ИИ проанализирует этот набор данных и определит соотношение правильных и ложных обнаружений.. Математика предоставляет пользователю различные метрики, например, чувствительность (доля ожидаемых обнаружений, которые были фактически обнаружены) или точность (доля фактических правильных обнаружений). Так, «качество» ИИ, В конце концов, — это всегда статистическое заявление об используемом наборе данных оценки.

Лето или зима?

Насколько полезно это утверждение для пользователя или потенциального клиента системы, зависит от распределения набора данных.. Оценка может подтвердить хорошую эффективность обнаружения. Но если набор данных основан исключительно на изображениях летних месяцев, эта оценка не имеет информативной ценности для качества ИИ в зимний период, так как световые и погодные условия могут значительно различаться..

Следовательно, вообще, заявления о качестве анализа ИИ – в частности,, те, у кого есть конкретные цифры, такие как «99,9%» -, Принимайте их с осторожностью, когда известны не все параметры. Не знают об используемом наборе данных, применяемой метрики и других параметров, однозначное утверждение о степени репрезентативности результата невозможно.

Не может быть точных указаний

Каждая система имеет свои ограничения, ровный, естественно, Системы ИИ. Сооо, Знание пределов является основным требованием для принятия обоснованных решений. Но и здесь, статистика и реальность пересекаются, Как видно из следующего примера. ИИ распознает хуже, логично, объекты на изображении/видео тем меньше они.

Первый вопрос, которая передается пользователю перед покупкой системы, — максимальное расстояние, на котором могут быть обнаружены объекты, поскольку это влияет на количество необходимых камер и, Поэтому, о стоимости всей системы. Но указать точное расстояние невозможно.. Просто, Нет значения, до которого анализ дает результаты 100% Правильное и другое значение, из которого невозможно обнаружить.

Оценка здесь может предоставить только такие статистические данные, как, Например, точность обнаружения в зависимости от размера объекта.

Лучше сравнивать напрямую

Что касается пределов системы, то она была выбрана для описания., насколько это возможно, пределы системы с определенными минимальными или максимальными значениями: Например, в технических описаниях продукции. Среди них будет минимальное расстояние или минимальное разрешение..

Это разумно, Поскольку клиентам или установщикам требуются тесты производительности, чтобы иметь возможность оценить систему. Однако, есть еще много неопределенности, Например, если эти предельные значения указаны производителем достаточно консервативно или оптимистично. Пользователю будет хорошо всегда иметь в виду, что в видеоанализе может не быть четких и определенных ограничений..

С каждой системой это будет так: также в пределах определенных параметров будут возникать ошибки и, в то же время, в хороших условиях, полезные результаты могут быть достигнуты, даже превысил лимит.

Хочет ли пользователь определить истинное качество анализа на основе ИИ, Это будет возможно только при прямом сравнении; номера и параметры разных производителей слишком разные. И, В дополнение, рамочные условия и вводимые ресурсы, Конечно, они должны быть одинаковыми во всех системах.

Настоящий тест с демонстрационными продуктами, заимствованные или аналогичные, является хорошей возможностью для этого. Кроме того, Производительность системы отображается прямо в требуемом варианте использования.

Есть, Кстати, также ключевой при оценке производительности систем ИИ в целом: полностью зависит от использования в каждом конкретном случае. Это должно быть указано как можно точнее. тогда, с правильным решением, можно будет дать реальную добавленную стоимость заказчику.

Максимилиан Санд

Лидер команды Искусственный интеллект Даллмайер Электроникс
 

 

 

Другие статьи о Далльмайер