期待と現実の間: 人工知能はどのくらい良いですか??

この記事では, realizado por Maximilian Sand, チームリーダー人工知能 by Dallmeier エレクトロニック, se ponen de relieve algunos principios básicos que permiten valorar la funcionalidad y beneficio del análisis de vídeo basado en Inteligencia Artificial.

人工知能に基づくビデオ分析 (人工知能) これは、お客様に大きなメリットをもたらすテクノロジーの飛躍的な進歩を約束します. ただし、ユーザーが批判的である場合、つまり, 通知- 技術を正しく評価できる.

お久しぶりです, ビデオセキュリティ技術には、人工知能に基づく手順が組み込まれています. ますます多くの新しいアプリケーションや製品がアルゴリズムを使用して、新しい分析を提供したり、既存の分析をより堅牢にしたりしています.

目標は、ユーザーにとっての明確な付加価値です, そして、その結果がそれを物語っています. 過去に, 例えば、古典的な画像処理で, 風で動かされた木を誤報として確実に認識するには、多くの努力が必要でした, 今日では、AIがそれをシームレスに行っています.

従来の画像処理による画像解析や動画解析と、人工知能による画像解析や動画解析の本質的な違いは、アルゴリズムが単なるプログラムではなく、学習されるようになったことです, 豊富なデータで.

このデータの使用, システムは、パターンなどを認識することを学習します。, 例えば, ツリーと侵入者の区別. しかし、機械学習の概念は、新たな問題や課題も提起しています.

その顕著な例が、民族による認識の質の違いである, 見出しにもなった問題. 背景は比較的シンプルですが: 十分な量のデータがあり、十分な多様性と均等な分布がある場合にのみ, 人工知能は堅牢な方法で学習できます.

AIシステムの品質

これらすべては、人工知能を使用するシステムのパフォーマンス能力について疑問を投げかけます. 比較に使用するメジャー, 例えば, 2つの手順, 異なるシステムまたは製造業者? パンフレットが「95%検出精度」や「信頼できる認識」などの約束をする場合、それは何を意味しますか?? の精度はどれほど優れたものか 95%? そして, 要は, 信頼できる認識とは何か?

これを行うには, 最初です, AI プロシージャの評価方法を理解する必要があります. 最初のステップは、アプリケーションとクライアントによる「false」の意味と「正しい」の意味の特定の定義です。, 特にボーダーラインの場合. 例えば, 人物認識システムの場合, 画像や動画に実在の人物が写っておらず、人物が写っている広告ポスターのみが表示されている場合、検出は正しいと評価されるべきでしょうか??

これと他のパラメータを設定する必要があります. この定義が存在すると、, 期待する正しい結果を知っているデータセットが必要です.

AIはこのデータセットを分析し、正しい検出と誤検出の比率を決定します. 数学はユーザーにさまざまな指標を提供します, 感受性がいいね (実際に検出された予想される検出の割合) または成功の正確さ (実際に正しい検出の割合). だから, AIの「質」, 結局その程度です, これは常に、使用された評価データセットに関する統計ステートメントです.

夏でも冬でも?

このステートメントが実際にシステムのユーザーまたは潜在的な顧客にとってどれほど有用であるかは、データセットの分布によって異なります。. 評価は、良好な検出性能を証明できる. しかし、データセットが夏の月の画像のみに基づいている場合, この評価は、光と気象条件が大きく異なる可能性がありますので、冬のAIの品質に有益な価値を持っていません。.

その結果, 原則として, AI分析の品質に関する記述 – 特に, 「99.9%」などの具体的な数字がついているもの -, すべてのパラメータがわかっているわけではない場合は、注意して使用する必要があります. 使用されているデータセットに関する知識がない, 適用されたメトリックおよびその他のパラメーターの, 結果の代表性の程度について明確な声明を出すことは不可能です.

正確な指示はありません

どんなシステムにも限界があります, さえ, 自然に, AIシステム. だから, 自分の限界を知ることは、情報に基づいた決定を下すための基本的な要件です. しかし、ここでも, 統計と現実が交錯する, 以下の例でわかるように、. AIはもっと悪いものを認識する, 元来, 画像/動画内のオブジェクトは小さいほど.

最初の質問, これは、システムの購入前にユーザーに提示されます, は、物体を検出できる最大距離です。, 必要なカメラの数に影響するため、, そこで, システム全体のコストで. ただし、正確な距離を示すことはできません. ただ, 分析で結果が得られる値はありません 100% 検出が不可能な別の値.

ここでの評価は、次のような統計しか提供できません, 例えば, 物体の大きさに応じた検出精度.

直接比較した方が良い

システムの限界に関連して、, 可能な限り, 特定の最小値または最大値を持つシステム制限: 例:製品データシート. その中には、最小距離または最小解像度があります.

これは妥当です, 顧客や設置業者は、システムを評価できるようにするためのベンチマークを必要としています. しかし, まだまだ不確実性が多い, たとえば、これらの制限値がメーカーによってかなり保守的または楽観的な方法で示されている場合. ユーザーは、ビデオ分析に明確で定義された制限がない可能性があることを常に念頭に置いておくとよいでしょう.

これは、すべてのシステムに当てはまります: また、特定のパラメータ内では、エラーが発生し、, 同時に, 良好な条件下で, 有用な結果が得られる場合があります, 制限を超えても.

ユーザーがAIベースの分析の真の品質を判断したい場合, これは、直接比較することによってのみ可能になります; メーカーによって数値とパラメータが違いすぎます. そして, さらに, フレームワークの条件と入力, もちろんです, それらはすべてのシステムで同じでなければなりません.

デモ製品による実テスト, 借用または類似のもの, その可能性は十分にあります. かつ, システムパフォーマンスは、必要なユースケースで正しく現れます.

です, ところで, また、AIシステム全般の性能を評価する際の鍵でもあります: それはそれぞれの場合の使用に完全に依存します. これは、できるだけ正確に指定する必要があります. そうしたら, 適切なソリューションで, お客様に真の付加価値を与えることが可能になる.

マクシミリアンサンド

チームリーダー人工知能 ダリマイヤーエレクトロニック
 

 

 

その他の記事について ヴァルマイヤー