予測しきい値

分類しきい値メトリック オペレーターを使用して、モデルが出力する確率に基づいて、予測クラスが何であるかを決定する予測しきい値を決定できます。

多くの分類モデルは実際に各クラスの「スコア」(多くの場合、確率) を出力します。スコアが高いほど、尤度が高いことを示します。2 項分類の例を挙げると、モデルは次の各クラス、P(Y=1|X) および P(Y=0|X) の確率を出力できます。

単純に高い確率を採用するのではなく、確率が非常に高い場合にのみクラスを予測するようにモデルをチューニングする必要がある場合があります（例えば、モデルが 90 % 以上の確率で不正を予測した場合にのみクレジットカード取引をブロックする）。したがって、モデルが出力する確率に基づいて、予測されるクラスが何であるかを決定する予測しきい値が存在します。

次の表に、分類しきい値メトリクス オペレーターで使用できるメトリクスを示します。

TP = 真陽性、TN = 真陰性、FP = 偽陽性、FN = 偽陰性

メトリック	意味
再現率 (Recall) (正しく分類された陽性症例の割合)
適合率 (Precision) (正しかった陽性予測症例の割合)
F 測定 (指定されたβについて、精度のβ倍の再現率を重視するユーザーに対する検索の有効性を測定します)
誤検知率 (誤って陽性と分類された陰性症例の割合)
累積数 (対応する信頼しきい値に対して陽性と予測されたケースの数)
累積数 (パーセンテージ) (対応する信頼しきい値に対して陽性と予測されたケースの割合)
精度 (Accuracy) (正しく分類された症例 (陽性および陰性) の割合)
リフト (特定のセグメントに対するランダムな推測と比較してモデルのパフォーマンスを測定します。たとえば、母集団の平均応答率が 1%であるが、特定のモデルがセグメントを識別したとします (ここでは、信頼度スコア > 信頼度しきい値で母集団が陽性と予測されます)。応答率が 10%の場合、そのセグメントの上昇率は 10.0 になります。(10%/1%))
コルモゴロフ-スミルノフ (KS: Kolmogorov-Smirnov) (正の分布と負の分布の間の分離度を測定することによって、分類モデルのパフォーマンスを評価します。KS は 0 と 1 の間にあり、値が高いほど、モデルは正のケースと負のケースをより適切に分離します。 KS = 1 の場合、信頼しきい値は母集団を 2 つの別々のグループに分割します (1 つのグループにはすべての陽性が含まれ、もう 1 つのグループにはすべての陰性が含まれます)。 KS が 0 に近い場合、モデルは正と負を区別できません。