評価方法・評価指標についてまとめる(随時更新)

こんばんは。

毎回なんだっけなーとなる評価指標についてまとめます。また、英語の文献だけならいいんですが、日本語でたまに言われると面食らうので、それについてもまとめます。

○混同行列

少しこの評価指標全般について話す前に、混同行列について書きます。ここで、一気に言葉の定義をして、以下で全部使います。

	正解が陽	正解が陰
予測が陽	True Positive(真陽性)	False Positive(偽陽性)
予測が陰	True Negative(真陰性)	False Negative(偽陰性)

■True Positive(真陽性), TP

正解が陽であり、予測が正しい場合

■False Positive(偽陽性), FP

正解が陽であり、予測が誤りの場合

■True Negative(真陰性), TN

正解が陰であり、予測が正しい場合

■False Negative(偽陰性), FN

正解が陰であり、予測が誤りの場合

○評価指標

上記の混同行列で定義したそれぞれの要素を用いて、それぞれの評価指標を定義します。

いまさら聞けない機械学習の評価指標 from 圭輔大曽根

www.slideshare.net

上のスライドにかなりまとまっていますが、数式的に見たい場合に上のスライドでは不十分な点があるので、以下で記載します。

■Precision(適合率, 精度, 網羅性)

$Precision = \frac{TP}{TP + FP}$

■Recall(再現率, 正確性)

$Recall = \frac{TP}{TP + FN}$

■Sensitivity(感度)

$Sensitivity = \frac{TP}{TP + FN}$

■Specificity(特異性)

$Specificity = \frac{TN}{TN + FP}$

■F-measure(F値)

$F-measure = 2 * \frac{precision * recall}{precision + recall}$

■Accuracy(正答率)

$Accuracy = \frac{TP + TN}{TP + FP + TN + FN}$

■ROC曲線(Receiver operating characteristic : 受信者操作特性)

ROC曲線については、以下のサイトがめちゃめちゃわかりやすい。

St_Hakky’s blog

Data Science / Human Resources / Web Applicationについて書きます

評価方法・評価指標についてまとめる(随時更新)

○混同行列

■True Positive(真陽性), TP

■False Positive(偽陽性), FP

■True Negative(真陰性), TN

■False Negative(偽陰性), FN

○評価指標

■Precision(適合率, 精度, 網羅性)

■Recall(再現率, 正確性)

■Sensitivity(感度)

■Specificity(特異性)

■F-measure(F値)

■Accuracy(正答率)

■ROC曲線(Receiver operating characteristic : 受信者操作特性)

■AUC()

■Dice係数

■RMSE()

■MAE()

■Perplexity

■Coherence

○参考資料