St_Hakky’s blog

プログラミング/心理学/人事/留学/データサイエンス/機械学習/Deep Learning/バイオインフォマティクス/日頃思ったこと/人事のデータサイエンスしてみたい

評価方法・評価指標についてまとめる(随時更新)

こんばんは。

毎回なんだっけなーとなる評価指標についてまとめます。また、英語の文献だけならいいんですが、日本語でたまに言われると面食らうので、それについてもまとめます。

○混同行列

少しこの評価指標全般について話す前に、混同行列について書きます。ここで、一気に言葉の定義をして、以下で全部使います。

正解が陽 正解が陰
予測が陽 True Positive(真陽性) False Positive(偽陽性)
予測が陰 True Negative(真陰性) False Negative(偽陰性)
■True Positive(真陽性), TP

正解が陽であり、予測が正しい場合

■False Positive(偽陽性), FP

正解が陽であり、予測が誤りの場合

■True Negative(真陰性), TN

正解が陰であり、予測が正しい場合

■False Negative(偽陰性), FN

正解が陰であり、予測が誤りの場合

○評価指標

上記の混同行列で定義したそれぞれの要素を用いて、それぞれの評価指標を定義します。

www.slideshare.net

上のスライドにかなりまとまっていますが、数式的に見たい場合に上のスライドでは不十分な点があるので、以下で記載します。

■Precision(適合率, 精度, 網羅性)

 Precision = \frac{TP}{TP + FP}

■Recall(再現率, 正確性)

 Recall = \frac{TP}{TP + FN}

■Sensitivity(感度)

 Sensitivity = \frac{TP}{TP + FN}

■Specificity(特異性)

 Specificity = \frac{TN}{TN + FP}

■F-measure(F値)

 F-measure = 2 * \frac{precision * recall}{precision + recall}

■Accuracy(正答率)

 Accuracy = \frac{TP + TN}{TP + FP + TN + FN}

ROC曲線(Receiver operating characteristic : 受信者操作特性)

ROC曲線については、以下のサイトがめちゃめちゃわかりやすい。

qiita.com

■AUC()
■Dice係数
■RMSE()
■MAE()


○トピックモデルの評価指標

■Perplexity

予測性能

Coherence

トピックの品質