AI 実戦で使えるAIの交差検証 Vol.3
この連載 (Vol.1、Vol.2) を通じて、K-Fold CVから Stratified K-Fold CVへとステップアップし、不均衡データという最大の難敵に対する「信ぴょう性の高い検証の土台」を確立しました。
その成果として、信頼できる平均 F1スコア (0.4000) を手に入れています。
この数値を見て、「何を、どう改善すればこの数値は上がるのだろう?」という疑問が生じるのはごく自然な流れでしょう。
残念ながら、F1スコア単体では、AIモデルが「重要な陽性データを見逃したのか(偽陰性)」、それとも「誤報を出しすぎたのか(偽陽性)」というミスの内訳までは教えてくれません。
この内訳が分からなければ、モデルを改善するための具体的な行動指針を立てることは不可能です。
本記事 Vol.3 では、「混同行列(Confusion Matrix)」というツールを導入することで前述の課題を解決し、連載 (三部作) の最終回とます。