Saya mencoba submit jawaban ke sistem. Saya submit dengan tebakan “1” semuanya. Berhasil terupload, namun Precisionnya tidak sesuai dugaan.
Bagaimana tebakan 1 semua memiliki hasil score sebagai berikut : {“Precision”: 1.0, “Recall”: 0.6274509803921569, “TPR”: 0.6274509803921569, “FPR”: NaN, “F1”: 0.7710843373493976}
Saya butuh pencarahan untuk ini. Apakah memang ada masalah dengan Evaluation scorenya?? atau bagaimana ya?
:o eh iya maaf saya kebalik, yang harusnya 1.0 itu berarti Recall nya kan ya? karena False Negative nya yang 0. Apa mungkin Precision-Recall nya terbalik implementasinya?
Mohon maaf, terdapat kesalahan minor pada script evaluasi yang menyebabkan inkonsistensi pada nilai Precision, Recall, TPR, dan FPS. Akan segera kami ajukan script evaluasi yang baru ke admin EvalAI. Untuk ranking pada leaderboard seharusnya tidak berubah karena berdasarkan nilai F1.
Script evaluasi yang baru sudah dikirim, tapi sekarang masih menunggu konfirmasi dari admin EvalAI. Harap ditunggu dulu ya. Akan kami umumkan di forum jika sudah diubah.
Kalau bisa, script évaluasi nya di publish saja, biar transparan dan kalau ada kesalahan kita bisa ikut koreksi.
Misal nya kemungkinan kesalahan nya, kalau saya jawab 1 semua, benarkah Recall, TPR dan FPR nya harus 1.0 juga? Hasil F1 nya jadi 0.77. Jadi dengan tebak2an saja sudah bisa bagus sekali hasil nya
Silahkan dicoba sendiri menggunakan rumus yang terdapat pada halaman Evaluation. Jika dirasa dengan tebak-tebakan bisa mendapatkan hasil yang bagus, silahkan menggunakan tebak-tebakan.
