Weird Evaluation Score


#1

Hello Panitia,

Saya mencoba submit jawaban ke sistem. Saya submit dengan tebakan “1” semuanya. Berhasil terupload, namun Precisionnya tidak sesuai dugaan.

Bagaimana tebakan 1 semua memiliki hasil score sebagai berikut :
{“Precision”: 1.0, “Recall”: 0.6274509803921569, “TPR”: 0.6274509803921569, “FPR”: NaN, “F1”: 0.7710843373493976}

Saya butuh pencarahan untuk ini. Apakah memang ada masalah dengan Evaluation scorenya?? atau bagaimana ya?

ini submit saya,
https://evalai.s3.amazonaws.com/media/submission_files/submission_36801/44caea09-e4b1-49f0-93a1-301c863addb5.json

dan resultnya,
https://evalai.s3.amazonaws.com/media/submission_files/submission_36801/ad59b3e6-301a-45d1-9d16-36c8ffd5887f.json

Terima kasih.


#2

aneh sekali…
saya submit 0 semua, F1 nya 0.

Berikut link nya
https://evalai.s3.amazonaws.com/media/submission_files/submission_36803/44fb4a72-113c-4edd-a748-ea0bcb93fbfe.json

Tidak aneh sih


#3

@Alamsyah_Hanza kalau dilihat dari rumus Precision:

Precision = True Positive/(True Positive+False Positive)

Kalau jawab 1 semua, False Positivenya jadi 0 dan jadinya TP / (TP+0) = 1

Begitu juga untuk FPR, kalau lihat dari rumus FPR:

False Positive Rate (FPR) = False Positive /(False Positive + True Negative)

jadinya False Positivenya 0 dan True Negative juga 0, akhirnya FPR nya pembagian dengan 0 dan berakibat NaN.


#4

@rianrajagede harusnya false positive tidak jadi 0 kalau predict 1 semua. Kalau false positivenya 0, actual labelnya tidak ada yang 0 dong.


#5

:o eh iya maaf saya kebalik, yang harusnya 1.0 itu berarti Recall nya kan ya? karena False Negative nya yang 0. Apa mungkin Precision-Recall nya terbalik implementasinya?


#6

Mohon maaf, terdapat kesalahan minor pada script evaluasi yang menyebabkan inkonsistensi pada nilai Precision, Recall, TPR, dan FPS. Akan segera kami ajukan script evaluasi yang baru ke admin EvalAI. Untuk ranking pada leaderboard seharusnya tidak berubah karena berdasarkan nilai F1.


#7

@edgaranarossi Mohon dikoreksi, sepertinya nilai F1-scorenya juga bermasalah? Tebakan 1 semua - 0.77, tebakan 0 semua - 0.0.


#8

Bisa tolong dikirim link hasilnya? Mau coba dicek dulu.


#9

Hello @edgaranarossi
Sudah diganti kah evaluasinya?? sepertinya belom ya??
gw coba lagi hasil presisinya masih sama…
ini hasil terakhir yg saya upload…
https://evalai.s3.amazonaws.com/media/submission_files/submission_37681/75f0c28a-f725-4929-8ae6-b88afab67d81.json

ditunggu yaa…


#10

Script evaluasi yang baru sudah dikirim, tapi sekarang masih menunggu konfirmasi dari admin EvalAI. Harap ditunggu dulu ya. Akan kami umumkan di forum jika sudah diubah.


#11

Haloo @edgaranarossi
Masih belom ada kabar kah??
Tidak lama lagi akan masuk “test”…
Sayang sekali kalo kompetisinya missleading…

Saya sudah upload lagi… dan hasilnya masih sama…


#12

Mohon maaf, kami sudah coba menghubungi Admin Web tapi untuk skrg masih menunggu jawaban.


#13

Script evaluasi sudah diubah dan seluruh submission telah di re-run, silahkan dicoba. Terima kasih atas kesabarannya.


#14

Kalau bisa, script évaluasi nya di publish saja, biar transparan dan kalau ada kesalahan kita bisa ikut koreksi.
Misal nya kemungkinan kesalahan nya, kalau saya jawab 1 semua, benarkah Recall, TPR dan FPR nya harus 1.0 juga? Hasil F1 nya jadi 0.77. Jadi dengan tebak2an saja sudah bisa bagus sekali hasil nya


#15

Silahkan dicoba sendiri menggunakan rumus yang terdapat pada halaman Evaluation. Jika dirasa dengan tebak-tebakan bisa mendapatkan hasil yang bagus, silahkan menggunakan tebak-tebakan.


#16

hehe… challenge accepted, tapi script évaluasi nya jangan di rubah lagi ya walaupun ada kesalahan :smile:


#17

Perubahan yang dilakukan hanya akan untuk mengatasi error dari output. Rumus penilaian tetap menggunakan rumus yang terdapat pada halaman Evaluation.