Set data, generalisasi, dan overfitting

Pengantar

Modul ini dimulai dengan pertanyaan utama. Pilih salah satu jawaban berikut:

Jika Anda harus memprioritaskan peningkatan salah satu area berikut dalam project machine learning, manakah yang akan memiliki dampak terbesar?
Meningkatkan kualitas set data Anda
Data mengalahkan semuanya. Kualitas dan ukuran set data jauh lebih penting daripada algoritma yang Anda gunakan untuk membuat model.
Menerapkan fungsi kerugian yang lebih cerdas untuk melatih model
Memang benar, fungsi loss yang lebih baik dapat membantu model dilatih lebih cepat, tetapi masih jauh di bawah item lain dalam daftar ini.

Dan inilah pertanyaan yang jauh lebih penting:

Coba tebak: Dalam project machine learning Anda, berapa lama waktu yang biasanya Anda habiskan untuk persiapan dan transformasi data?
Lebih dari setengah waktu proyek
Ya, praktisi ML menghabiskan sebagian besar waktu mereka membangun set data dan melakukan rekayasa fitur.
Kurang dari setengah waktu proyek
Rencanakan lebih banyak lagi. Biasanya, 80% waktu pada project machine learning dihabiskan untuk membuat set data dan mengubah data.

Dalam modul ini, Anda akan mempelajari lebih lanjut karakteristik machine learning {i>dataset<i}, dan cara mempersiapkan data Anda untuk memastikan hasil yang berkualitas tinggi. melatih dan mengevaluasi model Anda.