Jagoan Zero-Shot

Language Models are Unsupervised Multitask Learners

Alec RadfordJeffrey WuRewon ChildDavid LuanDario AmodeiIlya Sutskever

2019Baca Paper Asli

Penjelasan Simpel

Paper ini ngenalin GPT-2, model bahasa yang bisa ngerjain macem-macem tugas kayak translasi dan jawab pertanyaan tanpa perlu dilatih khusus buat tugas itu. Intinya, kalau model dikasih baca teks internet yang super banyak, dia bakal pinter sendiri buat ngerjain banyak hal sekaligus. Ini ngebuktiin kalau AI bisa jadi 'generalist' cuma lewat proses belajar tanpa pengawasan (unsupervised).

🎯Key Takeaways

Model AI nggak perlu dilatih khusus (fine-tuning) buat tiap tugas kalau ukuran model dan datanya udah gede banget.

GPT-2 pake dataset 'WebText' yang isinya 45 juta link dari Reddit yang dapet minimal 3 upvote biar kualitas teksnya oke.

Semakin gede jumlah parameter modelnya, performa 'zero-shot' (ngerjain tugas baru tanpa latihan) bakal naik secara konsisten.

GPT-2 bisa ngalahin sistem AI lain yang emang dilatih khusus buat tugas tertentu, padahal GPT-2 cuma belajar nebak kata selanjutnya.

Deep Dive

Breakdown per bagian dengan penjelasan mudah dipahami

1Masalah: Model AI yang Cuma Jago Satu Hal

Original Text

Current systems are better characterized as narrow experts rather than competent generalists. We would like to move towards more general systems which can perform many tasks – eventually without the need to manually create and label a training dataset for each one.

🇮🇩 Penjelasan Bahasa Indonesia

Selama ini kita bikin AI yang cuma jago satu hal doang, misal cuma jago translate atau cuma jago ringkas teks. Masalahnya, tiap mau bikin tugas baru, kita harus repot ngumpulin dan ngelabelin data manual yang capek banget. Kita pengennya punya AI yang serba bisa (generalist) tanpa harus diajarin satu-satu pake dataset khusus.

🇮🇩 Penjelasan Simpel

Analogi

Kayak punya temen yang jago banget masak rendang, tapi pas disuruh goreng telor malah bingung karena dia cuma belajar satu resep itu doang. Kita pengennya punya temen yang emang 'pinter masak' secara umum, mau disuruh masak apa aja langsung gas.

2Solusi: Belajar Banyak Hal Lewat Nebak Kata

Original Text

Our speculation is that a language model with sufficient capacity will begin to learn to infer and perform the tasks demonstrated in natural language sequences in order to better predict them... If a language model is able to do this it will be, in effect, performing unsupervised multitask learning.

🇮🇩 Penjelasan Bahasa Indonesia

Idenya simpel: kalau kita kasih model AI yang kapasitasnya gede banget buat nebak kata selanjutnya dari jutaan teks internet, dia bakal otomatis belajar pola tugas-tugas di dalem teks itu. Jadi, pas dia baca teks translasi di internet, dia sebenernya lagi belajar cara translasi secara nggak langsung biar tebakannya makin akurat.

🇮🇩 Penjelasan Simpel

Analogi

Kayak kamu dengerin orang ngobrol macem-macem topik tiap hari di tongkrongan. Lama-lama kamu jadi tau cara pesen kopi, cara nanya jalan, sampe cara debat politik tanpa ada yang pernah ngajarin kamu secara formal di kelas.

3Dataset WebText: Filter Kualitas ala Reddit

Original Text

Instead, we created a new web scrape which emphasizes document quality. To do this we only scraped web pages which have been curated/filtered by humans... we scraped all outbound links from Reddit, a social media platform, which received at least 3 karma.

🇮🇩 Penjelasan Bahasa Indonesia

Biar modelnya pinter, datanya nggak boleh sampah. Tim OpenAI nggak asal ambil semua isi internet, tapi cuma ambil link dari Reddit yang dapet minimal 3 upvote (karma). Logikanya, kalau dapet upvote, berarti kontennya emang berguna, menarik, atau informatif menurut manusia, bukan cuma spam atau teks ngaco.

🇮🇩 Penjelasan Simpel

Analogi

Daripada baca semua buku di perpustakaan termasuk buku coret-coretan nggak jelas, mending kamu baca buku-buku yang dapet rating bintang 5 dari pembaca lain. Kualitas ilmunya jauh lebih terjamin!

4Hasil: Performa Zero-Shot yang Gila

Original Text

Our largest model, GPT-2, is a 1.5B parameter Transformer that achieves state of the art results on 7 out of 8 tested language modeling datasets in a zero-shot setting but still underfits WebText.

🇮🇩 Penjelasan Bahasa Indonesia

Model paling gedenya, GPT-2 (1,5 Miliar parameter), ternyata jago banget. Tanpa diajarin khusus, dia bisa mecahin rekor di 7 dari 8 tes bahasa. Yang gokil, meskipun udah segede itu, model ini sebenernya masih ngerasa 'kurang belajar' dari dataset WebText-nya, yang artinya potensinya masih bisa lebih gede lagi kalau modelnya digedein.

🇮🇩 Penjelasan Simpel

Our largest model, GPT-2, is a 1.5B parameter Transformer that achieves state of the art results on 7 out of 8 tested language modeling datasets in a zero-shot setting but still underfits WebText.

Analogi

Kayak ada anak baru masuk sekolah, nggak pernah ikut les tambahan, tapi pas ujian dapet ranking 1 di hampir semua mata pelajaran cuma gara-gara dia rajin baca koran di rumah.

Glossary

Istilah-istilah penting dari paper ini

1 / 5

Zero-shot

Kemampuan AI buat ngerjain tugas yang belum pernah dia pelajarin secara khusus pas masa training.

Gunakan tombol panah ← → atau klik dot di atas

Language Models are Unsupervised Multitask Learners

Alec RadfordJeffrey WuRewon ChildDavid LuanDario AmodeiIlya Sutskever

2019Baca Paper Asli

Penjelasan Simpel

🎯Key Takeaways

Model AI nggak perlu dilatih khusus (fine-tuning) buat tiap tugas kalau ukuran model dan datanya udah gede banget.

GPT-2 pake dataset 'WebText' yang isinya 45 juta link dari Reddit yang dapet minimal 3 upvote biar kualitas teksnya oke.

Semakin gede jumlah parameter modelnya, performa 'zero-shot' (ngerjain tugas baru tanpa latihan) bakal naik secara konsisten.

GPT-2 bisa ngalahin sistem AI lain yang emang dilatih khusus buat tugas tertentu, padahal GPT-2 cuma belajar nebak kata selanjutnya.