Revolusi Few-Shot Learning

Language Models are Few-Shot Learners

Tom B. BrownBenjamin MannNick RyderMelanie SubbiahJared KaplanSam McCandlishAlec RadfordIlya SutskeverDario Amodei

2020Baca Paper Asli

Penjelasan Simpel

Paper ini ngenalin GPT-3, model bahasa raksasa yang punya 175 miliar parameter. Terobosan utamanya adalah AI ini bisa ngerjain berbagai tugas baru cuma dengan dikasih beberapa contoh (few-shot), tanpa perlu dilatih ulang (fine-tuning) buat tiap tugas spesifik.

🎯Key Takeaways

Ukuran itu ngaruh banget: Makin gede modelnya (scaling up), makin pinter dia belajar dari sedikit contoh tanpa ganti bobot model.

Gak perlu fine-tuning: GPT-3 bisa ngerjain translasi, jawab pertanyaan, sampe ngerjain matematika cuma lewat instruksi teks doang.

In-Context Learning: Model ini belajar 'pola' tugas langsung dari input yang kita kasih saat itu juga (prompting).

Kualitas tulisan mirip manusia: GPT-3 bisa bikin artikel berita yang susah dibedain sama tulisan orang beneran.

Deep Dive

Breakdown per bagian dengan penjelasan mudah dipahami

1Masalah: Fine-Tuning itu Repot

Original Text

While typically task-agnostic in architecture, this method still requires task-specific fine-tuning datasets of thousands or tens of thousands of examples. Removing this limitation would be desirable...

🇮🇩 Penjelasan Bahasa Indonesia

Dulu, kalo mau AI jago ngerjain satu hal (misal: deteksi spam), kita harus kasih ribuan data contoh spesifik buat tugas itu. Masalahnya, nyari data sebanyak itu susah dan kita harus ngulang prosesnya buat setiap tugas baru. Capek kan?

🇮🇩 Penjelasan Simpel

Analogi

Kayak kita harus kuliah 4 tahun lagi dari nol cuma buat belajar cara masak nasi goreng, padahal kita udah bisa masak mie instan. Harusnya kan tinggal liat resep dikit langsung bisa.

2Solusi: Bikin Model yang Super Gede

Original Text

Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting.

🇮🇩 Penjelasan Bahasa Indonesia

OpenAI bikin GPT-3 yang ukurannya 10 kali lipat lebih gede dari model paling canggih sebelumnya. Dengan 175 miliar parameter, model ini jadi punya 'kapasitas otak' yang cukup buat nangkep pola bahasa yang sangat luas cuma dari baca internet.

🇮🇩 Penjelasan Simpel

Specifically, we train GPT-3, an autoregressive language model with 175 billion parameters, 10x more than any previous non-sparse language model, and test its performance in the few-shot setting.

Analogi

Bayangin punya perpustakaan yang isinya semua buku di dunia dan kamu udah baca semuanya. Pas ditanya soal apapun, kamu gak perlu belajar lagi, tinggal inget-inget pola yang mirip aja.

3Cara Kerja: In-Context Learning

Original Text

For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model.

🇮🇩 Penjelasan Bahasa Indonesia

Kita gak perlu ngerubah 'jeroan' atau mesin modelnya lagi. Kita cukup kasih instruksi atau beberapa contoh di dalam teks input (prompt). GPT-3 bakal paham polanya dan lanjutin tugasnya secara otomatis. Ini yang kita sebut 'Few-Shot'.

🇮🇩 Penjelasan Simpel

For all tasks, GPT-3 is applied without any gradient updates or fine-tuning, with tasks and few-shot demonstrations specified purely via text interaction with the model.

Analogi

Kayak ngajarin asisten baru: 'Eh, kalo saya bilang Apel jawab Merah, kalo Pisang jawab Kuning. Nah, kalo Jeruk jawab apa?'. Si asisten langsung nyambung tanpa perlu ditatar berhari-hari.

4Hasil: Performa yang Gokil

Original Text

GPT-3 achieves strong performance on many NLP datasets... sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches.

🇮🇩 Penjelasan Bahasa Indonesia

Hasilnya mantap banget. GPT-3 bisa ngerjain translasi, jawab soal ujian, sampe bikin kode pemrograman cuma dengan dikasih contoh dikit. Bahkan di beberapa tes, dia bisa ngalahin model yang emang khusus dilatih buat tugas itu.

🇮🇩 Penjelasan Simpel

GPT-3 achieves strong performance on many NLP datasets... sometimes even reaching competitiveness with prior state-of-the-art fine-tuning approaches.

Analogi

Kayak anak magang yang baru masuk sehari, tapi udah bisa ngerjain tugas senior cuma gara-gara dia rajin baca dokumentasi perusahaan.

Glossary

Istilah-istilah penting dari paper ini

1 / 5

Parameters

Variabel di dalem model AI yang nentuin gimana dia proses informasi. Makin banyak parameternya, makin kompleks pola yang bisa dipelajarin.

Gunakan tombol panah ← → atau klik dot di atas

Language Models are Few-Shot Learners

Tom B. BrownBenjamin MannNick RyderMelanie SubbiahJared KaplanSam McCandlishAlec RadfordIlya SutskeverDario Amodei

2020Baca Paper Asli

Penjelasan Simpel

🎯Key Takeaways

Ukuran itu ngaruh banget: Makin gede modelnya (scaling up), makin pinter dia belajar dari sedikit contoh tanpa ganti bobot model.

Gak perlu fine-tuning: GPT-3 bisa ngerjain translasi, jawab pertanyaan, sampe ngerjain matematika cuma lewat instruksi teks doang.

In-Context Learning: Model ini belajar 'pola' tugas langsung dari input yang kita kasih saat itu juga (prompting).

Kualitas tulisan mirip manusia: GPT-3 bisa bikin artikel berita yang susah dibedain sama tulisan orang beneran.