Pionir Konsep RAG

Reading Wikipedia to Answer Open-Domain Questions

Danqi ChenAdam FischJason WestonAntoine Bordes

2017Baca Paper Asli

Penjelasan Simpel

Paper ini ngenalin sistem DrQA yang bisa jawab pertanyaan umum cuma modal baca Wikipedia doang. Ini adalah cikal bakal konsep RAG (Retrieval-Augmented Generation) yang sekarang populer banget di dunia LLM. Terobosannya ada di cara gabungin pencarian dokumen yang efisien sama model AI yang pinter baca teks.

🎯Key Takeaways

AI nggak perlu hafal semua info, cukup tau cara nyari dokumen yang bener dan cara bacanya.

Ngenalin arsitektur dua tahap: Retriever buat nyari artikel, dan Reader buat nyari jawaban di dalem artikel itu.

Ngebuktiin kalau Wikipedia bisa jadi satu-satunya sumber ilmu (knowledge source) yang valid buat AI.

Pake teknik Distant Supervision buat ngelatih model pas kita nggak punya label jawaban yang pasti di tiap paragraf.

Deep Dive

Breakdown per bagian dengan penjelasan mudah dipahami

1Masalah Utama: AI Kurang Pinter Baca Skala Besar

Original Text

This task of machine reading at scale combines the challenges of document retrieval (finding the relevant articles) with that of machine comprehension of text (identifying the answer spans from those articles).

🇮🇩 Penjelasan Bahasa Indonesia

Dulu, AI itu biasanya cuma pinter baca teks pendek yang udah dikasih. Masalahnya, kalau pertanyaannya umum, AI harus nyari sendiri jawabannya di antara jutaan artikel Wikipedia. Jadi tantangannya dobel: harus jago nyari artikel yang pas (retrieval) sekaligus jago nemuin jawaban spesifik di dalemnya (comprehension).

🇮🇩 Penjelasan Simpel

Analogi

Bayangin lu disuruh cari nama bumbu rahasia di perpustakaan nasional. Lu harus tau cara nyari buku masak yang bener dulu di rak yang ribuan, baru deh lu baca teliti halamannya buat nemuin nama bumbunya.

2Solusi: Sistem DrQA (Retriever + Reader)

Original Text

Our system: DrQA... consists of two components: (1) the Document Retriever module for finding relevant articles and (2) a machine comprehension model, Document Reader, for extracting answers from a single document or a small collection of documents.

🇮🇩 Penjelasan Bahasa Indonesia

Peneliti bikin sistem namanya DrQA. Isinya ada dua tim: Si 'Retriever' yang tugasnya gercep nyaring 5 artikel paling nyambung pake rumus matematika, terus si 'Reader' yang pake AI canggih buat baca paragraf di artikel itu dan nyari jawaban pastinya.

🇮🇩 Penjelasan Simpel

Analogi

Kayak lu nanya ke temen yang pinter. Dia bakal googling dulu buat nyari link yang relevan (Retriever), terus dia klik linknya dan baca isinya buat kasih tau lu jawabannya (Reader).

3Si Retriever: Nyari Tanpa Ribet

Original Text

Articles and questions are compared as TF-IDF weighted bag-of-word vectors. We further improve our system by taking local word order into account with n-gram features.

🇮🇩 Penjelasan Bahasa Indonesia

Si Retriever ini nggak pake AI yang berat-berat. Dia cuma pake teknik TF-IDF sama n-gram buat nyocokin kata-kata di pertanyaan lu sama kata-kata di artikel Wikipedia. Intinya, dia ngeliat seberapa unik dan sering sebuah kata muncul buat nentuin artikel mana yang paling penting.

🇮🇩 Penjelasan Simpel

Articles and questions are compared as TF-IDF weighted bag-of-word vectors. We further improve our system by taking local word order into account with n-gram features.

Analogi

Kayak lu nyari kata kunci pake fitur 'Search' atau Ctrl+F di komputer, tapi ini versi yang lebih pinter dikit karena dia tau kata mana yang lebih penting buat diprioritasin.

4Si Reader: Si Paling Paham Konteks

Original Text

Our Document Reader model is inspired by the recent success of neural network models... specifically, we choose to use a multi-layer bidirectional long short-term memory network (LSTM).

🇮🇩 Penjelasan Bahasa Indonesia

Nah, si Reader ini baru pake AI beneran (LSTM). Dia baca teksnya bolak-balik (bidirectional) biar bener-bener paham konteks kalimatnya. Tugas akhirnya adalah nentuin 'span' atau potongan kata mana yang paling cocok jadi jawaban.

🇮🇩 Penjelasan Simpel

Our Document Reader model is inspired by the recent success of neural network models... specifically, we choose to use a multi-layer bidirectional long short-term memory network (LSTM).

Analogi

Kayak lu lagi ngerjain soal ujian Bahasa Indonesia. Lu baca satu paragraf pelan-pelan, terus lu stabilo bagian yang lu yakin itu jawabannya.

Glossary

Istilah-istilah penting dari paper ini

1 / 5

Open-Domain QA

Sistem tanya jawab yang bisa jawab apa aja dari sumber pengetahuan yang luas banget, nggak terbatas cuma satu topik.

Gunakan tombol panah ← → atau klik dot di atas

Reading Wikipedia to Answer Open-Domain Questions

Danqi ChenAdam FischJason WestonAntoine Bordes

2017Baca Paper Asli

Penjelasan Simpel

🎯Key Takeaways

AI nggak perlu hafal semua info, cukup tau cara nyari dokumen yang bener dan cara bacanya.

Ngenalin arsitektur dua tahap: Retriever buat nyari artikel, dan Reader buat nyari jawaban di dalem artikel itu.

Ngebuktiin kalau Wikipedia bisa jadi satu-satunya sumber ilmu (knowledge source) yang valid buat AI.

Pake teknik Distant Supervision buat ngelatih model pas kita nggak punya label jawaban yang pasti di tiap paragraf.