RAG vs MCP: Apa Fungsi Masing-Masing dan Kapan Keduanya Digunakan

RAG (Retrieval Augmented Generation) mengambil dokumen yang relevan dari data Anda untuk memberikan konteks pada respons LLM. MCP (Model Context Protocol) memberikan cara yang terstandar bagi LLM untuk berinteraksi dengan berbagai alat dan melakukan tindakan pada sistem eksternal. RAG mengisi kesenjangan pengetahuan model, sedangkan MCP mengisi kesenjangan kemampuan bertindak model. Sebagian besar sistem AI yang digunakan di lingkungan produksi membutuhkan keduanya.

Pertanyaan “apakah kita sebaiknya menggunakan RAG atau MCP?” terus muncul dalam diskusi arsitektur perusahaan. Namun, itu bukanlah pertanyaan yang tepat.

Retrieval Augmented Generation (RAG) dan Model Context Protocol (MCP) beroperasi pada lapisan yang berbeda. RAG mengambil data dari dokumen-dokumen Anda. MCP melakukan tindakan pada sistem eksternal. Mempertanyakan mana yang harus dipilih ibarat mempertanyakan apakah Anda membutuhkan perpustakaan atau telepon.

Salah satu pencipta awal RAG sekaligus CEO Contextual AI, Douwe Kiela, menjelaskan: “Saya rasa sekarang orang-orang telah memberi nama baru untuk ini sebagai context engineering, yang mencakup MCP dan RAG.” Jika salah satu orang yang menciptakan RAG sendiri tidak melihat keduanya sebagai pesaing yang sebenarnya, kemungkinan besar Anda juga tidak seharusnya melihatnya demikian.

Pertanyaan yang lebih tepat adalah: apakah infrastruktur data Anda mendukung keduanya? Sistem AI modern sering menggunakan RAG untuk menemukan dokumen yang relevan dan MCP untuk melakukan tindakan berdasarkan informasi tersebut. Organisasi-organisasi yang menerapkan AI berbasis agen dalam skala besar sudah menggunakan keduanya.

RAG menyelesaikan masalah yang spesifik: memberikan konteks pada respons LLM menggunakan data Anda sendiri, bukan hanya data yang digunakan untuk melatih model.

Bayangkan sebuah chatbot layanan pelanggan. Seorang pengguna bertanya, "Bagaimana cara mempersiapkan diri untuk operasi lutut?"

Tanpa RAG, model mengandalkan pengetahuan internalnya dan memberikan jawaban umum. Dengan RAG, sistem mengambil dokumen yang relevan dari basis pengetahuan Anda, kemudian menghasilkan respons yang akurat berdasarkan materi tersebut.

Konten Anda dipecah menjadi beberapa chunk, baik berupa paragraf maupun bagian-bagian pendek. Model embedding mengubah setiap chunk menjadi sebuah vektor, yaitu representasi numerik dari makna semantiknya. Konten yang serupa menghasilkan vektor yang serupa. Vektor-vektor tersebut kemudian disimpan dalam database vektor.

Ketika kueri pengguna masuk, sistem mengubah kueri tersebut menjadi vektor, mengambil potongan informasi yang secara semantik paling mirip, lalu memasukkannya ke dalam prompt bersama dengan kueri pengguna. Don menyebutnya sebagai “prompt sebelum prompt.” LLM kemudian menghasilkan respons hanya berdasarkan konteks yang diberikan kepadanya, bukan berdasarkan seluruh data pelatihannya.

Model konteks panjang dari Anthropic (200 ribu token) dan Google (lebih dari 1 juta token) telah memicu spekulasi bahwa RAG akan segera ditinggalkan. Ada empat alasan mengapa RAG tetap relevan:

1. Penggunaan token dalam skala besar. Mengirimkan 200 ribu token pada setiap kueri akan memakan biaya yang besar bagi aplikasi dengan volume tinggi. Mengambil lima chunk yang ditargetkan jauh lebih murah, bahkan hingga beberapa kali lipat.
2. Kualitas pengambilan data. Lima paragraf yang relevan sering kali menghasilkan respons LLM yang lebih baik dibandingkan membanjiri model dengan seluruh informasi. Presisi lebih penting daripada volume.
3. Kebaruan data. Database vektor dapat diperbarui secara inkremental seiring perubahan data yang mendasarinya. Pendekatan berbasis jendela konteks mengharuskan seluruh data dimasukkan kembali ke dalam sistem.
4. Privasi dan kepatuhan. Indeks RAG dapat dienkripsi dan dikendalikan aksesnya secara terpisah. Mengirimkan seluruh konten ke lapisan LLM secara bersamaan dapat menjadi masalah di industri yang diatur secara ketat, terutama ketika sebagian konten memiliki akses terbatas.

Di bidang layanan kesehatan, adopsi RAG merupakan yang paling maju dan hasilnya sudah konkret. Sebuah studi tentang sistem pendukung keputusan klinis di bidang radiologi menemukan bahwa RAG berhasil menghilangkan halusinasi, dengan angka kejadiannya turun dari 8% menjadi 0%. Dalam bidang gizi klinis, sistem yang menggunakan RAG berhasil mencapai akurasi sebesar 99,25% dalam merangkum data gizi klinis dari catatan keperawatan dalam EHR. Sistem RAG yang memanfaatkan buku teks terpilih berhasil mencapai akurasi 91,5% pada ujian sertifikasi onkologi radiasi.

Sebuah varian bernama GraphRAG memodelkan entitas dan hubungan sebagai graf pengetahuan, bukan sebagai chunk dokumen yang berdiri sendiri. Pendekatan ini memungkinkan logika retrieval multi-hop untuk pengelolaan penyakit kronis yang kompleks.

MCP memecahkan masalah yang berbeda: memberikan model AI cara yang terstandarisasi untuk melakukan tindakan pada sistem eksternal.

Sebelum adanya MCP, setiap alat memerlukan kode integrasi khusus, yang berarti parameter yang berbeda, protokol yang berbeda, dan format respons yang berbeda-beda. MCP telah menstandarkan akses ke berbagai alat. Dalam videonya tentang MCP, Don menjelaskannya sebagai berikut:

Sebuah server MCP mengintegrasikan satu atau lebih alat; API internal, database eksternal, atau layanan apa pun yang dapat dipanggil, kemudian mengimplementasikan dua metode:

1. Daftar alat — LLM bertanya, "Alat apa saja yang kamu miliki?"
2. Alat panggilan - LLM mengatakan, "panggil alat ini dengan argumen-argumen ini"

Itu saja. Sebuah klien MCP (yang terintegrasi dalam aplikasi host atau kerangka kerja agen) mampu berkomunikasi dengan server MCP mana pun menggunakan protokol standar ini.

Don menarik analogi:

"Di industri kita, Anda mungkin membayangkan hal ini mirip dengan server FHIR." Server FHIR pada dasarnya hanyalah server REST, tetapi ada cara tertentu untuk meminta informasi pasien dan memperbarui informasi pasien. Respons yang diberikan juga memiliki format tertentu yang sudah Anda ketahui cara memprosesnya. "MCP juga serupa; ini adalah cara terstandarisasi untuk merujuk pada berbagai alat dan Anda dapat memperoleh hasilnya."

FHIR menstandarkan pertukaran data layanan kesehatan. MCP menstandarkan akses AI ke berbagai alat. Para peneliti sedang mengembangkan kerangka kerja untuk mengintegrasikan MCP dengan FHIR.

Don menguraikan lima alasan mengapa MCP penting bagi organisasi perusahaan:

1. Portofolio alat terus berkembang. Tiga alat pada proyek pertama Anda tidak akan sebanding dengan biaya tambahan yang harus dikeluarkan. Jika diterapkan pada 100 alat, manfaat standardisasi mulai terasa.

2. Tidak terikat pada teknologi tertentu. Alat tersebut dapat ditulis dalam bahasa pemrograman apa pun. Klien dapat menggunakan teknologi yang sepenuhnya berbeda. Hubungan yang tidak bergantung satu sama lain ini membuat alat-alat Anda dapat tetap digunakan meskipun tumpukan teknologi yang digunakan saat ini berubah.

3. Standar mempermudah perubahan. Ganti penyedia LLM. Mengganti kerangka kerja agen. Alat-alat MCP Anda tidak perlu ditulis ulang.

4. Vendor mulai menyediakan server MCP. Salesforce, Jira, dan berbagai platform perusahaan dari berbagai kategori kini menyediakan MCP server sebagai bagian dari produk mereka. Di bidang layanan kesehatan, GenomOncology meluncurkan BioMCP pada bulan April 2025 dengan 12 entitas data biomedis yang mencakup uji klinis, varian genomik, obat-obatan, dan literatur yang telah dipublikasikan.

5. Internet-native. Server MCP tidak harus dijalankan secara lokal. API cuaca, layanan dokumentasi, database eksternal, dan sumber daya apa pun di internet dapat diintegrasikan sebagai MCP server

Server MCP sangat berguna untuk alat-alat internal di mana pengguna tepercaya perlu berinteraksi dengan data terstruktur dengan cara yang tidak selalu dapat diprediksi, misalnya memperbarui catatan CRM, mengambil data secara real-time, atau memicu alur kerja.

Anthropic meluncurkan MCP pada November 2024. OpenAI mengadopsinya pada Maret 2025. Google DeepMind menyusul pada April 2025. Pada Desember 2025, Anthropic menyumbangkan MCP kepada Agentic AI Foundation (AAIF) di bawah naungan Linux Foundation yang didirikan bersama dengan Block dan OpenAI, dengan melaporkan adanya lebih dari 10.000 server MCP publik yang aktif di berbagai platform, termasuk ChatGPT, Cursor, Gemini, dan Microsoft Copilot.

Function calling adalah mekanisme di dalam LLM yang digunakan model untuk menyatakan, “Saya ingin memanggil sebuah alat” Setiap platform menerapkannya dengan cara yang berbeda-beda. MCP berada di atas mekanisme tersebut dan menstandarkan cara alat dideskripsikan dan dipanggil, terlepas dari LLM yang digunakan. Function calling adalah niatnya. MCP adalah infrastruktur yang memungkinkan niat tersebut dapat dipindahkan.

Dimensi	RAG	MCP
Fungsi utama	Mengambil konteks yang relevan dari sumber data	Akses alat yang terstandarisasi untuk agen AI
Tipe data	Data tidak terstruktur (dokumen, artikel, buku panduan)	Data terstruktur (API, database, sistem yang sedang beroperasi)
Aliran data	Satu arah: ambil → masukkan → hasilkan	Dua arah: kueri → tindakan → hasil → langkah berikutnya
Perubahan status	Tidak — hanya membaca data	Ya — dapat menulis, memperbarui, dan memicu tindakan
Penskalaan	Meningkatkan kapasitas penyimpanan vektor dan kemampuan pengindeksan ulang	Tambahkan titik akhir server dan koneksi baru
Masalah inti	LLM tidak mengetahui data pribadi Anda	LLM tidak dapat berinteraksi dengan sistem eksternal secara konsisten
Paling cocok untuk	Aplikasi yang ditujukan untuk umum dengan pertanyaan-pertanyaan yang dapat diprediksi	Alat internal dengan interaksi yang tidak dapat diprediksi

Dr. Peter Lee, Presiden Microsoft Research, menggambarkan AI berbasis agen sebagai empat kemampuan yang saling terkait: memori, hak akses, tindakan, dan penalaran. RAG mengakses memori yang merupakan konteks eksternal yang dibutuhkan oleh agen. MCP mengatur hak akses dan tindakan, seperti apa saja yang dapat diakses dan dilakukan oleh agen. Alasan utamanya adalah LLM itu sendiri.

Tiga pertanyaan tersebut menjelaskan keputusan tersebut.

Jika pengetahuan tersebut terdapat dalam data statis dan tidak terstruktur seperti pedoman klinis, buku pedoman kebijakan, atau dokumentasi produk, maka RAG akan mengambilnya saat permintaan diajukan dan menyisipkannya ke dalam prompt.

Jika pengetahuan tersebut berupa data real-time dan terstruktur seperti hasil laboratorium terkini, persediaan real-time, atau status pesanan yang sedang diproses, maka MCP akan mengakses sumbernya secara langsung.

Jika kasus penggunaannya adalah menjawab pertanyaan, merangkum, atau mencari dokumen, RAG saja kemungkinan sudah cukup.

Jika AI perlu memperbarui catatan, menjadwalkan janji temu, atau memicu alur kerja, maka diperlukan MCP.

Sebuah kasus penggunaan dapat dimulai dengan RAG lalu menambahkan function calling jika diperlukan. Namun, jika Anda berencana menerapkan beberapa alur kerja AI di berbagai departemen, sebaiknya berinvestasilah pada infrastruktur MCP sekarang juga. Manfaat alat akan semakin besar seiring bertambahnya jumlahnya.

Skenario	Arsitektur	Mengapa
Chatbot Pertanyaan Umum Pelanggan	Hanya RAG	Hanya baca; mengambil data dari basis pengetahuan internal
Pencarian dokumentasi teknis	Hanya RAG	Pencarian semantik pada data tidak terstruktur
Pencarian interaksi obat	GraphRAG	Hubungan entitas yang kompleks memerlukan penalaran multi-hop
Asisten pra-otorisasi	RAG + MCP	Membutuhkan pengetahuan tentang kebijakan (RAG) dan dapat mengirimkan permintaan (MCP)
Sistem pendukung keputusan klinis	RAG Berbasis Agen + MCP	Pencarian bertahap + tindakan pada berbagai sumber data eksternal
Otomatisasi proses penerimaan data CRM/EHR	MCP sebagai komponen utama	Menulis data ke database, menjadwalkan, dan mengirimkan notifikasi
Dasbor data real-time	MCP sebagai komponen utama	Mengambil data terstruktur secara real-time dari berbagai sumber

Alur kerja rujukan pasien menggambarkan bagaimana keduanya dapat bekerja bersama:

1. MCP memeriksa rekam medis pasien yang sedang aktif di EHR (data terstruktur real-time).
2. RAG mengambil pedoman klinis yang relevan dari basis pengetahuan (pengambilan dokumen).
3. MCP mengirimkan rujukan ke sistem penjadwalan (tindakan).
4. MCP mengirimkan notifikasi kepada dokter yang memberikan rujukan (tindakan).
5. LLM menggabungkan semua informasi tersebut menjadi sebuah tanggapan dan jejak audit

RAG menjamin keselamatan melalui pembatasan. Sistem melakukan embedding dan mengindeks konten terlebih dahulu; saat kueri diterima, sistem hanya mengambil potongan informasi yang relevan. Tidak ada koneksi langsung ke sistem yang sedang beroperasi, sehingga mengurangi area kerentanan.

Organisasi di sektor industri yang diatur biasanya menerapkan RAG di lingkungan on-premises atau di cloud pribadi. Database vektor berjalan di dalam infrastruktur organisasi, embedding dibuat secara lokal, dan data sensitif tidak pernah keluar dari batas lingkungan perusahaan.

Kemampuan MCP untuk melakukan tindakan menimbulkan risiko yang tidak dihadapi oleh arsitektur RAG yang hanya dapat membaca data. MCP memungkinkan AI untuk bertindak atas nama manusia, yang dapat menimbulkan risiko jika server diretas atau dikonfigurasi dengan buruk. OWASP menerbitkan daftar 10 Masalah Teratas khusus MCP pada tahun 2025:

Pengelolaan token yang tidak tepat. Kredensial yang ditulis secara hard-coded dan token yang memiliki masa berlaku panjang dalam konfigurasi MCP dapat mengekspos sistem yang terhubung apabila terjadi kompromi. Protokol tersebut menetapkan OAuth2 untuk otentikasi, namun penerapannya bergantung pada implementasi.

Context dan Prompt Injection. Dalam ekosistem MCP, prompt injection dapat memicu tindakan otomatis. Misalnya, pesan yang dikirim pengguna dapat berisi instruksi tersembunyi yang kemudian dijalankan oleh agen dengan hak akses berlebihan terhadap sistem produksi. Jendela konteks yang terlalu padat memperparah masalah ini: model mungkin bertindak berdasarkan informasi yang tidak relevan atau saling bertentangan.

Eksfiltrasi data dan schema discovery. Seorang pelaku jahatdapat membuat prompt yang dirancang untuk mengekstrak data sensitif dari database yang terhubung atau memetakan keseluruhan database schema untuk merencanakan serangan lebih lanjut. Agen dengan hak akses berlebihan dapat memperbesar kedua risiko tersebut.

Langkah-langkah mitigasi yang direkomendasikan: daftar putih server MCP dengan verifikasi kriptografis, kontrol akses dengan prinsip hak akses minimal, proses persetujuan manual untuk operasi berisiko tinggi, lingkungan sandbox, dan pencatatan audit.

Bagi organisasi layanan kesehatan, framework otentikasi FHIR yang sudah ada, seperti SMART on FHIR dengan OAuth2, menyediakan lapisan keamanan yang sesuai untuk agen yang terhubung melalui MCP.

Agen AI yang mengakses data pasien melalui FHIR server yang dibungkus sebagai MCP tool akan mewarisi infrastruktur otentikasi, otorisasi, dan audit dari FHIR server tersebut.

Organisasi yang menjalankan InterSystems HealthShare atau InterSystems IRIS for Health sudah memiliki infrastruktur native FHIR dengan sertifikasi HITRUST r2, sehingga memberikan fondasi kepatuhan yang sudah tersedia bagi agen AI mereka.

Sistem AI paling canggih menggabungkan RAG dan MCP dalam arsitektur multi-agen. Setiap panggilan LLM akan menjadi sebuah agen dengan peran yang berbeda. Tidak semua agen adalah LLM; ada pula yang merupakan alat. Seorang orkestrator mengarahkan alur kerja secara dinamis.

Pola agenik memberikan AI siklus revisi yang tidak dimiliki oleh LLM tunggal.

Dalam wawancara Don dengan Dr. Peter Lee dari Microsoft Research, Lee menjelaskan tentang agen pengkoordinasi layanan kesehatan yang dikembangkan bersama Stanford Medicine untuk rapat tim penanganan tumor.

Agen tersebut mengambil rekam medis pasien (MCP), menjalankan model AI radiologi dan patologi (MCP), mengakses penelitian yang telah dipublikasikan dari sumber data eksternal (RAG), serta mencatat keputusan rapat (MCP). RAG dan MCP, masing-masing menjalankan fungsi sesuai rancangannya.

Sistem MAI-DXO dari Microsoft mengembangkan konsep ini lebih jauh: beberapa agen dengan peran yang berbeda-beda; agen diagnostik utama, agen yang bertentangan yang mempertanyakan setiap kesimpulan, serta agen yang memperhatikan biaya yang mempertanyakan setiap permintaan tes.

Melalui “rantai debat”, sistem ini mencapai akurasi diagnostik sebesar 85,5% pada kasus-kasus yang dipublikasikan dalam NEJM, yang nilainya lebih dari empat kali lipat tingkat akurasi dokter berpengalaman yang diuji dalam kondisi yang sama.

1. Lakukan audit terhadap data dasar Anda. RAG mengambil data yang ada di sumber data Anda. Jika dokumentasi Anda tidak konsisten atau dokumen kebijakan Anda saling bertentangan, RAG akan memunculkan masalah tersebut dalam skala besar. Platform data terpadu seperti InterSystems IRIS menggabungkan kemampuan transaksional, analitis, dan pencarian vektor dalam satu mesin, sehingga mengurangi fragmentasi data yang dapat menurunkan kualitas hasil pencarian.

2. Evaluasi kesiapan API Anda. Titik akhir REST yang sudah Anda miliki—termasuk API FHIR untuk organisasi layanan kesehatan—merupakan kandidat yang ideal untuk dibungkus sebagai MCP server. Jika Anda sudah memiliki API internal yang didokumentasikan dengan baik dan dilengkapi otentikasi OAuth2, Anda sudah lebih dekat dengan kesiapan MCP daripada yang Anda kira.

3. Mulailah dengan uji coba RAG. Chatbot pelanggan, pencarian dokumentasi, dan tanya jawab mengenai kebijakan merupakan titik masuk yang telah terbukti efektif dengan sumber data yang terbatas dan terkelola dengan baik.

4. Tetapkan tata kelola MCP sebelum memberikan akses ke alat. Daftar putih, kontrol akses, proses persetujuan manual, dan pencatatan audit harus sudah diterapkan sebelum agen berinteraksi dengan sistem produksi. Joel Venco,C IO Hartford Health, mengutip perkataan Mario Andretti: "Rem yang sangat bagus memungkinkan Anda melaju lebih cepat." Tata kelola bukanlah pembatas kecepatan — justru tata kelola inilah yang memungkinkan Anda melakukan deploy dengan penuh keyakinan.