[📖논문리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP tasks

2025년 02월부터 6주간 진행된 AI논문 스터디 프로젝트!

4학기에 수강했던 인공지능입문 강의를 기점으로 AI 모델에 관심이 생겨 심층적인 공부를 위해 참여하게 되었다. 

AI의 기초적인 내용을 복습하고 실제로 간단한 모델을 구현할 수 있는 경험이어서, 참 밀도높은 6주를 보냈다는 생각이 들었다.

 

 

1~2주는 공통 논문을 리뷰하고 발표하며 논문리뷰의 틀을 다지는 시간이었다.

그 중 채택된 논문은 RAG의 대표격인 논문!

모델의 구조와 기능, 실험의 단계와 결과가 상세히 나와있어 내용을 따라가는데에 큰 어려움은 없었던 것 같다.

 

아래는 실제 발표에 사용한 PPT이다.

 

**본 게시물은 해당 논문의 Experiment 부분만을 포함하고 있습니다.

---

3. 사전준비

- non-parametric knowledge로는 위키피디아 문서만을 사용함

- 100개 단어를 batch size로 선택, 총 2100만 개의 문서를 생성함

- 각 문서 조각을 수학적 좌표값으로 임베딩

- FAISS와 HNSW 방법을 결합한 MIPS 검색방식을 사용

- 성능검증을 위한 질문 시 k개의 문서를 살펴봄 > 해당 논문에서는 k={5, 10}으로 표기

 

 

해당 논문에서는 앞으로 총 4가지의 실험을 차례대로 소개하며 뒤이어 각각의 실험 결과를 나열하는데요, 저는 순서를 섞어서 [실험 - 실험 결과] 이러한 구조로 소개해드리도록 하겠습니다.

---

 

첫 번째 실험 Open-domain QA(Question&Answer)입니다.

 

Rag-Token모델과 RAG-Seqential 모델이 해당 논문에서 소개하고 있는 모델입니다. (Token과 Seq.의 차이는 뒤에서 언급됩니다.)

표에서 굵은 글씨에 해당하는 점수가 많을수록 성능이 좋다고 평가받는데, 대부분의 지표에서 상대적 우수함을 확인할 수 있습니다. 

---

 

두 번째 실험 Abstractive QA입니다.

 

MSMARCO NLG 데이터셋을 원래대로 사용했다면 모델에게 gold passage를 제공하는 친절함을 보여줬겠지만, 연구진은 이를 배제합니다. (과적합 및 성능 뻥튀기를 의식한 점이라고 예상합니다.)

 

 

왼편의 표는 SotA와 그 외 모델들과의 비교점인데요, SotA의 Bold체 점수와 유사할 수록 좋은 성능을 내고 있다고 해석하시면 됩니다.

---

세 번째 실험은 Jeopardy QG입니다. 

참고: Jeopardy!는 미국의 대표적인 퀴즈쇼입니다. 참가자는 해당 프로그램에 출연해 퀴즈를 맞히는데, 정확한 배경지식이 있어야 정답을 맞출 수 있는 질문들로 이어집니다.

 

---

마지막 네 번째 실험은 Fact Verification입니다. 

 

---

 

---

해당 논문을 리뷰하며 AI의 halucination(*환각)증세를 완화할 수 있는 RAG 모델에 대해 알게되었다.

 

이후 RAG와 관련해 RAG-anything이라는 서비스가 눈에 띄었다.

현재는 텍스트로 되어있는 데이터를 학습하는데에 용이하나, 이미지나 동영상같은 미디어는 학습 데이터로 사용하는데에 어려움을 겪고있다. 이를 완화하기 위한 서비스가 RAG-anything이라는 서비스이고, 멀티미디어의 시대인 요즘에 큰 성장을 이룰 수 있을 것이라는 생각이 들었다.

*추후 해당 서비스를 이용해보고 개선하고 싶다!

 

다음 포스트는 개인 논문 스터디로! 🖐️

 

 

**피드백은 적극 환영입니다!