RAG란 무엇인가: AI가 문서를 찾아 답하는 과정

사내 규정을 묻는 AI가 문서를 먼저 찾아 읽은 뒤 답한다고 상상해 보세요. 이런 방식을 설명할 때 자주 쓰는 말이 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. Google Cloud는 검색 시스템과 생성형 모델을 결합하는 방식으로 설명합니다.

세 단계로 보면 쉽다

1. 찾기: 질문과 관련된 문서 조각을 검색합니다.
2. 넣기: 찾은 내용을 질문과 함께 모델에 전달합니다.
3. 답하기: 모델이 전달된 자료를 바탕으로 문장을 생성합니다.

예를 들어 ‘올해 출장비 정산 기한은?’이라고 물으면, 시스템은 사내 규정에서 출장비 관련 부분을 찾습니다. 모델은 그 문장과 질문을 함께 받아 답변을 씁니다. 모델 자체를 새로 학습시키지 않고도 자주 바뀌는 문서를 활용할 수 있다는 점이 장점입니다.

왜 그냥 검색보다 편할까

검색은 관련 문서를 보여주지만, 독자는 여러 문서를 읽고 답을 직접 조합해야 합니다. RAG는 찾은 자료를 토대로 답변 초안을 만들 수 있습니다. 동시에 원문 링크나 문서 이름을 같이 보여주면 사용자가 근거를 확인하기 쉽습니다. 단, 이 기능은 제품 설계에 따라 다르므로 ‘RAG’라는 이름만으로 출처 표시가 제공된다고 생각하면 안 됩니다.

근거가 붙어도 틀릴 수 있다

검색이 엉뚱한 문서를 찾으면 답도 잘못될 수 있습니다. 오래된 규정이 최신 규정보다 먼저 선택되거나, 문서 일부만 가져와 예외 조항을 빠뜨릴 수도 있습니다. 모델이 자료에 없는 내용을 덧붙일 가능성도 남습니다. 그러므로 답 옆에 출처·문서 날짜·인용 범위를 표시하고, 중요한 결정은 원문에서 다시 확인해야 합니다.

도입 전에 확인할 것

업무에 쓰려면 문서 접근 권한을 먼저 정리해야 합니다. 모든 직원의 질문에 모든 내부 문서를 검색 대상으로 넣으면 편리함보다 정보 노출 위험이 커집니다. 또한 오래된 파일 정리, 업데이트 주기, 틀린 답변을 고치는 절차가 있어야 검색의 품질도 유지됩니다.

RAG는 ‘모델이 모든 것을 기억한다’는 약속이 아닙니다. 필요한 자료를 찾아 답변에 연결하는 설계이며, 자료의 품질과 검증 절차가 결과를 좌우합니다.

예시로 보는 RAG의 한 번의 답변

아래는 설명을 위해 만든 가상의 사내 규정입니다. 실제 회사 규정이나 법규를 뜻하지 않습니다.

오래된 2024년 문서가 먼저 선택되거나, 검색된 조각에서 ‘해외 출장 예외’가 빠지면 링크가 붙은 답도 틀릴 수 있습니다. 그래서 좋은 RAG 화면은 답과 함께 문서 제목·버전·해당 문장을 보여주고, 사용자가 원문으로 바로 이동할 수 있어야 합니다.

RAG와 모델 재학습은 어떻게 다를까

RAG는 답을 만들 때 외부 자료를 찾아 문맥에 넣습니다. 모델을 미세조정하는 방식은 추가 학습으로 모델의 동작을 바꾸는 접근입니다. 새 규정의 내용을 최신 상태로 참고하게 하는 일에는 RAG가 유용할 수 있지만, 검색 품질과 문서 권한을 계속 관리해야 합니다. 두 방식은 함께 쓰일 수도 있으며, 어느 하나가 모든 오류를 없애지는 않습니다.

도입 시험에서 측정할 세 가지

1. 찾기: 직원 질문 20개를 정하고 정답 문서가 검색 결과에 들어오는지 확인합니다.
2. 근거: 답의 각 주요 문장이 인용한 문서에서 실제로 뒷받침되는지 검사합니다.
3. 권한: 접근할 수 없는 부서 문서가 답변이나 출처 목록에 나타나지 않는지 시험합니다.

업무 도구를 비교할 때는 AI 도구 비교표의 개인정보와 검수 기준도 함께 확인하세요. AI 답의 출처를 빠르게 점검하는 방법은 5분 검증 가이드에 정리했습니다.