사내 지식 · AI 커스텀 개발/학습

운영 지식 어시스턴트

매뉴얼과 티켓, 규정을 권한에 맞게 찾고, 근거가 없으면 답하지 않는 사내 어시스턴트입니다.

문제

답은 문서 어딘가에 있지만 검색이 파일 이름에 기대고 있었습니다. 범용 챗봇은 비슷한 문장을 그럴듯하게 만들면서 다른 부서의 규정을 섞었습니다.

접근

1. 01문서 수집, 청크, 임베딩, 권한 메타데이터를 한 파이프라인으로 구성했습니다.
2. 02검색 결과에 없는 내용은 답하지 않도록 하고, 답변 옆에 근거 문단을 붙였습니다.
3. 03질문과 정답 문서 쌍으로 검색 품질을 회귀 테스트했습니다.
4. 04권한 없는 문서는 검색 단계에서 제외해 프롬프트에 들어가지 않게 했습니다.

구성

• Python
• 벡터 검색
• 검색 증강 생성
• 평가 하니스

설계 목표

• 근거 없는 답변을 실패로 집계하는 평가를 목표로 합니다.
• 부서 권한이 다른 사용자에게 다른 문서 집합만 검색됩니다.
• 문서가 바뀌면 같은 질문 세트로 품질 하락을 확인합니다.