RAG 기반 챗봇 커스터마이징 공공 플랫폼
단독 개발 · 시스템 설계 및 배포
- 배경
대학·공공기관이 챗봇을 도입할 때마다 중복 개발 비용과 데이터 구축 장벽이 반복됐습니다. 기관마다 처음부터 다시 만드는 구조를 없애고 싶었습니다.
- 접근
기관별 지식베이스 위에서 동작하는 No-code 플랫폼을 설계했습니다. PDF/TXT 업로드 → 자동 전처리·chunking·embedding·ChromaDB 인덱싱 → LLM 질의응답으로 이어지는 RAG 파이프라인을 구현했습니다.
- 검증
별도 정량 평가 대신, 검색 신뢰도가 낮을 때 답을 지어내지 않도록 설계했습니다. 사용자의 질문을 임베딩해 문서 벡터와의 유사도를 계산하고, 유사도가 0.7 미만이면 '해당 질문을 이해하지 못했어요'라고 답해 환각을 차단합니다. 기관별 데이터·프롬프트는 논리적으로 분리하고 감사 로그로 운영 안정성도 확보했습니다.
- 성과
전국 27개 전문대학이 실제 운영에 사용하는 SaaS 형 공공 플랫폼으로 자리 잡았습니다.
검색 임계값(0.7)은 경험적으로 정한 값이라 도메인마다 최적값이 다를 수 있고, 답변 정확도·환각률을 정량으로 측정하는 평가 체계는 아직 갖추지 못했습니다. 기관별 QA 세트로 검색·정답 품질을 수치화하고 임계값을 자동 보정하는 것이 다음 과제입니다.
- Next.js
- Express.js
- OpenAI GPT-4.5
- LangChain
- ChromaDB
- MariaDB
- Docker