1. 개요RAG 시스템을 평가하는 기준에는 정확도, 실행 시간, 비용 등이 있겠다.이번 포스팅에서는 정확도에 대한 이야기를 하겠다. Ragas는 RAG의 정확도를 평가할때사용하기 편리한 프레임워크 이다. 설치pip install ragas2. 매트릭(Metric)2.1. Faithfulness$$ faithfulness = \frac{the\ number\ of\ claims\ in\ the\ response\ supported\ by\ the\ retrieved\ context}{total\ number\ of\ claims\ in\ the\ response} $$ 식의 의미 : 전체 질문 중에서 Rag를 통해 답을 얻은 비율3. 사용 방법 평가용 데이터셋 생성딕셔너리의 키값은고정임from ragas ..
