.gif&blockId=11b00c82-b138-8050-a58b-dcbceda2ef8f)
Callbacks
•
모든 체인의 중간 단계 기록 및 스트리밍
•
LangChain은 LLM 애플리케이션의 다양한 단계에 연결할 수 있는 콜백 시스템을 제공한다.
•
이는 로깅, 모니터링, 스트리밍 및 기타 작업에 유용하며 API 전체에서 사용할 수 있는 콜백 인수를 사용하여 이러한 이벤트를 받을 수 있다.
1. Query (사용자 질문)
•
설명: 사용자는 시스템에 질문을 입력한다. 이 질문은 시스템 내의 에이전트로 전달된다.
•
역할: 사용자의 질의가 시스템에 입력되어 처리를 시작하는 단계다.
2. Agent (에이전트)
•
설명
◦
입력된 질문을 처리하는 주요 컴포넌트
◦
Prompt Template과 LLM (대형 언어 모델)을 사용하여 질문을 처리한다.
Prompt Template: 질문을 LLM에 맞게 변환하는 역할을 한다. 사용자 질문이 템플릿에 맞춰서 LLM으로 전달된다.
LLM (대형 언어 모델): 질문에 대한 응답을 생성한다. 이 모델은 주로 GPT 계열의 모델을 의미한다.
•
역할: 에이전트는 질문을 적절하게 처리하기 위해 필요한 모든 작업을 조정한다. 또한 필요할 경우 검색 작업(Search)을 수행하여 필요한 정보를 가져온다.
3. Data Loaders and Vectorstore (데이터 로더 및 벡터 저장소)
•
설명: 에이전트가 질문을 처리하는 과정에서 외부 데이터를 필요로 할 경우, Data Loaders를 통해 원시 데이터를 로드하여 벡터 형식으로 변환한 후, Vectorstore에 저장한다.
Data Loaders: 원시 데이터를 불러오는 역할
Vectorstore: 데이터가 임베딩된 벡터 형식으로 저장되는 저장소
Search: 벡터 저장소에서 필요한 데이터를 검색하는 단계
•
역할: 필요한 데이터를 검색하고 이를 LLM에 전달하여 질문에 대한 답변을 생성하는 데 도움을 준다.
4. Response (응답 출력)
•
설명
◦
LLM이 생성한 최종 응답이 사용자에게 전달된다.
◦
이 응답은 사용자의 질문에 대한 답변이다.
•
역할: 최종 결과를 사용자에게 출력하는 단계다.
5. Callback (콜백)
•
설명: 에이전트가 응답을 생성하고 이를 처리한 후, 그 과정에 대한 메타데이터를 Arize로 보내 평가와 모니터링이 이루어진다.
•
역할: 에이전트의 작업 상태와 결과를 추적하고, 필요할 때 추가 분석을 수행할 수 있도록 데이터를 Arize로 전달한다.
6. Arize: Monitoring, Drift Analysis, Fine Tuning, Evaluation
•
설명
◦
Arize는 시스템이 생성한 응답과 모델의 성능을 모니터링하고 평가하는 플랫폼
◦
이 플랫폼을 통해 모델의 성능 변화를 추적하고, 필요한 경우 모델을 미세 조정(Fine Tuning)할 수 있다.
Monitoring: 모델의 성능을 지속적으로 모니터링
Drift Analysis: 모델이 시간이 지남에 따라 입력 데이터나 성능에서 변화(드리프트)가 발생하는지 분석
Evaluation: 모델의 응답이 얼마나 정확한지 평가
Fine Tuning: 모델이 지속적으로 향상될 수 있도록 미세 조정
•
역할: Arize는 모델의 상태와 성능을 추적하고, 필요 시 성능을 개선할 수 있는 도구들을 제공한다.
