Metadata-Version: 2.4
Name: langevaluate
Version: 0.1.6
Summary: LLM 기반의 자동 평가 시스템
Project-URL: Homepage, https://github.com/JINAILAB/langmetrics
Project-URL: Bug Tracker, https://github.com/JINAILAB/langmetrics/issues
Author-email: JIN PARK <nwirandx@gmail.com>
License: MIT
License-File: LICENSE
Keywords: LLM,NLP,benchmarks,evaluation,langchain
Classifier: License :: OSI Approved :: MIT License
Classifier: Operating System :: OS Independent
Classifier: Programming Language :: Python :: 3
Requires-Python: >=3.9
Requires-Dist: aiolimiter
Requires-Dist: bert-score>=0.3.13
Requires-Dist: datasets<2.15.0,>=2.14.0
Requires-Dist: langchain-anthropic<0.4,>=0.3
Requires-Dist: langchain-community<0.4,>=0.3
Requires-Dist: langchain-deepseek-official<0.2,>=0.1
Requires-Dist: langchain-google-genai
Requires-Dist: langchain-openai<0.4,>=0.3
Requires-Dist: langchain<0.4,>=0.3
Requires-Dist: pandas<3.0.0,>=2.0.0
Requires-Dist: polars<1.22.0,==1.21.0
Requires-Dist: psycopg2-binary<2.10.0,>=2.9.0
Requires-Dist: python-dotenv<1.2.0,>=1.0.0
Requires-Dist: rich
Requires-Dist: sqlalchemy<1.5.0,>=1.4.0
Requires-Dist: toml
Requires-Dist: tomlkit
Requires-Dist: vllm
Provides-Extra: dev
Requires-Dist: ipykernel; extra == 'dev'
Requires-Dist: pytest-asyncio>=0.21.1; extra == 'dev'
Requires-Dist: pytest-cov>=4.1.0; extra == 'dev'
Requires-Dist: pytest>=7.4.0; extra == 'dev'
Description-Content-Type: text/markdown

# LangEvaluate

LangEvaluate는 LLM(Large Language Model)의 성능을 평가하기 위한 Python 라이브러리입니다. 다양한 평가 메트릭과 데이터셋 관리 기능을 제공하여 LLM의 성능을 체계적으로 분석할 수 있습니다.

## 주요 기능

- **다양한 LLM 지원**
  - OpenAI (GPT-4, GPT-3.5)
  - Anthropic (Claude)
  - Naver (Clova)
  - DeepSeek
  - 로컬 GPU 모델

- **다양한 평가 유형**
  - 객관식 문제 (MCQ)
  - 이진 선택 문제
  - 주관식 문제
  - 다중 턴 대화

- **데이터셋 관리**
  - Hugging Face 데이터셋 통합
  - 커스텀 데이터셋 지원
  - 데이터셋 변환 및 전처리

- **평가 메트릭**
  - 정확도 (Accuracy)
  - BLEU, ROUGE 스코어
  - LLM 기반 평가
  - 사용자 정의 메트릭

## 설치 방법

sglang이 라이브러리를 설치하려면 requirements.txt를 설치해야합니다.
만약에 linux 체제가 아니라면 pip install sglang을 해주세요.

```bash
pip install -r requirements
pip install -e .
```

## 라이선스

이 프로젝트는 MIT 라이선스를 따릅니다.

## todo

- evaluate으로 여러개의 metric 한번에 돌릴 수 있게하기
- benchmark dataset 추가 + 코드 짜기
