llm-bench

해결한 문제

공개 리더보드는 실제 업무 환경에서 모델이 요구 성능을 유지할 수 있는지에 대한 핵심 질문에 답하지 못합니다.

구축 내용

데이터 추출, 코드 작성, 버그 수정, 이메일 작성, 프롬프트 인젝션 방어 등 실제 워크플로우 과제를 구성하고 프로그래밍 방식의 검증기로 엄격히 채점합니다. Ollama, Apple Intelligence, Claude CLI, Bedrock, OpenAI 호환 엔드포인트 전반을 지원합니다.

검증 결과

21개 테스트 세트, 프로그래밍 방식 검증기 구축, Opus 4.8 vs 4.7 vs Sonnet vs Haiku 비교 결과 공개. 148 커밋.

학습한 점

평가 척도가 객관적이어야 실질적인 벤치마크가 성립합니다. 코드 기반 검증기는 LLM-as-judge 방식의 모호함을 배제하고 엄격한 신뢰성을 보장합니다.

클라이언트 평가 시스템 설계 및 모니터링 구축에 직결되는 기술 역량을 입증합니다.