벤치마크 측정 조건과 결과
Luminir Document Parser의 점수는 모두 각 벤치마크가 공개한 데이터와 채점 코드로 르몽이 직접 측정한 값입니다(자체 측정). 아래에 측정일·세부 지표와 함께 적었습니다.
요약
| 벤치마크 | 데이터 | 대표 점수 | 비교 | 측정일 |
|---|---|---|---|---|
| opendataloader-bench | 한컴 공개 · 영어 문서 200쪽 | 0.914 | 공개 1위 점수(0.907)보다 높음 | 2026-10-12 |
| KoOCR-Bench | schift-io v1.2 · 한국어 공공문서 623쪽 | 0.759 | 공개 리더보드 상위권 | 2026-10-12 |
| DP-Bench | Upstage 공개 · 영어 문서 200쪽 | 0.962 | 함께 비교한 상용 파서 5종보다 높음 | 2026-09-23 |
| OmniDocBench v1.5 | 문서 1,651쪽 | 0.892 | — | 2026-09-19 |
| FinTabNet | 재무제표 표 300개 | 0.948 | — | 2026-10-12 |
모든 점수는 각 벤치마크가 공개한 데이터와 채점 코드로 르몽이 직접 측정했습니다(자체 측정). 결과 원본은 요청하시면 드립니다.
opendataloader-bench
- 데이터
- 한컴 공개 · 영어 문서 200쪽
- 대표 지표
- 읽기 순서·표·제목을 합친 종합 점수 (1.0 = 정답과 같음)
- 측정일
- 2026-10-12
- 원문
- 데이터·채점 코드 ↗리더보드 ↗
| 지표 | Luminir Document Parser | 공개 1위 (opendataloader hybrid) |
|---|---|---|
| 종합 | 0.914 | 0.907 |
| 읽기 순서 (NID) | 0.944 | 0.934 |
| 표 (TEDS) | 0.934 | 0.928 |
| 제목 단계 (MHS) | 0.834 | 0.821 |
KoOCR-Bench
- 데이터
- schift-io v1.2 · 한국어 공공문서 623쪽
- 대표 지표
- 글자·표·읽기 순서·제목·좌표를 합친 종합 점수 (1.0 = 정답과 같음)
- 측정일
- 2026-10-12
- 원문
- 데이터 ↗
| 지표 | Luminir Document Parser |
|---|---|
| 종합 | 0.759 |
| 요소 위치 좌표 | 0.976 |
| 읽기 순서 | 0.865 |
- 제품은 머리말·꼬리말을 빼지 않고 종류를 표시해 함께 내는데, 이 벤치의 정답은 일부 문서에서 머리말·꼬리말을 포함하지 않습니다.
DP-Bench
- 데이터
- Upstage 공개 · 영어 문서 200쪽
- 대표 지표
- 표 구조·내용 일치도 TEDS (1.0 = 정답과 같음)
- 측정일
- 2026-09-23
- 원문
- 데이터·채점 코드 ↗
| 지표 | Luminir Document Parser |
|---|---|
| 표 구조·내용 일치도 (TEDS) | 0.962 |
| 표 구조 일치도 (TEDS-S) | 0.976 |
| 표 검출 F1 | 0.973 |
| 글자 순서 일치도 (NID) | 0.958 |
- 벤치마크 저장소에 공개된 상용 파서 5종의 결과(2026년 2월 기준)와 같은 채점 코드(evaluate.py)로 비교했을 때 표 지표 세 가지가 모두 가장 높았습니다.
OmniDocBench v1.5
- 데이터
- 문서 1,651쪽
- 대표 지표
- 표 구조·내용 일치도 TEDS (1.0 = 정답과 같음)
- 측정일
- 2026-09-19
- 원문
- 데이터·채점 코드 ↗
| 지표 | Luminir Document Parser |
|---|---|
| 표 구조·내용 일치도 (TEDS) | 0.892 |
| 표 구조 일치도 | 0.927 |
| 본문 틀린 글자 비율 (편집 거리, 낮을수록 좋음) | 0.038 |
| 수식 편집 거리 (낮을수록 좋음) | 0.101 |
| 읽기 순서 편집 거리 (낮을수록 좋음) | 0.133 |
FinTabNet
- 데이터
- 재무제표 표 300개
- 대표 지표
- 표 구조·내용 일치도 TEDS (1.0 = 정답과 같음)
- 측정일
- 2026-10-12
- 원문
- 데이터 ↗
| 지표 | Luminir Document Parser |
|---|---|
| 표 구조·내용 일치도 (TEDS) | 0.948 |
| 표 구조 일치도 | 0.959 |
- 점수는 표를 찾은 경우 기준입니다.
결과 원본과 기관 문서 시범 측정
벤치마크 결과 원본이 필요하시거나, 기관 문서로 같은 방식의 측정을 원하시면 알려주세요.
- 메일
- support@lemong.ai
메일 앱이 열리지 않으면 주소를 복사해 보내 주세요. 기관명, 문서 종류와 양, 서버 환경을 적어 주시면 빠르게 안내해 드립니다.