문서 파서, 공개 벤치마크로 고르는 법

문서 파서를 고를 때 가장 먼저 보게 되는 것은 데모 화면입니다. 그런데 데모는 대개 잘 되는 문서를 골라 보여 주기 때문에, 여러 제품을 같은 기준으로 비교하기 어렵습니다.

그래서 쓰는 것이 공개 벤치마크입니다. 정답이 달린 문서 묶음과 채점 코드가 공개돼 있어, 누구나 같은 조건으로 다시 재 볼 수 있습니다.

자주 쓰는 공개 벤치마크

벤치마크	공개한 곳 · 문서	보는 것
opendataloader-bench	한컴 · 영어 문서 200쪽	읽기 순서, 표, 제목을 합친 종합 점수. 공개 리더보드가 있습니다
KoOCR-Bench	schift-io · 한국어 실문서	관보·통계표·보고서 같은 한국어 문서에서 글자, 표, 읽기 순서, 제목, 위치를 함께 봅니다
DP-Bench	Upstage · 영어 문서 200쪽	표 구조와 내용이 정답과 얼마나 같은지
OmniDocBench	여러 종류의 문서	글자, 표, 수식, 읽기 순서를 항목별로
FinTabNet	재무제표 표	선이 없고 숫자가 빽빽한 표

국내 기관 문서를 다룬다면 한국어 문서로 만든 KoOCR-Bench를 꼭 함께 보세요. 영어 문서 벤치마크에서 점수가 높아도 한글 문서에서는 결과가 다를 수 있습니다.

대부분의 점수는 1.0이 정답과 완전히 같다는 뜻이고, 높을수록 좋습니다.

읽기 순서: 2단 문서나 표·그림이 섞인 쪽을 사람이 읽는 순서대로 이어 붙였는지 봅니다.
표 구조·내용 일치도(TEDS): 표의 행·열·병합 구조와 칸 안 글자가 정답과 얼마나 같은지 봅니다. 구조만 따로 보는 점수(TEDS-S)도 있습니다.
제목: 제목을 본문과 구분하고 단계를 맞게 잡았는지 봅니다.
편집 거리: 틀린 글자 비율처럼 낮을수록 좋은 점수도 있으니 방향을 꼭 확인하세요.

한국어 문서가 들어 있는가. 기관 문서를 넣을 거라면 한국어 벤치마크 점수가 더 중요합니다.
표 점수를 따로 보는가. RAG에서는 표가 무너지면 답이 틀리기 쉬워, 종합 점수만큼 표 점수가 중요합니다.
언제, 어떤 데이터로 잰 값인가. 회사가 직접 잰 점수라면 측정일과 쓴 데이터, 채점 코드가 함께 공개돼 있는지 보세요. 그래야 다시 확인할 수 있습니다.
마지막은 내 문서로. 벤치마크는 비교의 출발점입니다. 실제로 넣을 기관 문서로 결과를 확인하는 것이 가장 확실합니다.

르몽은 Luminir Document Parser의 점수를 각 벤치마크가 공개한 데이터와 채점 코드로 직접 측정해(자체 측정) 측정일과 함께 공개합니다.

벤치마크별 측정일과 세부 점수는 벤치마크 페이지에 있습니다.