모델 비교

AI가 열을 잘못 맞추면 결과도 틀립니다.

그래서 쓰기 전에 후보 모델마다 같은 시험을 치르게 하는 것이 원칙입니다.이 원칙에 따라 미리 정해 둔 기준을 넘은 모델만 씁니다.

최근 시험 결과기준을 넘은 모델이 아직 없습니다.

그래서 실시간 AI 제안은 꺼 두었습니다.체험에서는 미리 준비한 제안을 씁니다.

모델별 시험 결과

후보 5개가 시험을 치렀고, 4개에서 답을 받았습니다. 비모델 기준선과 함께, 시험 전에 정한 규칙으로 비교했습니다.

모델별 기준 통과 여부, 2026-10-08 시험. 숫자를 누르면 정의가 열립니다.

비용과 정확도점 하나가 후보 모델 하나 또는 비모델 기준선입니다. 오른쪽일수록 비용이 크고, 위쪽일수록 정확히 연결한 항목이 많습니다.보관 평가 집합 전체 실행 비용 →↑ 엄격 정확도비용 미상13456

후보 1개는 그리지 않았습니다. 모든 요청이 제공자 단계에서 실패해 관찰한 출력이 없으므로 정확도를 알 수 없습니다.

● 기준 통과○ 기준 미달◆ 비모델 기준선

같은 값을 표로 보기
모델기준 통과엄격 정확도비용
1. 비모델 기준선비교 기준0/288 · 0.0%없음
2. gemini-2.5-pro✕ 미달없음없음
3. gemini-3.1-flash-lite✕ 미달0/288 · 0.0%$0.072729
4. gemini-3.1-pro-preview✕ 미달229/288 · 79.5%$0.639114
5. gemini-3.5-flash-lite✕ 미달0/288 · 0.0%$0.108507
6. gemini-3.8-flash✕ 미달202/288 · 70.1%없음
평가 목록모든 결과를 받치는 엔진 검증구현됨 18 · 계획 1

구현된 검증마다 그것을 지키는 커밋된 테스트를 밝힙니다. 계획된 측정은 사례, 명령, 실행 환경, 한계를 커밋해야 결과가 됩니다.

현재 평가는 합성 사례만 사용합니다. 이전 공개자료 평가는 출처가 철회된 과거 캡처입니다.

평가 정의, 재현 명령, 실행 환경과 원시 결과

구현됨

행 순서 불변성

같은 이벤트의 순서를 섞어도 정본 해시는 하나여야 합니다.

구현됨

완전히 같은 중복 행 허용

동일한 소스 행을 넣어도 정본 이벤트는 바뀌지 않아야 합니다.

구현됨

식별자 충돌 거부

event 또는 소스 식별자가 충돌한 채 재사용되면 거부합니다. 커밋된 FIX 충돌 사례는 결과 해시 없이 INPUT_REVIEW_REQUIRED에서 멈춥니다.

구현됨

시각 형식 동등성

동등한 offset과 Z 시각을 같은 순간으로 정규화합니다.

구현됨

밀리초 미만 순서

지원하는 정밀도는 보존하고 그보다 세밀한 시각은 거부합니다.

구현됨

로캘과 무관한 순서

로캘 데이터 없이 UTF-16 코드 단위로 정본 키를 정렬합니다.

구현됨

변동 메타데이터 제외

수집 메타데이터는 정본 결과 해시에서 제외합니다.

구현됨

혼합 sequence 정책

sequence 유무가 섞이면 실패로 처리하고, 모두 없을 때의 순서를 정합니다.

구현됨

데이터셋 프로파일 결정성

행 순서와 소스 방언이 바뀌어도 데이터셋 프로파일을 일정하게 유지합니다.

구현됨

매핑 일치 보고

매핑된 정본 이벤트와 각 매핑 적용의 검토 결과가 필드별로 일치하는지 보고합니다.

구현됨

도달 가능한 매핑 검토

표시된 필드는 사유가 있는 override를 요구하되, 끝까지 처리할 수 있는 경로는 남깁니다.

구현됨

사례 분류

공개 스키마 기반 합성 사례로 SUPPORTED, NOT_SUPPORTED, INCONCLUSIVE에 도달합니다. FIX 참여자 분산 사례는 비교 가능한 체결 여섯 건으로 ACTOR_CONCENTRATION과 REMOVAL_SENSITIVITY를 통과하지 못하고 나머지 세 기준은 통과합니다.

구현됨

증거 완전성

기준 사례의 각 발견 참조를 eventId와 rawRowHash를 거쳐 해시를 검증한 커밋 원본 행까지 연결합니다.

구현됨

버전별 픽스처 평가

커밋된 연결, 검토, 변형, 시나리오와 추적 건수를 재현하고 실행 환경을 별도로 기록합니다. 직접 작성한 사례로 정확도를 추정하지 않습니다.

계획

독립 자료의 제공자 정확도

별도로 선언한 측정 방식 아래 독립된 연결 자료로 설정된 제공자를 평가할 계획입니다.