archivelaw개발 중

법조인용 AI 서면 검증 레이어

AI 초안이 “검증됐다”고
말하기 전에, 먼저 멈춥니다.

서면 초안이 나가기 전에 미완성 표지, 인용 오류, 근거 없는 완료 보고를 차례로 걸러내는 검증 도구를 만들고 있습니다.

scroll

그럴듯한 초안일수록
확인이 어렵습니다.

01

존재하지 않는 인용

생성 모델은 사건번호와 판시 문장을 그럴듯하게 만들어 냅니다. 읽는 것만으로는 걸러지지 않습니다.

02

본문에 남은 작업 표지

초안 단계에서 남겨 둔 확인 필요 표시가 제출본까지 따라가는 일이 생깁니다.

03

근거 없는 완료 보고

자동화된 검증은 실패해도 종료 코드 0으로 끝날 수 있습니다. "검증 완료"가 검증을 뜻하지 않습니다.

GATE 01

미완성 표지 스캔

초안에 남은 "판례 탐색 필요" 같은 작업 표지를 규칙으로 잡아냅니다.

구현됨

GATE 02

인용 대조

법령과 판례 인용을 추출해 공식 출처와 대조합니다.

개발 중 · 정확도 측정 전

GATE 03

완료 주장 판정

"검증 완료"의 근거 출력이 기준을 입증하는지 판정합니다.

구현됨 · 잠정 평가
제출 보류

세 곳을 모두 통과해야 나갑니다.

증거

숫자로 말씀드립니다.

측정한 것을 한계와 함께 적습니다.

완료 주장 판정 · 3단 · 잠정

160건

실제로 실행한 검증 명령. 정상 60건, 불량 100건으로 평가했습니다.

정답 라벨은 사례를 설계한 사람이 정했고, 외부 LLM 판정기를 쓰며, 합성·비기밀 출력에서만 평가했습니다.

종료 코드만 보는 방식

100%

종료 코드만 보는 방식이 통과시킨 불량 비율입니다. 불량 100건이 모두 통과했습니다.

이 수치가 "종료 코드 0은 검증이 아니다"라는 출발점입니다.

3단 게이트 · 홀드아웃 3회

0/194

새로 만든 홀드아웃 3회에서 가짜 통과가 없었습니다. 정상 출력에 붙는 불필요한 경고는 7~21%에서 0~3%로 줄었습니다.

경고율 개선은 튜닝에 쓴 세트 기준이라 독립 결과가 아닙니다.

공개 대법원 공보 대조 · 예비 시험

90/90

결론만 뒤집은 문장 90건을 모두 검토 대상으로 표시했습니다. 원문 90건 중 오표시는 0건이었고, 기존 방향 검사기는 같은 30사건을 하나도 잡지 못했습니다.

뒤집은 문장은 직접 구성했습니다. 독립 법률가의 라벨이 없고, 짧은 방향 선별만 확인했습니다.

시연

직접 써 넣고
통과시켜 보세요.

직접 입력해 보세요 · 브라우저 안에서만 실행됩니다

표시된 본문

피고의 위법행위로 원고가 입은 손해에 대하여는 민법 제750조에 따라 배상책임이 인정된다. 손해배상의 범위에 관하여는 [판례 탐색 필요: 손해배상 범위]. 채무불이행의 경우에는 민법 제393조와 민법 제999조가 적용되며, 이는 대법원 2030. 3. 14. 선고 2029다99999 판결의 취지에도 부합한다. 위 인용은 모두 검증 완료되었다.

민법 제750조·제390조·제393조·제396조 네 개만 시연용 목록에 있습니다. 나머지 조문과 모든 판결은 “목록에 없음”으로 나옵니다. 실제 법령·판례 DB 대조는 개발 중입니다.

1단 · 미완성 표지

차단 · 1건
  • [판례 탐색 필요: 손해배상 범위]

2단 · 인용 추출과 대조 (4건)

  • 확인민법 제750조

    조문 확인: 불법행위의 내용

  • 확인민법 제393조

    조문 확인: 손해배상의 범위

  • 목록에 없음민법 제999조

    시연용 목록에 없음 (실제 DB 대조는 개발 중)

  • 목록에 없음2029다99999

    시연용 목록에 없음. 판결 존재 여부는 실제 출처로 확인해야 함

입력한 글은 서버로 전송되지 않고 이 브라우저 안에서만 처리됩니다. 사건 자료는 입력하지 마세요.

소개

쓰던 도구를 정리해 서비스로 만들고 있습니다.

송무 실무에서 AI 초안을 다루며 직접 만들어 쓰던 검증 도구를 정리하는 중입니다. 공개하는 모든 사례는 공개 법령과 판결, 그리고 가상 데이터만으로 만듭니다. 의뢰인 자료는 어떤 형태로도 쓰지 않습니다.

연락

info@archivelaw.co.kr