합성 에이전트 과제의 결함을 찾는 검사 368개

왜

결함은 난이도처럼 보입니다.

1. Terminal-Bench 2.1은 2.0 출시 뒤 89개 과제 중 28개를 고쳤습니다. 외부 의존성 변화, 올바른 풀이를 막는 자원 한도, 테스트와 어긋난 지시문 때문이었습니다. Terminal-Bench 2.1 ↗
2. 에이전트가 정직하게 통과하지 못한 Terminal-Bench 과제 125개 중 실제 미해결로 인증된 것은 78개였습니다. 나머지는 정답 풀이가 깨졌거나, 인프라가 실패했거나, 검증기를 우회해야만 통과할 수 있었습니다. arXiv 2609.26826 ↗
3. LLM 궤적 판정자는 일부러 심어 둔 정답 파일 읽기를 정당한 풀이로 판정했습니다. harbor#3725 ↗
4. 산업 제어(PLC) 벤치마크용 자체 파이프라인에서 판정을 바꾼 결함 6건은 모두 과제를 더 어려워 보이게 했고, 텍스트 검토로는 하나도 찾지 못했습니다.

만든 방법

출처 34갈래, 후보 1,404개, 검사 368개

Terminal-Bench 1·2.0·2.1·4, Terminal-Bench-Science, Harbor-Index, AutomationBench(806개), τ²-bench(2,756개)의 모든 과제와 CI 검사, 리뷰 루브릭, GitHub 이슈·PR 303건을 읽었습니다. 여기에 데이터 벤더와 랩의 글과 발표, 평가 기관의 감사, 벤치마크 해킹 논문, 합성 SWE 과제 파이프라인 22개, 우리 파이프라인의 결함을 더했습니다. 검사마다 판정 규칙, 기록된 사례에 근거한 심각도, 검사가 반드시 잡아야 하는 심은 예시, 출처 링크가 있습니다.

정적

162과제 파일만 읽습니다. 모두 구현했습니다

실행

127워커에서 정답·무동작·변형 제출을 돌립니다. 41개는 판정까지 구현

LLM 루브릭

79판정자에게 묻는 질문. Harbor의 harbor check 형식

blocker

111판정을 뒤집었거나 해킹을 허용한 사례가 기록됨

보정

잰 것

1. 정적 검사를 코퍼스 16개, 과제 2,523개에 돌렸습니다. 표본으로 읽은 발견 239건 중 224건이 실제 결함이었습니다(정밀도 0.94).
2. Terminal-Bench CI가 일부러 결함을 심은 fixture는 대응 검사가 128쌍 중 118쌍을 잡았습니다.
3. Terminal-Bench 2.0에서 2.1로 고쳐진 실제 결함 42건 중 38건을 2.0에서만 잡고 2.1에서는 잡지 않았습니다.
4. 판정자 하나로 돌린 LLM 루브릭(호출 59회)은 심은 루브릭 결함 30개 중 25개, 실제 2.0 결함 10개 중 7개를 잡았고, 고쳐진 2.1판 10개는 다시 잡지 않았습니다.
5. 실행 검사는 클라우드 워커에서 과제 24개에 모델 호출 없이 956회 돌렸습니다. Terminal-Bench 2.0의 build-pmars는 고정한 apt 패키지가 미러에서 사라져 세 검사에서 실패했고, 고쳐진 2.1판은 모두 통과했습니다. 아무것도 하지 않는 제출이 0점을 넘은 과제는 없었습니다. 나머지 18개에서 실패는 우리 PLC 과제 하나의 검증 시간 여유 부족뿐이었습니다.

정밀도는 한 사람이 읽은 표본에서 쟀습니다. 실행 검사 127개 중 끝까지 돌린 것은 5개입니다. 나머지는 아직 만들지 않은 맞춤 제출(출력 변환, 공격, 재채점)이 필요합니다.

루프에 넣기

모델 패널 전의 게이트

1. 과제 초안을 쓰고 다른 모델 계열이 검토합니다.
2. 정적 검사를 돌립니다. blocker 실패가 있으면 모델을 돌리기 전에 멈춥니다.
3. LLM 루브릭을 묻습니다. 판정자의 FAIL은 판정이 아니라 실행으로 확인할 단서로 다룹니다.
4. 워커에서 실행 검사를 돌립니다. 정답 반복, 무동작·형식만 갖춘 제출, 자원 한도, 부하 속 시간 여유를 봅니다.
5. 모델 패널을 돌리고, 실패 궤적을 읽고, 과제를 고친 뒤 반복합니다.

한계

• 실행 검사는 만점과 통과 기준을 1.0으로 가정합니다. 0~100점 척도 과제는 따로 설정해야 합니다.
• 일부 정적 규칙은 다른 말로 바꿔 쓴 요구사항을 놓칩니다. 남은 미탐은 검사별로 기록했습니다.
• 카탈로그 본문은 영어입니다.