Datafooding

데이터와 품질

데이터는 파트너가 소유하고, 품질은 저희가 책임집니다.

파트너가 원본 데이터를 가져옵니다. 데이터는 파트너의 소유이며, 데이터의 권리에 대한 책임도 파트너에게 있습니다. Team Attention은 이 데이터로 과제, 채점기, 환경을 합성하고 그 품질을 책임집니다.

기여 프로그램

session2env

session2env는 기여자를 위한 프로그램입니다. 기여자는 다음 세 가지를 보냅니다.

1. 실제 에이전트 세션 로그와 작업에 쓰인 파일
2. 워크플로우를 설명하는 5분 이상의 화면 녹화 영상
3. 본인 프로필

가설

기업 워크플로우 eval에서 회사 전용 모델로 갔다가, 다시 eval로 돌아옵니다.

1. 기업 워크플로우 eval
2. RL 데이터
3. 그 회사에 특화된 모델
4. 그 모델의 운영 데이터로 만든 새 eval

↺ 이 과정을 반복합니다.

해자는 쌓아 둔 데이터가 아닙니다. 채점기와 환경을 계속 싸게 만들어 내는 파이프라인이 해자입니다.

단위 경제성 / 측정 중

채점된 과제 1개에 드는 사람의 시간을 잽니다.

목표

1시간 이하채점된 과제 1개당 약 $100

랩 시세

약 $200–2,000과제 1개당

지금 측정하고 있으며, 아직 발표할 측정값은 없습니다.

SESSION2EVAL / 배운 것

파이프라인을 운영하며 배운 것을 정리했습니다.

1. 세션을 가장 가까운 권위 있는 벤치마크의 형식에 맞춥니다. 코딩은 Terminal-Bench, 앱 워크플로우는 AutomationBench, 지식 업무는 AA-Briefcase 형식을 따릅니다.
2. 과제마다 gold, no-op, near-miss, alternative-correct, mutant 답안으로 보정합니다.
3. 과제마다 3개 tier에 걸친 모델 9개로 실행합니다.
4. 실패 trace를 감사합니다. 첫 라운드에서 판정을 바꾼 결함은 모두 텍스트 검토가 아니라 실패 trace에서 찾았습니다.
5. 수정한 뒤 한 워크플로우 과제는 2/9에서 강한 모델이 모두 통과하는 상태가 되었고, 약한 모델은 여전히 실패했습니다.

합성 재작성(synthetic rewrite)으로 얻은 내부 수치입니다.