벤치마크 공동 논문 전략 (2026-10-22)

비정본 리서치 노트. 웹 출처 24개를 직접 열어 확인했다(목록은 맨 아래). 아래 문안은 모두 초안이다. 2026-10-23에 일부 결정(목표는 랩 직접 매입이 최종, 벤더 경유는 중간 단계)이 반영됐다.

0. 결론 (5줄)

1. OBSERVED 논문 마감 일정은 이렇다. ICLR 2027 본 트랙은 이미 지났다(9/25). 실제로 노릴 수 있는 창구는 두 곳이다. 하나는 KDD 2027 D&B 2차 사이클(2027년 2월 예상, 단일맹검이라 소속이 드러남)이고, 다른 하나는 NeurIPS 2027 Evaluations & Datasets 트랙(2027년 5월 중순 예상)이다. 그보다 먼저 12월 중 arXiv 기술보고서 v1을 올린다.
2. OBSERVED 랩이 외부 벤치마크의 위상을 올린 가장 강한 선례는 SWE-bench → SWE-bench Verified다. OpenAI Preparedness 팀이 원 저자들과 함께 500문항을 인간 검수했고, 이 subset이 o1 시스템카드에 들어갔다. 따라서 공저자를 모으는 것보다 "AutoFactory-Bench Verified"를 랩과 함께 만드는 구조가 랩 관계와 논문을 한 줄로 묶는다.
3. OBSERVED 프런티어 랩의 출판 통제는 강해지는 추세다. DeepMind는 일부 논문에 6개월 엠바고를 두고 다단계 승인을 거친다(FT 보도). Meta FAIR도 출판 전 추가 검토를 도입했다(The Information 헤드라인, 본문은 유료라 세부는 미확인). OpenAI는 외부 공저 정책이 공개돼 있지 않다(미확인). 랩 소속 공저자는 "개인 자격 조언 → 사사(acknowledgment)"로 물러나는 경로를 처음부터 함께 제안해야 한다.
4. HYPOTHESIS 랩 소속 공저자가 그 랩 모델 1위 결과(GPT-6.1 Sol pass@1 83.3%)를 담은 논문에 이름을 올리면 중립성 논란이 생긴다. TechCrunch도 OpenAI Pioneers 벤치에 같은 회의를 적었다. 랩 쪽 역할은 "검수 프로토콜·과제 현실성 리뷰"로 한정하고, 모델 순위 해석에서는 빼는 편이 안전하다.
5. HYPOTHESIS 데이터 판매 목표와 맞추려면 공개 슬라이스(논문)와 비공개 홀드아웃(상품)을 나눈다. NeurIPS E&D는 비공개 홀드아웃을 허용하되 논문에 기술하라고 하고, 공개분이 주 기여여야 한다. 공개 논문은 데이터의 가치를 보여 주는 증거가 되고, 중소기업 현장 과제로 만든 홀드아웃이 랩에 공급할 상품이 된다.

1. 2026~2027 마감 일정 (10/22 기준)

NeurIPS E&D의 핵심 규칙(OBSERVED, 2026 FAQ 기준): 데이터·코드는 마감 시점에 최종본이어야 한다. Croissant 메타데이터와 RAI 필드가 필수다. 기본은 이중맹검이고, 기관 호스팅처럼 익명화가 불가능한 사유가 있으면 단일맹검을 쓸 수 있다. 비공개 홀드아웃은 허용되지만 공개분이 주 기여여야 한다. 데이터 이전 계약서 뒤에 데이터를 숨기는 식의 gated 접근은 오용으로 보고 desk reject 사유가 된다. ICLR 2027도 초록 마감 뒤에는 저자를 추가하거나 뺄 수 없다. 공저자 명단은 초록 마감 전에 확정해야 한다.

2. 산업 벤치마크가 영향력을 얻은 경로 (선례)

3. 프런티어 랩 연구자 공저 조건과 소속 정책 리스크

4. 제조·PLC·산업 에이전트 선행 논문 (핵심 12편)

차별점(HYPOTHESIS, 리뷰어 관점): 위 논문들은 거의 모두 단일 턴 생성이거나 지식 QA다. 우리 결과는 에이전트 루프(Claude Code·Codex 하네스) 재평가다. 원본에서 풀리지 않던 Hard 20개 중 13개를 에이전트 1개 이상이 풀었다(OBSERVED, 내부 보고서). 원본 결함 22건 감사, 안전 위반과 비용을 함께 보는 지표, 한국 중소기업 현장 과제 홀드아웃이 더해진다. NeurIPS E&D가 명시한 "감사·재현·새 프로토콜" 범주에 정확히 들어간다.

5. 논문 골격 초안

• 가제: AutoFactory-Bench: Auditing and Re-evaluating Industrial Control Benchmarks with Agentic Harnesses
• 기여: ① PLCWorld 감사(결함 22건, 수정판 공개) ② 단일 턴 대비 에이전트 루프의 차이(성공·안전·비용·pass^k) ③ FactoryBench 다중 턴 트랙 ④ 현장 검수 Verified subset ⑤ 비공개 현장 홀드아웃 설계와 권리 체계(공개분과 분리)
• 근거 자산: 내부 기술보고서(EN/KO), 내부 실험 게이트(11/5·11/12)

6. 공저자 역할 분담안 (초안, 미발송)

7. 타임라인 (2027-01-05 게이트와 정렬)

• 10/27~11/6: 공저 제안 1장 초안. 원 벤치마크 저자 투고 계획 확인. 공저 후보의 소속·역할 확인. 11/6 판정이 먼저다.
• 11/5·11/12: 내부 실험 게이트 통과 여부 → 논문 기여 ②③ 확정.
• 12/16: ICLR 2027 결정 → PLCWorld 인용 방식 확정.
• 12월 말: arXiv 기술보고서 v1(공저 확정분만). 랩 대화의 "보여 줄 증거"로 쓴다.
• 1월 하순: ICML 2027(스트레치) 또는 건너뜀.
• 2월: KDD 2027 D&B 2차(단일맹검, 랩·대기업 소속 표기) 또는 ICLR 워크숍.
• 5월 중순: NeurIPS 2027 E&D 본 투고(Verified subset과 현장 홀드아웃 포함).

8. 열린 질문

1. PLCWorld가 어느 학회에 투고 중인가. 우리 논문과 범위를 나누는 데 저자들이 동의하는가.
2. 랩 소속 공저를 받을 것인가, 아니면 SWE-bench Verified처럼 "협업 표기"만 받을 것인가(중립성 대 위상).
3. 현장 홀드아웃의 데이터 권리(평가·학습·재판매 분리)를 중소기업과 언제 계약할 수 있는가.

출처 (직접 열어 확인한 것)

1. ICLR 2027 Author Guidelines — https://iclr.cc/Conferences/2027/AuthorGuidelines
2. ICLR 2027 Call for Papers — https://iclr.cc/Conferences/2027/CallForPapers
3. NeurIPS E&D 트랙 소개 블로그 — https://blog.neurips.cc/2026/03/23/introducing-the-evaluations-datasets-track-at-neurips-2026/
4. NeurIPS 2026 E&D FAQ — https://neurips.cc/Conferences/2026/EvaluationsDatasetsFAQ
5. ICML Future Meetings — https://icml.cc/Conferences/FutureMeetings
6. OpenCurious 마감 트래커(2026-08-28 검토) — https://www.opencurious.com/ai-conference-deadlines
7. KDD 2027 D&B CFP — https://kdd2027.kdd.org/datasets-and-benchmarks-track-call-for-papers/
8. DeepMind 출판 통제(FT 인용) — https://winbuzzer.com/2025/04/01/deepmind-tightens-control-over-ai-research-to-guard-googles-competitive-advantage-xcxwbn/
9. Meta 출판 검토 변경(헤드라인만) — https://www.theinformation.com/articles/meta-change-publishing-research-causes-stir-ai-group
10. SWE-bench — https://www.swebench.com/
11. SWE-bench Verified — https://www.swebench.com/verified.html
12. GDPval — https://arxiv.org/abs/2510.04374
13. MLE-bench — https://arxiv.org/abs/2410.07095
14. τ-bench — https://arxiv.org/abs/2406.12045
15. Humanity's Last Exam — https://arxiv.org/abs/2501.14249
16. ITBench — https://arxiv.org/abs/2502.05352
17. Terminal-Bench (HF paper page) — https://huggingface.co/papers/2601.11868
18. PLCWorld arXiv — https://arxiv.org/abs/2610.02982
19. AssetOpsBench — https://arxiv.org/abs/2506.03828
20. PLCBench — https://arxiv.org/abs/2608.26882
21. FactoryBench — https://arxiv.org/abs/2605.07675
22. ERP-Bench/Anchor — https://arxiv.org/abs/2605.26321
23. Agents4PLC — https://arxiv.org/abs/2410.14209
24. LLM4PLC — https://arxiv.org/abs/2401.05443
25. OpenAI Pioneers Program(TechCrunch) — https://techcrunch.com/2025/04/09/openai-launches-program-to-design-new-domain-specific-ai-benchmarks

검색 결과로만 확인한 것(원문 미열람): OpenAI SWE-bench Verified 블로그(403), o1 시스템카드의 Verified 언급, Terminal-Bench ICLR 2026 proceedings의 소속, OpenAI 경제연구 출판 논란(WIRED 2025-12), OpenAI 경제연구 RFP의 출판 조율 조항(403), NeurIPS 2026 시드니 12/6~12와 2027 유럽(FutureMeetings 503), ICLR 2027 SF 4/26~30(HF 트래커).