비정본 리서치 노트. 주체: Environment Foundry. 출처는 직접 열어 본 것만 URL을 달았다. 직접 열지 못한 것은 미확인으로 표시했다. 라벨: OBSERVED(1차 출처), HYPOTHESIS(추론).
0. 결론 5줄
OBSERVED논지 4의 방향은 맞다. PLC 코드는 정적 채점으로는 품질을 가릴 수 없고, 실행(폐루프 시뮬·실제 런타임)으로만 가려진다(SemaPLC). LLM이 HAZOP을 혼자 하면 사고 시나리오 타당도가 낮다(아래 2절, 수치는미확인).OBSERVED다만 "사람이 구조화"만으로는 부족하다. 전문가 3명이 검수한 SWE-bench Verified도 감사해 보니 어려운 문항의 59.4%가 결함이었다. 검수자 + 반례 + 공격(exploit) 에이전트 + 다중 정답 검증까지 해야 골든셋이 된다.OBSERVED공개 골든셋은 결국 오염된다. OpenAI는 SWE-bench Verified 보고를 중단했고, Terminal-Bench는 canary 문자열을 스스로 "대체로 상징적"이라고 적었다. 팔 수 있는 것은 비공개 홀드아웃과 주기적 갱신이다.HYPOTHESIS한국 SI 단가로 실행형 PLC 과제 하나를 만들면 약 200만~550만 원이 든다. 시장 단가(과제당 $200~2,000)의 상단 이상이다. 그래서 과제 단위가 아니라 환경 단위로 팔고, 한 플랜트 모델에서 변형 과제를 많이 뽑는 구조여야 수지가 맞는다.HYPOTHESIS정유·발전소는 연속 공정(DCS)이다. 지금의 AFB/PLCWorld는 이산 제조(Motion·Material Handling)다. 발전·정유 고객용으로는 ISA-106 기동·정지 절차, ISA-18.2 알람 합리화, C&E/SIS 인터록 과제가 필요하다.
1. 공장을 구조화하는 표준: 그대로 채점기 재료가 된다
| 표준·산출물 | 구조화하는 것 | 골든셋에서 쓰는 법 | 출처 |
|---|---|---|---|
| ISA-95 (IEC 62264) | 0~4 레벨(PLC·DCS=L2, MES=L3, ERP=L4), L3/L4 교환 모델 | 과제 범위를 레벨로 태깅(L1~2 제어 vs L3 MES) | ISA-95 |
| ISA-88 (+TR88.00.02 Machine and Unit States) | 배치 모델·레시피·장비 상태 | 상태 전이 위반 = 안전 위반 규칙 | ISA-88 |
| ISA-106 (2023) | 연속 공정 기동·정지·비정상 상황 절차 자동화. 상태 기반(SBC)·시퀀스 기반(SqBC) | "SOP → 상태 기계" 과제. L1~2 범위다(L3 제외) | ISA 미리보기 PDF (검색 요약 기준, PDF 본문 미확인) |
| ISA-18.2 (2016) + TR18.2.1~.8 | 알람 철학, 식별·합리화(필요성, 설정값, 결과, 운전원 조치, 우선순위) | 합리화된 알람 목록 = 정답표. 알람 홍수·우선순위 과제 | ISA-18 시리즈 |
| HAZOP (IEC 61882:2016) | 노드별 설계 의도 대비 이탈 → 원인·결과·안전장치·조치 | 이탈 시나리오 = 안전 테스트 케이스. 안전장치 열 = 보호층 | IEC 61882 샘플 (검색 요약 기준) |
| C&E 매트릭스, P&ID, I/O 리스트, FDS | 인터록 원인→동작, 계장 연결, 기능 명세 | C&E는 바로 실행 가능한 오라클(입력 원인→기대 출력) | 업계 관행. 1차 출처 미확인 |
| DEXPI 2.0.1 (2026-09-30) | P&ID·PFD를 XML 정보 모델로 교환 (ISO 15926 기반) | P&ID를 사람이 다시 그리지 않고 기계가 읽는다 | DEXPI 2.0.1 공지 (검색 요약 기준) |
| MTP (VDI/VDE/NAMUR 2658, IEC 63280 추진) | 공정 모듈의 서비스·상태 기계·OPC UA 인터페이스 | 모듈 단위 과제 템플릿 | Beckhoff MTP (검색 요약 기준) |
| 가상 시운전 | PLCSIM Advanced: 가상 S7-1500, C++/C# 공동 시뮬 API, SIL 시운전 / Factory I/O: 3D 공장, Ultimate에 SDK | 실제 벤더 런타임으로 채점 | Siemens 기능 매뉴얼, Factory I/O (가격 278€/년은 리셀러 정보, 미확인). Emulate3D 미확인 |
HYPOTHESIS 고객은 이미 이 산출물(FDS·C&E·알람 DB·HAZOP 워크시트)을 준공 문서로 갖고 있다. 골든셋은 인터뷰로 처음부터 짜는 것보다 기존 엔지니어링 문서를 실행형 과제로 컴파일하는 작업에 가깝다. 이렇게 보면 고객에게 요청할 것이 구체적으로 정해진다. "한 유닛의 FDS + I/O 리스트 + C&E + HAZOP 워크시트"다.
2. 실행형 채점기로 바꾼 사례
| 사례 | 채점 방식 | 시사점 | 출처 |
|---|---|---|---|
| PLCWorld (2026-10) | 100과제 → 473 조건. ST 실행 + 플랜트 시뮬 폐루프. 성공·안전 위반 분리. 반례 542개로 채점 규칙 검증, 실무자 검토 | GPT-5.5 Easy 82.7% / Hard 25.1%. 산업 PLC 프로그램·문서에서 제어 관계를 뽑아 합성 과제로 만듦 | arXiv 2610.02982 |
| SemaPLC (2026-08, midea-ai 저장소) | 사양 적합 + 컴파일 + 실제 PLC 런타임 트레이스 비교. 독립 117과제, 프로젝트 맥락 65과제 | 정적 점수는 방법 간 10점 이내, 동적 점수는 22.4~31.4 vs 52.2. "실행만이 충실한 시험" | arXiv 2608.18565 |
| LLM4PLC (ICSE 2024) | 문법 검사기·컴파일러·SMV 검증기 루프. FischerTechnik 테스트베드 | 성공률 47→72% | arXiv 2401.05443 |
| Agents4PLC (IEEE TSE) | 사람이 작성·검증한 형식 명세 + 참조 코드 | 명세를 사람이 쓴다는 점이 논지 4와 같다. 과제 수 미확인 | arXiv 2410.14209 |
| Mitsubishi Electric RAG PLC | 사내 온프렘 코딩 도우미. "고객이 클라우드를 신뢰하지 않음" | 논지 2의 일본 사례 | arXiv 2511.09122 |
| PLCBench (2026-08, 보안) | 실제 PLC 4종 HIL. 에이전트가 물리적 영향 달성 75/240(31.3%) | 에이전트에 PLC 권한을 주는 것 자체가 위험하다는 근거 → 논지 1 | arXiv 2608.26882 |
| AssetOpsBench (IBM) | 산업 자산 운영. 사람이 쓴 질의 140+, CouchDB 시뮬 IoT | 사용자 250+, 제출 에이전트 500+ | arXiv 2506.03828 |
| ERPBench (GAIR) | ERPsim 6라운드 경영 시뮬. 100문항, Solo/Arena | 같은 이름의 벤치가 최소 2개 더 있다 | arXiv 2609.04667 |
| GDPval (OpenAI) | 44개 직업 1,320과제. 경력 평균 14년 전문가가 작성, 과제당 평균 5회 검수, 전문가 기준 평균 7시간 분량. 제조 부문 포함(산업공학·기계 엔지니어, 생산 감독자, 구매) | 랩이 제조 전문가 과제를 직접 만든다. 단 산출물 비교형(문서)이고 실행형 제어는 아니다 | arXiv HTML |
| LLM HAZOP (Safety Science 194, 2026) | 같은 P&ID로 LLM 4종이 HAZOP 워크시트를 자동 생성 | 제목·저자는 Crossref로 확인. "사고 시나리오 타당도 19~37%"는 검색 요약에서만 봤다(미확인) | ScienceDirect (403) |
3. 품질 기준: 랩이 사는 것은 'Verified'다
OBSERVEDSWE-bench Verified: 전문가가 1,699문항을 각 3명씩 독립 검수해 500문항으로 줄였다. 2026-02에 OpenAI가 보고를 중단했다. 이유는 둘이다. ① o3가 64회 중 일관되게 못 푼 138문항을 6명 이상이 다시 검수했더니 59.4%가 테스트·설명 결함이었다. ② 모든 프런티어 모델이 gold patch나 문제 세부를 재현했다(오염). OpenAIOBSERVEDTerminal-Bench 2.0: 기여자 93명이 낸 229과제 중 89개를 채택했다. 검증 기준은 셋이다. 구체성(테스트는 허용 가능한 최종 상태일 때만 통과), 풀이 가능성(사람이 쓴 오라클), 무결성(지름길 차단). 과제당 검수 약 3시간. 파이프라인은 오라클 통과·no-op 실패 → 체크리스트 → 결정적 검사(canary 등) → LLM 검사 → 사람 검수 → 다중 모델 실패 분류 → exploit 에이전트 → 감사자 2명 순서다. canary는 "대체로 상징적"이고 비공개 테스트셋은 향후 과제로 남겼다. arXiv 2601.11868OBSERVEDABC 체크리스트: 과제·보상 설계 결함 때문에 성능이 상대적으로 최대 100% 틀리게 측정된다(τ-bench는 빈 응답을 성공으로 셌다). arXiv 2507.02825OBSERVEDEF 자체 근거: PLCWorld 100과제를 감사해 64과제에서 결함 후보, 원저자 전달 22건(심각 5건)을 찾았다(내부 감사). 실무자가 검토한 벤치도 약 1/5이 결함이다. 감사 능력 자체가 상품이다.
4. 프런티어 랩이 원하는 RL 환경 스펙
OBSERVED1순위는 보상 해킹에 대한 견고성이다("높은 보상 = 실제로 풂"). 통과율은 최소 2~3%(64~128회 중 1회 이상)여야 하고, 0%/5%/30% 과제를 섞으며, 약 70%가 되면 퇴역시킨다. 난이도 기울기가 매끈해야 한다. 납품은 Docker, 저장소는 커밋 고정이다. 수요는 학습이 벤치마크의 10~20배다. 과제당 $200~2,000, 환경 $20k~300k, 독점은 4~5배. "전문가 찾기보다 관리·품질관리가 어렵다." 랩 내재화도 늘고 있다. Epoch AIOBSERVEDOpenAI RFT 문서도 같은 조건을 건다. 전문가들이 독립적으로 같은 답에 수렴해야 하고, 추측으로 맞힐 수 없어야 하며, 0% 과제로는 학습이 안 된다. OpenAI는 파인튜닝 플랫폼을 접는 중이다(신규 사용자 불가, 기존 고객은 2027-01-06까지 작업 생성 가능). OpenAI RFTOBSERVED반대 방향의 흐름도 있다. 환경 자동 합성이다. EnvCraft는 자연어 설명에서 환경 139개, 과제 약 2만 개를 자동 생성했다. arXiv 2609.05576 Epoch 인터뷰에서는 "대충 만든 버그 클론은 쓸모없다"는 반론이 나왔다.
5. 인력·비용 추정 (한국)
OBSERVED2026 엔지니어링 노임단가(일급, 2025-12-02 공표)는 전기 특급 360,108원, 고급 311,965원, 기계/설비 특급 401,407원이다. csr.co.kr 집계표, 원자료 한국물가정보. 대가 기준으로는 제경비가 직접인건비의 110~120%, 기술료가 (인건비+제경비)의 20~40%다. 엔지니어링사업대가의 기준(2018 고시본) (최신 개정 여부미확인). 이를 적용하면 SI 외주 특급 1시간은 약 11만~15만 원이다(VAT 별도).미확인중소 PLC 제어 채용공고 연봉은 3,000만~5,000만 원대(잡코리아 검색 요약, 직접 열람 안 함). 프리랜서 시간당 단가는 공개 자료를 찾지 못했다.HYPOTHESIS실행형 과제 1개(Medium~Hard) 제작 시간 추정: 공정 구조화(FDS·C&E 읽기) 4~8h + 시뮬 시나리오·I/O 매핑 4~12h + 참조·대안 풀이 3~8h + 채점 규칙·반례(PLCWorld는 과제당 약 5.4개) 3~6h + 검수 3h = 17~37시간, 약 200만~550만 원. 기존 플랜트 모델을 재사용하면 시뮬 항목이 거의 0에 가까워진다. 사람 전문가 기준선(Hard 10과제, 과제당 2h, 40~60인시)은 내부 실험 계획에 따로 있다.HYPOTHESIS인력 확보 경로: ① 제어 SI 업체(자동화 설비 제조사) ② 대기업 협력 SI·은퇴 엔지니어 ③ 폴리텍·대학 자동화 학과(검수 보조) ④ PLCWorld 저자 그룹. 1차 출처로 확인한 것은 없다.
6. 반박·수정 포인트 요약
- 사람 구조화만으로는 골든셋이 안 된다. 반례·exploit·다중 정답 검증이 필수다(SWE-bench 59.4%, PLCWorld 감사 22건).
- 공개 골든셋은 오염된다. 비공개 홀드아웃과 갱신 주기가 상품이다.
- 과제 단가로는 한국 SI 원가가 시장 상단을 넘는다. 환경 단위로 팔고 변형으로 확장해야 한다.
- OpenAI는 GDPval로 제조 전문가 과제를 직접 만들고 있다. 경쟁 상대이자, 실행형 제어 과제의 공백을 보여 주는 근거다.
- 자동 환경 합성이 빨리 늘고 있다. 사람의 역할은 "전부 작성"에서 "구조화·검증·공격"으로 옮겨 간다.
- 연속 공정(발전·정유)과 이산 제조(AFB)는 표준과 과제 유형이 다르다.