- 작성 2026-10-25 · 주체 Environment Foundry · 용도: 발전·정유 대기업, 대기업 SI 미팅 준비
- 표기: 출처를 직접 열어 확인한 것은 URL을 달았다. IEC 원문(유료)은 열지 못했으므로 2차 인용으로 확인한 것은 "2차"로, 확인하지 못한 것은 "미확인"으로 표시했다.
한 줄 결론
안전은 맞는 축이다. 다만 고객에게 파는 것은 "안전한 AI"가 아니다. AI가 쓴 제어 코드가 공장에 들어가기 전에 통과하는 검증 게이트와 그 증거를 판다. 규제와 표준은 모두 "AI는 안전 판단·SIS에 손대지 않는다, 사람이 책임진다, 배포 전에 시뮬레이션에서 검증한다"로 모인다. 그래서 우리 자리는 SIS가 아니라 BPCS(일반 제어)·인터록 로직의 변경 전 검증이다.
1. 표준·규제가 실제로 말하는 것
| 문서 | 확인한 내용 | 우리에게 주는 의미 |
|---|---|---|
| CISA·ASD ACSC 외 8개 기관 「Principles for the Secure Integration of AI in OT」(2025-12-03, NSA AISC·FBI·BSI·NCSC-UK 등 참여) 링크, PDF | 원문: "AI such as LLMs almost certainly should not be used to make safety decisions for OT environments." "Ultimately, humans are responsible for functional safety." "Where AI is actively updating control logic, use safety thresholds ... human-in-the-loop intervention points." "Continuously validate and refine AI models in simulated environments before deployment." LLM은 주로 Purdue 4~5층(업무)에 쓰인다고 본다. 벤더에게 온프렘 운영 가능 여부를 묻고, 운영 데이터로 학습하지 못하게 하라고 권고한다. 안전 관련 엣지 케이스는 OT 운영자 전문성이 있어야 잡힌다고 쓴다 | 논지 1·2·4를 정부 문서 한 장으로 받친다. "시뮬레이션에서 배포 전 검증"이 AFB의 정확한 자리다 |
| IEC 61508-3:2010 Table A.2 | "AI – fault correction"은 SIL 2~4에서 NR(권장하지 않음), SIL 1은 중립 (2차: arXiv 2108.11844, arXiv 2003.00260). 원문 미확인 | 안전 기능 안에 AI를 넣는 길은 사실상 막혀 있다 |
| IEC 61508-3 7.4.4 오프라인 지원 도구 분류 | 실행 코드에 직접 기여하는 도구는 T3(코드 생성기·컴파일러). T3는 "도구가 명세대로 동작한다는 증거"와 도구 실패 검출·완화 조치가 필요하다 (2차: TÜV SÜD, LDRA). LLM을 T3로 다룬 IEC 공식 해석은 찾지 못함(미확인) | LLM 코딩 에이전트 = T3 도구로 보면, AFB 점수는 "도구 신뢰 증거(tool confidence)" 자료가 된다. 업계 언어로 가장 잘 맞는 연결 고리다 |
| IEC 61511(=ANSI/ISA-61511, ISA84가 2017~18년 무수정 채택) ISA | BPCS는 SIS 기능 무결성을 해치지 않도록 분리·독립. BPCS 보호층이 주장할 수 있는 위험 감소는 ≤10(PFD ≥0.1), 넘으려면 BPCS도 61511로 설계·관리 (2차: IChemE Hazards 26). 61511은 LVL(래더·FBD·ST) 응용 프로그램을 다룬다 | 우리 과제(ST, 인터록)는 BPCS 인터록 = "SIL 0/a" 영역이다. SIL을 주장하면 안 된다 |
| ISO/IEC TR 5469:2024 샘플 | 범위에 "use of AI systems to design and develop safety related functions"가 명시돼 있다. AI 기술 등급×사용 수준 매트릭스(6절)는 샘플에 없어 세부 미확인 | "AI로 안전 관련 기능을 설계·개발"하는 경우가 이미 국제 문서의 한 범주다. 미팅에서 인용 가능 |
| EU AI Act Annex III 2 링크 + Digital Omnibus(Reg. 2026/1744) Gibson Dunn | 전기·가스·열 공급의 관리·운영에서 "안전 부품"으로 쓰는 AI = 고위험. 의무 시점이 2027-12-02(Annex III), 2028-08-02(Annex I 제품)로 연기. 최적화·품질관리용은 고장 시 건강·안전을 위협하지 않으면 고위험이 아님. 기계 내장 AI는 AI Act 의무에서 "대부분 면제"(기계규정으로 일원화) | 한국 발전·정유 고객에게 직접 적용은 아니다. 유럽 수출·합작 설비에만 간접 영향 |
| EU 기계규정 2023/1230 Annex I Part A 5·6 EUR-Lex | "자기 진화(ML) 동작을 하는 안전 부품"과 이를 내장한 기계는 제3자 적합성 평가 의무, 2027-01-20 적용. 학습·진화하지 않는 소프트웨어에는 적용하지 않는다는 취지(전문) | 해석(미확인): LLM이 만든 고정 PLC 코드는 "자기 진화"가 아니므로 이 조항 대상이 아닐 가능성이 크다. 규제 부담은 제품 인증이 아니라 개발 공정(T3 도구·변경관리) 쪽에 걸린다 |
| 한국 인공지능기본법(2026-01-22 시행) 조문 지도, 법령 | 제2조4호 가목 "에너지의 공급", 마목 원자력시설 운영이 고영향 영역. 제34조: 위험관리방안, 사람의 관리·감독, 문서 보관. 직접 벌칙은 없고 시정명령 불이행 시 과태료 | 발전·정유 고객은 고영향 검토 대상이 될 수 있다. "사람 감독 증거"를 남기는 평가 기록이 실무 수요가 된다 |
| PSM 변경관리 화학물질안전센터 | 제조공정·운전절차 변경 시 변경관리 수행(고용노동부 고시) | 인터록·제어 로직 수정이 변경관리 대상인지 직접 명시는 못 찾음(미확인, 해석상 해당 가능). 맞다면 AI 코드 변경 = MOC 서류가 구매 트리거다 |
2. PLC 코드 생성 연구는 안전을 어떻게 검증하나
- LLM4PLC(ICSE-SEIP 2024, Siemens 연구진 공저) arXiv 2401.05443: 문법 검사(MATIEC) → 자연어 명세를 SMV로 바꿔 nuXmv 모델 검사 → 사람 피드백 반복. 실험실 FischerTechnik 테스트베드.
- Agents4PLC(IEEE TSE) arXiv 2410.14209: 계획·코딩·검증·디버깅 다중 에이전트, 코드 수준 형식 검증. 후속 SemaPLC arXiv 2608.18565는 그 벤치 117개 중 43개의 오라클·명세 결함을 PLC 엔지니어가 고쳤다고 보고. 형식 검증도 명세가 틀리면 소용없다는 증거다.
- PLCWorld arXiv 2610.02982, AFB의 원천: 폐루프 시뮬레이션으로 Safety Violation Rate(상충 출력, 인터록 없는 동작, 금지 동작)를 따로 잰다. Hard에서 모든 모델 위반이 급증(GPT-5.5 Motion Hard 65%, Material Hard 32%). 성공률이 높다고 위반이 낮지 않다(Gemini 3.1 Pro가 GPT-5.5보다 성공 높고 위반도 높음). 검증 프레임워크(Agents4PLC·AutoPLC·SemaPLC)도 위반을 일관되게 줄이지 못했다. 저자 스스로 "does not constitute safety certification"이라 쓴다. IEC 61508·SIL 언급은 없다.
- C&E 자동화(Imperial College, 2026-06) arXiv 2606.31614: 지식그래프가 C&E 행을 만들고 LLM은 "새 임계값·태그 발명 금지" 조건에서 설명·규칙만 쓴다. 15행 규모, 인증 언급 없음. 업계가 가려는 방향은 LLM은 생성 아닌 해석, 로직은 구조화된 원천에서다(논지 4와 같은 방향).
- 벤더: Siemens Industrial Copilot은 SCL을 생성하고 엔지니어가 검토 후 가져오는 흐름이다 Siemens. 안전(F-) 프로그램 생성을 지원한다는 근거는 못 찾았다(미확인). F-프로그램은 F-LAD/F-FBD 전용·서명 관리라 일반 SCL 생성과 분리돼 있다 Siemens 매뉴얼.
3. 사고·니어미스
- AI가 생성한 제어 코드로 인한 공장 사고·니어미스 공개 사례는 찾지 못했다(부재 확인이 아니라 미확인). 고객의 두려움은 사고 경험이 아니라 예방적이다.
- 가장 가까운 공식 사례는 보안이다. CISA AA26-231A(2026-08-19, NSA·CISA·FBI·DOE·EPA) 링크: 공격자가 AI로 만든 python-snap7 스크립트로 Siemens S7 PLC 메모리·래더 로직을 읽고 쓰며, 대상에 에너지·화학·제조가 있다. 탐지 권고에 "작업지시·변경 티켓 없는 설정 변경"이 있다. 아직 물리 피해 확인은 없다.
- PLCBench(2026-08) arXiv 2608.26882: 실제 PLC 4종 HIL에서 LLM 에이전트 240회 중 31.3%가 물리 목표를 지속시켰다. 공격 쪽 연구지만 "에이전트가 PLC에 쓰기 권한을 가지면 물리 영향이 난다"를 수치로 보여 준다.
4. 발전소·정유에서 AI가 맡는 일과 안 되는 일
- 이미 하는 일: GS칼텍스는 국책 "AI 자율제조" 과제(국비 80억여 원, 2028년 말까지, 여수공장 실증)로 단위공정 최적화 모델을 만들고 있다 GS칼텍스. 2026-10 기사는 자체 AI 모델로 품질 예측·최적 운전조건 도출·이상 징후 감지를 한다고 쓴다(직접 제어 서술 없음) 비즈트리뷴. 해외 Imubit은 자문 모드에서 시작해 운영자 경계 안에서 DCS 설정값을 직접 쓰는 폐루프로 간다 Imubit.
- 안 되는 일: SIS·안전 판단(CISA "almost certainly should not"), SIL 2 이상 안전 기능 내부 AI(IEC 61508 NR), 변경관리·사람 승인 없이 제어 로직 직접 수정.
- 회색지대(우리 시장): BPCS 시퀀스·인터록 코드 작성·수정 보조, C&E·인터록 명세 정합성 점검, 변경 전 시뮬레이션 검증, 사고 후 로직 진단.
5. 우리 "안전 위반율"을 업계 언어로 옮기면
- 내부 논문 초안 v1은 이미 "안전 위반"을 "인터록·보호 위반"으로 바꿨고 "플랜트에 사람이 없고 안전 기능 개념도 없다, 이 지표로 안전성을 주장하지 않는다"고 적었다. 미팅에서도 이 표현을 지켜야 한다.
- 번역 표: 위반 1건 = C&E 매트릭스 한 행(원인→조치)을 어긴 것 또는 BPCS 인터록 한 개를 우회한 것. 위반율 = "검토자가 잡아야 하는 결함이 코드에 남는 비율"(T3 도구 신뢰 증거). 중대도 S3/S2/S1 초안은 HAZOP 결과 심각도와 맞추면 된다(엔지니어 검토 대기).
- 쓰면 안 되는 말: "SIL 3급 안전", "안전 인증". SIL은 SIS 안전 기능의 PFD 등급이지 BPCS 코드나 모델 점수가 아니다.
6. 논지를 바꾸는 발견
- 안전은 "AI가 안전을 맡는다"로는 팔 수 없다. 표준·정부 문서가 모두 금지 쪽이다. "AI가 쓴 코드가 사람 검토 전에 결함을 얼마나 남기는가"로 팔아야 한다.
- 위반율 숫자(GPT ~1%, Claude 5~13%, DeepSeek ~20%)는 과제 구성에 크게 좌우된다. 같은 PLCWorld에서 GPT-5.5 Hard 위반은 32~65%다. 분모(과제 난이도·조건 수)를 같이 말하지 않으면 엔지니어가 바로 반박한다.
- 형식 검증 기반 연구도 명세 결함(117개 중 43개)과 위반 미감소를 보였다. "검증 도구를 붙이면 안전하다"도 성립하지 않는다. 좋은 쪽으로 보면 현장 엔지니어가 명세를 구조화하는 일(논지 4)의 가치를 받친다.
- GS칼텍스는 이미 국책 과제로 AI 운전 최적화를 하고 있다. "대기업이 AI를 소극적으로 쓴다"(논지 2)는 정유 최적화 영역에서는 맞지 않는다. 소극적인 곳은 제어 로직 수정과 안전 계층이다.
- 실제 사고 데이터가 없다. 위험의 실증은 보안(AA26-231A, PLCBench) 쪽에서 나온다. 안전 + 보안(IEC 62443)을 함께 말하는 편이 설득력이 크다.
7. 미확인으로 남은 것
- IEC 61508·61511 원문 조항 번호와 문구(유료 원문 미열람), TR 5469 등급×사용 수준 매트릭스 세부.
- LLM 코드 생성기를 T3 도구로 인정·평가한 TÜV·exida 등 인증기관 지침.
- PSM 변경관리 고시가 DCS/SIS 로직 변경을 명시하는지, KOSHA 가이드 해당 조항.
- 국내 민간 발전사의 AI 적용 범위와 SIS 정책, Siemens Copilot의 F-프로그램 지원 여부.
- IEC 62443 개정판에서 AI 에이전트 접근(구역·도관)을 다루는지.