6편 : 사이버 보안 정책과 규제에서의 AI 역할

– 미국 : NIST AI RMF와 사이버 보안 프레임워크 통합

• NIST는 2023년 ‘AI Risk Management Framework(AI RMF)’ 발표
• 사이버 보안 프레임워크(CSF 2.0)에 AI를 포함한 리스크 대응 요소 명시
• 연방기관은 AI를 사용하는 경우, 설계·운영의 투명성과 책임성 확보 필수

* 미국은 AI를 ‘통제 대상’과 ‘활용 수단’ 두 관점에서 모두 접근

– EU : AI 법안(AI Act)과 사이버 보안법

• AI Act(2024)는 AI 시스템을 위험 등급별로 분류해 규제 적용
• ‘고위험 시스템’에 사이버 보안 시스템 포함 → XDR/EDR, 자동 탐지 시스템 규제 대상
• 사이버보안법은 ENISA를 중심으로 AI 기반 위협 분석 시스템 구축

* 유럽은 ‘윤리+위험+보안’을 통합 규제 대상으로 본다

– 대한민국: KISA 중심의 AI 보안 기준 수립

• KISA는 2024년부터 AI 기반 이상행위 탐지 시스템 적용을 위한 가이드라인 개발 중
• 행안부는 공공기관 대상 AI 기반 이메일 필터링 도입 의무화를 추진
• 개인정보보호위원회는 AI 모델 학습 시 민감정보 자동 탐지 및 필터링 기능 의무화 검토

* 한국은 정책, 인프라, 기술 기반을 동시에 확립 중

– AI가 생성한 보안 위협 → 책임 주체 불분명

• 생성형 AI가 작성한 피싱 메일, 악성코드, 딥페이크 영상 → 책임소재 불분명
• AI를 제공한 서비스 사업자와 사용하는 공격자 간의 법적 공백 존재

* 정책 이슈 : ‘AI가 공격을 도왔을 때 책임은 누구에게 있는가?’

– AI의 편향과 판단 오류 → 부당한 자동 차단

• 방어 AI가 정상 사용자를 위협으로 판단해 계정 차단 또는 서비스 중단 발생 가능
• 특히 의료·금융 분야에서의 판단 오류는 실질적 피해로 이어짐

* 정책 이슈 : Explainable AI, 책임성 기반 설계가 중요함

– 데이터 수집·학습 과정에서의 개인정보 침해

• AI 모델이 학습 중 사용자 정보나 민감정보를 흡수하는 경우 발생
• 로그, 이메일, 대화내용 등이 필터 없이 학습될 수 있음

* 정책 이슈 : AI 학습 데이터의 비식별화 및 개인정보 자동 탐지 기능 필요

– 미국 FBI의 AI 기반 위협 예측 시스템

• 수십 개 보안 이벤트 데이터를 머신러닝으로 분석하여 공격 가능성 높은 조직 우선 보호
• 사이버 범죄자들의 도메인 구매 패턴, C2 통신 기록, 도구 재사용 이력 등을 추적

* 효과 : FBI 대응 시간 단축, 사전 경고율 상승

– 유럽의 eIDAS 규제 내 AI 인증 모듈 적용

• 디지털 신원 인증 시스템에서 AI를 활용해 생체정보 위조 탐지 및 사용자 인증 강화
• 예 : AI가 얼굴 인증 영상의 딥페이크 여부를 실시간 검증

* 효과 : 공공서비스 접근에 있어 신뢰성과 보안성 동시 확보

– 한국 공공기관의 AI 기반 이메일 필터링

• AI가 메일 본문과 첨부파일을 문맥 기반으로 분석해 피싱·악성코드 포함 여부 탐지
• 의심 메일은 자동 격리 또는 관리자 승인으로 처리

* 효과 : 공무원 대상 피싱 사고 감소, 업무 중단 최소화