2편: 생성형 AI와 사이버 위협: 피싱, 딥페이크, 자동 해킹의 진화

실제 사례

• 2024년 하반기, 한 글로벌 기업 임원은 AI가 작성한 이메일을 통해 위장된 회계 보고서를 열람하게 되었고, 링크 클릭으로 내부 시스템이 감염됨
• AI 챗봇을 통해 피싱 대화를 유도하고, 링크나 인증정보 탈취까지 연결되는 공격 발생

위협 포인트

• AI는 이메일 주소와 이름, 기업명 등을 조합해 정교한 문장 작성 가능
• 다국어 피싱 가능 (한글/영문 자동 전환)
• 보안 교육을 받은 직원도 속기 쉬움

공격 유형

• CEO 사칭 영상: 영상 통화에서 얼굴과 음성을 모두 딥페이크로 위장하여 금융 거래 요청
• 실시간 음성 사칭: 전화 통화 중 실시간으로 사장의 목소리를 흉내 내 지시 수행 유도
• 디지털 전시회, 인터뷰 영상 위장: 신뢰 기반 공격 (친숙한 인물의 영상으로 악성 URL 유도)

실제 사례

• 2023년 영국, 한 기업 회계팀이 딥페이크 영상 통화에서 CEO로 위장한 인물의 요청에 따라 25만 달러 송금
• 국내에서도 정치인 사칭 딥페이크 영상이 SNS에 확산된 사례 존재

위험성 요약

• 신뢰 기반의 사회공학 공격이 강화됨
• 사전 경고 없이 발생하며 육안으로 탐지 어려움
• 실시간 음성 합성 기술은 문자 인증보다 빠름

AI 활용 자동화 도구 예시

• 취약점 스캐너 자동 생성: Nmap, Metasploit 기반 스크립트를 AI가 생성
• 랜섬웨어 템플릿 생성: LLM을 통한 단순 랜섬웨어 코드 자동 생성
• 피싱 웹사이트 자동 제작: HTML, JS 기반 웹 사칭 코드를 AI가 구축

보안 커뮤니티 우려

• GitHub Copilot, ChatGPT 등에서 보안상 허용되지 않는 코드가 생성될 수 있음
• Prompt Injection을 통해 악성 명령어를 유도하여 결과물을 왜곡

실제 위협 시나리오

1. 공격자가 “직원용 보안 포털 페이지를 만들어줘”라고 요청

2. AI는 기업 로고와 유사한 페이지 생성

3. 로그인 요청 입력을 통해 자격 증명 탈취

기술적 대응

• AI 기반 이상 탐지 시스템 도입 (UEBA, LLM Traffic Analysis)
• 피싱 탐지 강화 솔루션 도입 (예: 자연어 기반 탐지 엔진)
• 딥페이크 탐지 솔루션 활용 (영상/음성 위조 판단 알고리즘)
• 코드 생성 도구에 대한 정책 수립 (Copilot 사용 가이드라인 등)

정책적/교육적 대응

• AI 관련 내부 보안 가이드라인 수립
• 임직원 대상 딥페이크 및 AI 피싱 사례 교육
• 의심되는 대화나 요청에 대한 다중 인증 적용
• AI 사용 모니터링 및 접근 통제 정책 강화