최근 구글(Google)은 이란, 중국, 러시아, 북한 등 국가의 정부 지원 해커들이 자사의 AI 서비스인 제미나이(Gemini)를 악용하려는 시도를 감지했다고 밝혔습니다. 특히 이란의 활동이 가장 두드러졌는데, 이들은 피싱(phishing) 공격을 위한 콘텐츠 제작, 표적 감시 정보 수집, 소프트웨어 스크립트 작성 등에 제미나이를 활용한 것으로 알려졌습니다.
제미나이를 통한 국가별 악용 사례
구글의 위협 인텔리전스 그룹(TIG) 보고서에 따르면, 이란의 정부 지원 해커들은 제미나이를 가장 활발히 사용한 것으로 나타났습니다. 이란의 해커 그룹들은 주로 안드로이드 보안 연구, 취약점 탐색, 무료 호스팅 제공자 식별, 사이버 작전을 위한 지역별 페르소나 및 콘텐츠 제작 등에 제미나이를 활용했습니다. 특히 이란의 APT42(Advanced Persistent Threat 42) 그룹은 피싱 콘텐츠 제작에 제미나이를 사용했으며, 이는 이란의 전체 제미나이 사용 활동 중 30%를 차지했습니다.
중국의 경우, 20개의 해커 그룹이 제미나이를 콘텐츠 생성 및 기본 연구에 사용한 것으로 확인되었습니다. 이들은 주로 미국 정부 기관에 대한 정보 수집과 마이크로소프트 관련 시스템 연구, 번역 작업 등에 제미나이를 활용했습니다.
북한의 경우, IT 전문가를 서방 기업에 침투시키기 위한 구직 신청서 작성에 제미나이를 사용한 사례가 발견되었습니다. 또한, 디스코드(Discord) 플랫폼 내 프리랜서 포럼 탐색 및 한국의 군사 및 핵 기술 관련 정보 수집 시도도 있었습니다.
러시아는 상대적으로 제미나이를 적게 사용한 것으로 보이는데, 이는 자체적으로 개발한 대형 언어 모델(LLM)을 사용하거나 감시를 피하기 위해 노력한 결과일 가능성이 있습니다. 다만, 러시아의 활동 중 40%는 고(故) 예브게니 프리고진(Yevgeny Prigozhin)이 이끌던 와그너 그룹(Wagner Group)과 관련된 그룹에서 비롯된 것으로 알려졌습니다.
구글의 대응과 방어 시스템
구글은 제미나이의 보안 시스템이 악성 코드 생성이나 개인 정보 유출 시도를 효과적으로 차단하고 있다고 강조했습니다. 일부 사용자가 공개적으로 알려진 ‘제일브레이크(jailbreak)’ 프롬프트를 변형하여 필터를 우회하려는 시도가 있었지만, 이러한 시도는 대부분 실패한 것으로 나타났습니다.
예를 들어, 한 사례에서는 실행 파일에 인코딩된 텍스트를 삽입하라는 요청과 서비스 거부 공격을 위한 파이썬(Python) 코드 생성 시도가 있었습니다. 제미나이는 Base64-to-hex 변환 요청은 처리했지만, 악성 쿼리는 거부했습니다.
구글은 또한 제미나이를 통해 다른 서비스의 취약점을 악용하려는 시도도 감지했으며, 이러한 시도 역시 방어 시스템에 의해 차단되었다고 설명했습니다. 구글은 이러한 방어 시스템을 더욱 개선하기 위해 노력 중이며, 딥마인드(DeepMind) 팀도 AI 서비스의 보안 강화를 위해 새로운 평가 및 훈련 기술을 개발 중입니다.
AI의 악용 가능성과 한계
구글은 AI가 위협 행위자들에게 유용한 도구가 될 수 있지만, 아직까지는 획기적인 변화를 가져오는 수준은 아니라고 평가했습니다. 보고서에 따르면, 해커들은 주로 문제 해결, 연구, 콘텐츠 생성과 같은 일반적인 작업에 AI를 사용하고 있으며, 새로운 능력을 개발하는 데는 활용하지 못하고 있습니다.
구글은 “AI가 위협 행위자들에게 유용할 수 있지만, 아직까지는 게임 체인저라고 할 만한 수준은 아니다”라고 강조하며, 지속적인 보안 강화와 모니터링을 통해 AI의 악용을 방지하겠다는 의지를 밝혔습니다.
이번 사례는 AI 기술이 발전함에 따라 이를 악용하려는 시도도 늘어나고 있음을 보여주는 동시에, 기술 제공자들의 방어 시스템이 얼마나 중요한지 다시 한번 상기시켜 줍니다.