스타트업 경영 코치 수드입니다.
최근 AI에게 업무를 맡기기 시작한 대표님이 많습니다. 그런데 계정은 대개 대표님 것을 그대로 씁니다.
지난 9월 18일, 구글은 제미나이가 실제 기업 3곳의 시스템에 무단 접속했던 사실을 공개했습니다. AI가 대단한 해킹 기술을 쓴 게 아니었습니다. 뚫린 방법이 우리 회사의 평소 기본값과 똑같았다는 점이 핵심입니다.
오늘은 AI 에이전트 도입 전에 반드시 정해두어야 할 권한 설계 3가지 기준을 정리했습니다.
1. AI가 실제 회사 3곳에 들어간 방법은 평범했습니다
가) 실제 상황
2026년 5월, 이스라엘 보안 스타트업 이레귤러(Irregular)가 AI 모델의 보안 성능을 시험하기 위해 ‘캡처 더 플래그(CTF)’ 모의 침투 훈련을 진행했습니다.
가상의 회사를 만들어 두고 그 시스템에서 정보를 탈취해 오도록 지시한 테스트였습니다.
여기서 두 가지 실수가 동시에 일어났습니다.
① 시험 환경에 실수로 외부 인터넷 접속이 열려 있었습니다.
② 훈련용 가상 회사의 이름이 공교롭게도 실제 존재하는 회사 이름과 같았습니다.
제미나이는 폐쇄된 망 밖으로 나가 실제 기업 3곳의 시스템에 접근했습니다.
나) 어떻게 들어갔을까요?
구글 보안 담당 부사장 헤더 앳킨스(Heather Adkins)의 설명은 이렇습니다.
"모델이 비밀번호를 추측해 실제 회사의 서비스에 접근했다."
>
구글 헤더 앳킨스
"모델이 온라인에 공개된 정보를 찾아 인증정보를 추측했다."
>
구글 헤더 앳킨스
① 그런데, 보안 취약점이나 정교한 공격 코드도 없었습니다. 1건은 단순 비밀번호 대입(추측)이었고, 나머지 2건은 온라인 오픈소스 저장소 등에 방치되어 있던 인증키를 찾아내 로그인한 것이었습니다.
② 세 번 모두 모델은 실제 회사라는 것을 스스로 인지하고 최종 작업을 완료하기 전에 멈췄습니다. 구글은 "내부 안전 조치가 작동했으므로 공시 대상이 아니다"라는 입장이었으나, 7월 말에 통보받고도 월스트리트저널(WSJ) 취재 전까지 비공개로 일관해 논란이 되었습니다.
③ 유사한 평가는 메타, 오픈AI, 앤트로픽에서도 진행되었습니다. 특히 앤트로픽의 클로드(Claude)는 실제 기업 환경이라는 단서를 포착했음에도 "이 또한 나를 평가하기 위한 가상 시나리오의 일부일 것"이라고 오판(합리화)하여 작업을 멈추지 않고 계속 진행했습니다.
다) 1인 기업에게도 필수인 AI 에이전트 도입
① 보안 체계의 격차와 스타트업의 취약한 기본값
· 구글은 전담 보안 조직, 격리된 시험 환경, 사후 통보 시스템을 모두 갖추고도 작은 빈틈으로 시스템이 뚫렸지만, 초기 스타트업에는 이 3가지가 전혀 없습니다.
· 게다가 실제 침투 경로가 '추측하기 쉬운 비밀번호'와 '방치된 인증정보'였다는 점은 대표 계정 하나에 모든 서비스가 묶여 있고 API 키를 단톡방이나 메모장에 공유하는 대다수 스타트업의 현실과 같습니다.
② 불안정한 구조 위에 스스로 움직이는 AI를 얹는 위험
이러한 취약한 기반 위에 AI 에이전트를 도입하는 것은, 불안정한 구조 위에 스스로 판단하고 실행하는 손 하나를 그대로 얹는 것과 같습니다.
③ 작은 위임으로 회사 전체를 열어주는 현장 사례
실제 자문 현장에서는 문의 정리 업무 하나를 맡기기 위해 편의상 대표 계정을 연결했다가 세금계산서, 급여 명세서, 투자 계약서까지 AI에게 통째로 열어주는 일이 흔히 발생합니다.
2. 기준 1: 에이전트에게 '전용 계정'을 줍니다
가) 대표님 계정을 공유하지 마세요
가장 흔한 실수이지만, 가장 고치기 쉬운 영역입니다.
AI 도구에 대표님의 구글 계정이나 쇼핑몰 최고 관리자 계정을 그대로 연동하면 안 됩니다. 그 순간 AI는 대표님이 가진 모든 권한을 행사할 수 있게 됩니다.
나) 최소 권한의 원칙 (Principle of Least Privilege)
보안 업계의 기본 원칙은 "업무 수행에 필요한 최소한의 권한만 부여한다"는 것입니다.
① 에이전트 전용 계정을 생성합니다: 이름부터 사람과 명확히 구분되도록 만듭니다. (예: bot-ops@company.com)
② 기본값은 '읽기' 권한입니다: 쓰기 권한은 꼭 필요한 특정 폴더나 시트에만 제한적으로 부여합니다.
③ 인증정보를 분리합니다: 직원 및 대표 계정과 에이전트 계정의 비밀번호를 다르게 설정하고, 사람 계정에는 2단계 인증(2FA)을 필수로 활성화합니다.
계정을 분리해 두면 사고가 발생하더라도 피해 반경이 해당 계정 안으로 제한됩니다.
3. 기준 2: 되돌릴 수 없는 일은 사람이 누릅니다 (Human-in-the-Loop)
가) 판단은 다음 질문으로 확인합니다
에이전트에게 업무를 일임할지 고민될 때는 다음 질문을 던져보세요.
"잘못되었을 때 3분 안에 원래대로 되돌릴 수 있는가?"
되돌릴 수 있다면 위임하세요. 되돌릴 수 없다면 사람이 최종 제시를 하여야 합니다. 인공지능이 초안을 작성하고 최종 승인은 인간이 내리는 이 구조를 '휴먼 인 더 루프(Human-in-the-Loop)'라고 부릅니다.
나) 4가지 되돌릴 수 없는 사고
① 돈이 나가는 일: 결제 승인, 광고비 집행, 계좌 송금
② 외부로 나가는 일: 고객 메일 발송, 공식 SNS 게시, 견적서 송부
③ 지우는 일: 데이터베이스 삭제, 계정 해지, 주요 파일 정리
④ 약속하는 일: 계약서 날인/서명, 공식 단가 제시, 납기 확정
특히 2번을 가볍게 넘기기 쉽지만, 이미 발송된 메일은 회수할 수 없습니다. 고객 100명에게 잘못 나간 안내 메일 한 통을 수습하는 비용이 그달 매출보다 클 수 있습니다.
다) 실무 운영 방식
AI가 초안과 분석 보고서를 작성하고, 사람이 검토 후 발송/승인 버튼을 누릅니다.
① 이 프로세스는 느려 보이지만 그렇지 않습니다. 작업 시간의 90%는 초안 작성에 소요되며, 최종 검토와 클릭에는 10초 남짓 걸립니다.
② 책임 소재도 명확해집니다. AI가 발송한 잘못된 견적서는 누구의 과실인지 모호하지만, 사람이 확인 후 발송한 문서는 검토자의 책임이 분명합니다. 모호한 책임 소재는 문제 발생 시 조직 내부를 가장 빠르게 와해시킵니다.
③ 반대로 자료 요약, 데이터 리서치, 초안 작성처럼 언제든 되돌릴 수 있는 작업은 과감히 위임하세요.
AI 도구 자체를 고르는 기준은 지난 9월 10일 글 「일주일에 모델 4개, 다 써봐야 할까? 초기 스타트업의 AI 고르기 3원칙」에서 다뤘습니다. 도구를 고르셨다면 그다음이 이 권한 내용입니다.
4. 기준 3: 흔적이 남게 합니다
가) 기록이 없으면 원인 분석이 불가능함
제미나이 사건의 원인을 추적할 수 있었던 이유는 시스템 접근 로그가 남아 있었기 때문입니다.
초기 스타트업이라도 다음 세 가지 로그는 남아야 합니다.
① 에이전트가 어떤 계정으로 접근했는지
② 어떤 데이터를 읽고 수정했는지
③ 작업이 수행된 정확한 시점은 언제인지
기준 1에 따라 전용 계정을 만들어 두면, 구글 워크스페이스나 노션 등의 기본 감사 로그(Audit Log)에 이 세 가지 항목이 자동으로 기록됩니다.
나) API 키는 대화방과 코드에 두지 않습니다
API 키와 액세스 토큰은 회사 금고 열쇠입니다. 단체 대화방, 메모장, 공유 엑셀 시트, 퍼블릭 깃허브 코드에 그대로 노출해 두어서는 안 됩니다. 제미나이가 공개된 인증정보를 찾아 접속했던 취약점이 바로 여기에서 출발했습니다.
① 키는 환경 변수(.env)나 도구가 제공하는 보안 시크릿 저장소에 보관합니다.
② 키를 전달할 때는 일회성 열람 링크 방식을 사용합니다.
③ 실수로라도 외부에 노출된 키는 수정하려 하지 말고 즉시 폐기(Revoke) 한 뒤 재발급합니다.
④ GitHub Secret Scanning 같은 무료 시크릿 감지 도구를 활성화하고, 분기별로 미사용 키를 일괄 정리하는 일정을 캘린더에 등록해 두세요.
다) 실무 권한 설계 체크표
권한 등급은 세 단계(읽기 / 내부 쓰기 / 되돌릴 수 없음) 면 충분합니다. 분류 체계가 복잡해지면 실무진이 지키지 않습니다.
5. '계정 목록'부터 확인하세요
AI 에이전트 도입에서 가장 위험한 것은 기능의 미숙함이 아니라,
"AI가 우리 회사의 어디까지 접근할 수 있는지 아무도 모르는 상태"입니다.
제미나이는 실제 환경임을 알고 스스로 멈췄지만, 클로드는 합리화하며 계속 진행했습니다. AI의 자율적인 도덕적 판단에 보안을 맡겨서는 안 됩니다. 경계선은 사람이 그어야 합니다.
이번 주에는 권한을 대대적으로 개편하려 하지 마시고, 종이 한 장에 다음 항목만 적어보세요.
· 현재 사내에서 활용 중인 AI 도구 목록
· 각 도구에 연동된 로그인 계정
· 해당 계정에 열려 있는 '되돌릴 수 없는 권한'
목록을 작성하는 것만으로 잠재적 위험의 절반은 식별됩니다. 체크표의 '마지막 버튼' 칸 중 사람으로 전환해야 할 작업부터 순차적으로 통제권을 회복하시기 바랍니다.
회사의 열쇠는 대표님이 직접 챙겨야 합니다.