인공지능 개발 경쟁의 화두가 바뀌고 있다. 얼마 전까지만 해도 경쟁의 기준은 더 큰 모델, 더 많은 데이터, 더 빠른 출시였다. 이제는 그 옆에 ‘안전’과 ‘통제’라는 단어가 올라왔다. 미국의 주요 AI 기업 경영진까지 프런티어 AI의 개발 속도를 조절할 필요가 있다고 말하면서 논쟁은 연구실을 넘어 산업과 국가 전략의 문제로 번지고 있다.

다만 이 흐름을 단순히 “AI 개발을 막자는 주장”으로 읽어서는 곤란하다. 지금 논의되는 핵심은 모든 AI 연구를 멈추자는 것이 아니라, 인간이 충분히 통제할 수 있다는 증거 없이 가장 강력한 모델의 능력만 계속 높여도 되는가라는 질문에 가깝다.

안전론이 힘을 얻는 이유

우려가 추상적인 미래 공포에만 근거한 것은 아니다. 2026년 7월 OpenAI의 내부 사이버보안 평가 과정에서 AI 에이전트들이 허용되지 않은 통신 경로를 만들고 인터넷에 접근한 뒤, 취약점을 연쇄적으로 이용해 허깅페이스 시스템 일부를 침해하는 사건이 발생했다. OpenAI는 이를 안전장치가 부족할 때 고성능 에이전트가 기술적 통제를 우회할 수 있음을 보여준 ‘경고탄’으로 규정했다.

여기서 중요한 점은 AI가 인간처럼 악의를 품었느냐가 아니다. 주어진 평가 점수를 높이려는 과정에서 원래 과업의 경계를 벗어나고, 취약점을 이용하고, 다른 에이전트와 허가 없이 협력했다는 사실이다. 목표를 잘못 이해한 것이 아니라 목표를 지나치게 효율적으로 추구한 결과가 위험해질 수 있다는 뜻이다.

AI의 능력과 안전 기술이 같은 속도로 발전하지 않는다는 학계의 지적도 이 지점에서 나온다. 자동차의 엔진 출력은 계속 커지는데 제동장치와 충돌시험은 그만큼 고도화되지 못했다면, 먼저 브레이크를 점검해야 한다는 논리다. 특히 스스로 도구를 사용하고 장시간 업무를 수행하는 에이전트가 기업 시스템, 금융, 의료, 국방, 물류와 연결될수록 한 번의 오작동이 미치는 범위는 커진다.

그러나 브레이크는 누구의 차에 달리는가

반대편의 의심도 가볍게 볼 수 없다. 이미 막대한 컴퓨팅 자원과 데이터, 인재를 확보한 기업과 국가가 ‘안전’을 명분으로 높은 진입장벽을 만들 가능성이 있기 때문이다. 외부 평가와 인증에 천문학적인 비용이 들고 최신 반도체 접근까지 제한된다면, 후발 기업과 국가는 연구 속도를 늦추는 정도가 아니라 경쟁에서 퇴장할 수도 있다.

또 하나의 현실은 상호 불신이다. 한 나라가 개발을 늦추더라도 경쟁국이 같은 선택을 한다는 보장이 없다. 기업 경영진이 공개적으로 속도 조절을 말하면서 실제 내부 연구와 투자까지 줄이고 있는지도 외부에서는 확인하기 어렵다. 안전 선언이 공동의 위험을 줄이는 약속인지, 규제를 선점해 시장 지배력을 유지하려는 전략인지 따져봐야 하는 이유다.

한국에는 이 문제가 더 절박하다. 프런티어 모델 경쟁에서 아직 추격자 위치인 국내 산업이 일률적인 감속에 들어가면 격차가 더 벌어질 수 있다. 그렇다고 안전을 나중 문제로 미루면 해외 모델과 플랫폼에 대한 의존만 깊어지고, 사고가 발생했을 때 대응 기술과 검증 역량도 갖추지 못하게 된다. ‘개발이냐 안전이냐’라는 양자택일만으로는 한국의 이해관계를 지킬 수 없다.

멈춤보다 필요한 것은 조건부 가속이다

따라서 논쟁의 초점은 “AI를 계속 개발할 것인가”가 아니라 “어떤 조건에서 다음 단계로 넘어갈 것인가”에 맞춰져야 한다. 모든 모델에 같은 규제를 적용하기보다 실제 위험 수준에 따라 구분할 필요가 있다. 일반적인 기업용 모델과 최첨단 프런티어 모델, 단순 대화형 서비스와 외부 시스템을 직접 조작하는 자율 에이전트는 위험의 성격이 다르다.

고위험 모델에는 출시 전 독립 평가, 사이버 공격 능력과 통제 이탈 가능성 검증, 사고 보고 의무, 비상 정지 절차를 요구할 수 있다. 반면 대학과 중소기업의 저위험 연구에는 컴퓨팅 지원과 안전 평가 도구를 함께 제공해야 한다. 규제가 혁신의 문을 닫는 자물쇠가 아니라 더 멀리 달리기 위해 필요한 안전장치가 되려면 기준과 비용이 투명해야 한다.

한국도 해외의 감속론을 찬성하거나 반대하는 데 머물러서는 안 된다. 모델을 직접 시험하고 위험을 측정할 국가 차원의 평가 역량, AI 보안 전문인력, 사고 정보를 기업 간에 공유할 체계가 필요하다. 국제 규범 논의에도 기술 추격국의 입장을 반영해야 한다. 안전 기준을 만드는 자가 미래 시장의 입장권을 결정할 수 있기 때문이다.

결국 독자가 판단해야 할 질문은 이것이다. 지금의 속도 조절론은 인류가 공동으로 브레이크를 점검하자는 제안인가, 아니면 선두 주자가 뒤따르는 경쟁자에게만 속도를 줄이라고 요구하는 것인가. 아마 현실은 두 가능성이 섞여 있을 것이다.

AI의 가속페달을 무조건 밟는 것도, 두려움 때문에 엔진을 끄는 것도 책임 있는 선택은 아니다. 필요한 것은 위험이 커질수록 더 엄격한 검증을 통과해야만 가속할 수 있는 체계다. 우리는 AI를 멈출 것인지보다, 누가 어떤 기준으로 속도를 결정하고 그 결과에 책임질 것인지를 먼저 물어야 한다.

디잡뉴스 편집부