▲ 늑대의 사냥 전략. 하나의 늑대가 먼저 먹잇감을 공격하면, 먹잇감 무리는 이에 대응하기 위해 방어 행동을 취하게 된다. 이때 나머지 늑대들이 후속 공격에 참여함으로써, 먹잇감의 방어를 분산시키고 전체적인 사냥 성공률을 높이는 전략이다.(그림 및 설명=UNIST)     ©특허뉴스

드론이나 로봇들이 서로 협력하여 임무를 수행하는 기술은 이제 우리 삶의 많은 분야에서 핵심적인 역할을 하고 있다. 하지만 이러한 협력 시스템은 예측 불가능한 외부 요인이나 개별 에이전트의 오작동에 취약하다는 한계를 가지고 있다. UNIST 연구팀이 이 한계를 극복하고 실제와 같은 위기 상황을 통해 AI의 협동성을 극대화하는 혁신적인 기술을 개발했다.

UNIST 인공지능대학원 한승열 교수팀은 '늑대 공격(Wolfpack Attack)'이라는 모의 위협 전략과 이를 학습에 활용하는 방어 프레임워크 'WALL(Wolfpack-Adversarial Learning for MARL)'을 개발했다고 30일 밝혔다. 이 기술은 다중 에이전트 강화학습(MARL) 모델의 강건성을 획기적으로 높여, 어떠한 위기 상황에서도 흔들림 없는 협력 체계를 유지할 수 있도록 돕는다.

'늑대 공격'으로 AI 협력 시스템의 취약점 파고들다

기존에는 AI 에이전트 하나에 무작위로 문제를 발생시켜 협력 시스템의 취약점을 평가했다. 하지만 이는 현실적인 위기 상황을 제대로 반영하지 못한다는 한계가 있었다. 늑대들이 무리를 지어 약한 개체를 고립시키고, 이를 도우려는 동료들까지 순차적으로 제압하는 사냥 방식에서 영감을 받은 'Wolfpack Attack'은 이러한 문제를 해결한다.

이 공격 전략은 먼저 하나의 에이전트를 오작동시킨 다음, 그를 돕기 위해 움직이는 다른 에이전트들에게 연쇄적으로 문제를 일으켜 전체 협력 구조를 붕괴시키는 방식이다. 트랜스포머 기반의 예측 모델이 최적의 첫 공격 시점을 자동으로 선택하고, 이후에는 협동성에 민감하게 반응하는 에이전트들을 분석하여 다음 공격 대상을 결정한다.

제1저자인 이선우 연구원은 "이전에는 정해진 상황에서 AI가 얼마나 잘 작동하는지를 점검하는 정도였지만, 이 공격 전략은 실제처럼 상황이 계속 바뀌고 예측하기 어려운 위기 상황을 만들어 AI가 그 안에서 얼마나 잘 대응하는지를 평가할 수 있다"고 설명했다.

'WALL' 프레임워크로 위기에 강한 AI 탄생

'Wolfpack Attack'과 함께 개발된 'WALL'은 이러한 교란 전략을 AI 훈련 환경에 도입한 방어 학습 구조다. 이 프레임워크를 통해 학습한 AI는 위치 오류나 통신 지연과 같은 현실적인 문제 상황에서도 뛰어난 적응력과 안정적인 협력 성능을 보였다. 예를 들어, 서로 부딪히지 않고 목표 지점에 도달하거나, 함께 물체를 밀고 진형을 유지하는 등 복잡한 협력 임무를 성공적으로 수행했다.

▲ 울프팩어택의 후속 공격 대상이 되는 AI에이전트 선정 과정. 초기 공격을 받은 4번 에이전트를 기준으로, 해당 에이전트를 지원하거나 협력하려는 행동을 보인 1번과 3번 에이전트가 후속 공격 대상자로 선정된다. 이 과정에서는 공격 전후의 행동 양상 변화를 정량적으로 측정하며, 변화량이 큰 에이전트일수록 후속 타겟으로 선택될 가능성이 높다.(그림 및 설명=UNIST)  © 특허뉴스

한승열 교수는 "이번에 개발된 기술은 협력형 AI 모델의 정확한 성능 평가와 위기 상황에 강한 협력 AI 모델을 만드는 데 활용될 수 있다"며, "자율 드론, 스마트 팩토리, 군사·재난 현장의 군집 로봇 산업 발전에 크게 기여할 수 있을 것"이라고 강조했다.

이번 연구는 기계학습 분야 최고 권위 학회인 ICML(International Conference on Machine Learning)에 채택됐다. 7월 13일부터 19일까지 캐나다 밴쿠버에서 열린 2025 ICML에는 전 세계에서 약 12,107편의 논문이 투고됐으며, 이 중 3,260편만이 채택됐다. 

논문명은 Wolfpack Adversarial Attack for Robust Multi-Agent Reinforcement Learning이다.