아마존웹서비스(Amazon Web Services, 이하 AWS)는 개발자가 자신의 컴퓨터에서 AWS 애플리케이션을 빌드하고 테스트할 수 있는 로컬 에뮬레이터 'AWS 에뮬레이터(AWS Emulator)'를 출시했다고 발표했다. AWS 에뮬레이터의 코드는 수천 개의 자율 AI 에이전트가 전부 작성했다. 에이전트는 사람의 검토 없이 테스트 작성부터 이슈 발견, 코드 수정까지 수행한다.
개발자는 AWS 에뮬레이터를 활용해 자신의 컴퓨터나 지속적 통합(continuous integration, CI) 환경에서 AWS 애플리케이션을 빌드하고 테스트할 수 있다. 기존 AWS 소프트웨어 개발 키트(SDK)와 AWS 명령줄 인터페이스(AWS Command Line Interface, 이하 AWS CLI) 호출을 그대로 AWS 에뮬레이터로 보내면 밀리초 단위로 응답을 받는다. 호출은 에뮬레이터가 제공하는 자격 증명으로 서명한다. 이에 따라 개발자와 코딩 에이전트는 배포나 AWS 계정 없이 로컬에서 오류를 찾아 수정할 수 있다. 예를 들어 코딩 에이전트는 아마존 다이나모DB(Amazon DynamoDB) 테이블을 만들어 오프라인에서 테스트한 뒤, 배포 전에 코드를 수정할 수 있다.
AWS 에뮬레이터는 이미 지원하는 기능이라면 실제 AWS와 똑같이 반응한다. 올바른 요청에는 AWS와 같은 결과를, 잘못된 요청에는 AWS와 같은 오류 메시지를 돌려준다. 아직 지원하지 않는 기능을 요청하면 '501 Not Implemented(미구현)' 오류를 반환한다. 리소스 상태는 에뮬레이터를 중지할 때까지 메모리에 보관된다. 실행한 인스턴스마다 고유한 포트와 키, 메모리 상태를 갖기 때문에 에이전트나 테스트 스위트, CI 작업이 서로의 리소스를 볼 수 없다.
에뮬레이터가 지원하는 서비스는 AWS가 공개하는 API 모델에서 생성된다. 이 모델은 AWS SDK의 기반이 되는 모델과 같다. AWS가 서비스나 API를 추가하면 에뮬레이터에도 함께 나타나며, 각 서비스의 동작은 릴리스마다 채워지고 검증된다. 에뮬레이터의 응답이 실제 AWS와 얼마나 일치하는지는 충실도(fidelity) 보고서에서 확인할 수 있다.
주말 실험에서 시작된 AWS 에뮬레이터
올해 초 앤트로픽(Anthropic) 연구진은 AI 에이전트가 C 컴파일러를 자율적으로 구축할 수 있음을 보여줬다. AWS는 이 사례에 착안해, 명확한 사양과 참조 구현이 주어지면 에이전트가 사양을 충실히 구현하는 소프트웨어를 만들 수 있다고 판단했다. AWS는 AWS API 모델을 사양으로, 실제 AWS 클라우드를 참조 구현으로 삼았다.
AWS 엔지니어는 이 접근 방식을 검증하기 위해 AWS의 AI 개발 도구 키로(Kiro)에 세 단계로 구성된 프롬프트를 입력했다. AWS CLI를 기반으로 테스트를 작성하고, 실제 AWS에서 통과할 때까지 반복한 뒤, 같은 테스트를 통과하는 인메모리(in-memory) 구현을 만들도록 지시하는 내용이다. 키로는 15분 만에 쓸 만한 수준의 아마존 심플 큐 서비스(Amazon Simple Queue Service, 이하 아마존 SQS) 첫 버전을 만들었고, 프롬프트를 보완하자 주말 동안 나머지 AWS 서비스도 구축했다. 결과물에는 빈틈이 있었지만, 개발팀은 바로 다음 월요일부터 이를 자체 소프트웨어 테스트에 활용했다.
다만 시제품을 견고한 제품으로 발전시키는 데는 주말 이상의 시간이 걸렸다. AWS는 AWS 에뮬레이터 개발 과정에서 에이전트가 정해진 범위 안에서 작업하도록 가드레일을 구축해야 했다.
세 개 AI 에이전트 팀의 분업 구조
AWS 에뮬레이터는 각각 정해진 범위의 작업을 맡은 세 개의 에이전트 팀이 개발한다. 에이전트는 작업 범위가 명확할수록 더 높은 성과를 내기 때문이다. 각 팀의 역할은 다음과 같다.
• 테스트 작성 팀: 실제 AWS와의 충실도를 측정하는 테스트 스위트를 구축한다. 에이전트는 공개된 AWS API 모델로 테스트를 만들고, 제출하기 전에 실제 AWS에서 각 테스트를 검증한다. 테스트 스위트는 AWS 전반에 걸쳐 수만 개 규모이며 계속 늘어나고 있다. 한 번 만든 테스트는 AWS를 다시 호출하지 않고도 재실행할 수 있다. 이 테스트는 에이전트가 달성해야 할 명확한 목표를 제시하는 가장 기본적인 가드레일 중 하나다.
• 이슈 발견 팀: 테스트를 에뮬레이터에서 재실행하고 실패한 결과를 이슈로 등록한다. 근본 원인이 같을 가능성이 있는 실패는 하나로 묶는다.
• 수정 팀: 에이전트 한 개가 이슈 하나를 맡아 근본 원인을 찾고 코드를 수정한다. 모든 변경 사항은 컴파일 여부와 코딩 표준 준수, 보안, 충실도 저하 여부를 검사하는 병합 게이트(merge gate)를 거친다. 검사에 실패한 변경 사항은 재작업하고, 통과한 변경 사항은 메인라인에 병합한다. 수백 개의 에이전트가 동시에 작업하며 매일 수천 건의 이슈를 수정한다.
릴리스 파이프라인과 소스 코드 공개
메인라인에 병합된 변경 사항은 전적으로 AWS 개발자 도구(AWS Developer Tools)로 구축된 릴리스 파이프라인을 거친다. 에이전트의 주 저장소로는 AWS 코드커밋(AWS CodeCommit)을 사용한다. 누적된 커밋은 다시 빌드하고 테스트한 뒤 릴리스 브랜치에 병합하며, 개발팀은 이를 다운로드 가능한 바이너리로 패키징한다. 코드는 이 과정의 마지막 단계에서 깃허브(GitHub)에 공개된다.
깃허브 저장소에는 이슈의 전체 이력이 담겨 있다. 해결된 이슈는 'issues/things-that-now-work' 폴더에, 해결되지 않은 이슈는 'issues/things-that-do-not-work' 폴더에 있다. AWS는 이러한 이력에서 얻은 인사이트를 주된 이유로, 소스 코드를 크리에이티브 커먼즈(Creative Commons) CC0 1.0 유니버설 퍼블릭 도메인 헌정(public domain dedication) 조건으로 공개했다.
매튜 골드버그(Matthew Goldberg) AWS 시니어 프린시펄 엔지니어는 "AWS 에뮬레이터는 사용자가 자신의 컴퓨터에서 실행할 수 있는 AWS 서비스 로컬 에뮬레이터로, 우리 팀은 이 코드를 작성하거나 검토하지 않았다. 우리가 마련한 가드레일 덕분에 에이전트는 독립적으로 작업할 수 있는 공간을 확보했고, 우리는 에이전트가 정해진 선을 벗어나지 않는다는 신뢰를 갖게 됐다"라며 "다만 고객에게 자신 있게 제공할 수 있는 제품을 만들려면 여전히 상당한 엔지니어링 노력이 필요하다. 병합 게이트가 없다면 우리는 에이전트가 만드는 결과물을 신뢰할 수 없을 것"이라고 말했다.
AWS 에뮬레이터는 현재 다운로드해 사용할 수 있다. AWS 에뮬레이터는 AWS 리전에 의존하지 않으며, 별도의 추가 요금이 없다. 사용자는 애플리케이션을 AWS에 배포할 때만 AWS 리소스 요금을 낸다. 소스 코드와 충실도 테스트는 깃허브에 공개돼 있으며 지속적으로 업데이트된다.
|