세계적인 클라우드 기업인 아마존웹서비스(Amazon Web Services 이하 AWS, 한국 대표 염동훈)가 대규모 연례 행사인 ‘AWS 리인벤트(AWS re:Invent)’에서 고용량 데이터를 AWS 클라우드로 고속 전송할 수 있는 두 가지의 새로운 솔루션을 발표했다.
‘AWS 스노우볼(AWS Snowball)’은 페타바이트 급 데이터 전송 장치로 장치 당 50 테라바이트의 데이터를 AWS 클라우드로 전송한다. 한편, ‘아마존 키네시스 파이어호스(Amazon Kinesis Firehose)’는 스트리밍 데이터를 AWS로 로딩해 주는 관리형 서비스이다.
‘아마존 S3(Amazon S3)’ 및 ‘아마존 레드시프트(Amazon Redshift)’에 적용되는 AWS 스노우볼 및 아마존 키네시스 파이어호스에 대한 상세한 정보는 https://aws.amazon.com/new/reinvent/data-transfer/에서 확인할 수 있다.
AWS는 AWS 클라우드로 이전하는 애플리케이션 및 데이터가 애플리케이션 로그 파일에서부터 디지털 미디어, 게놈, 사물인터넷 기기에서 생성되는 페타바이트 급 센서 데이터에 이르는 것으로 밝혔다. ‘AWS 다이렉트 커넥트(AWS Direct Connect)’가 AWS 전용 고속 네트워크 연결을 제공하는 한편, AWS 스노우볼 및 아마존 키네시스 파이어호스는 대용량 단위로 데이터를 전송하고자 하는 기업이나, 다수의 장소에 데이터가 분산되어 있는 기업, 또는 지속적으로 데이터 스트림을 로드 해야 하는 기업들에게 이상적이다. AWS 스노우볼 및 아마존 키네시스 파이어호스를 통해 대량의 데이터 또는 스트리밍 데이터를 더 쉽고 저렴한 비용으로 AWS 클라우드에 전송할 수 있다.
AWS 스토리지 서비스 부문 빌 바스(Bill Vass) 부사장은 “이번에 새롭게 발표된 서비스로 AWS 클라우드를 통해 데이터를 수집, 분석, 공유하는 과정이 과거 어느 때보다도 손쉽고 저렴해졌다. 오늘날 고객들은 데이터를 통해 경쟁력 확보로 이어질 수 있는 통찰력을 얻을 수 있다는 것을 알고 있기 때문에 빠른 속도로 최대한 많은 양의 데이터를 AWS로 전송하고자 한다. AWS 스노우볼 및 아마존 키네시스 파이어호스는 고객들에게 데이터를 AWS로 전송하는 데에 사용할 수 있는, 새로운 두 가지 도구를 제공할 것”이라고 말했다.
뉴스, 엔터테인먼트, 동영상을 제작 배포하는 기업으로 2억 이상의 월 방문자 수와, 15억명의 시청자를 보유한 버즈피드(BuzzFeed)의 유진 벤티미글리아(Eugene Ventimiglia) 기술이사는 “버즈피드는 세계 최대 규모의 미디어 기업 중 하나로 기업의 운영 과정에서 보존 및 유지해야 하는 막대한 양의 콘텐츠가 생산된다. 그 동안 아마존 글래시어(Amazon Glacier)를 기반으로 아카이브 솔루션을 구축하고자 했지만, 기업이 가지고 있는 250TB의 데이터를 하나의 디스크 드라이브로 옮기기에는 용량이 너무 컸다. 이를 고속 인터넷으로 전송하는 것 또한 오랜 시간이 걸렸다. 하지만 이번에 AWS 스노우볼이 출시되면서, 우리의 계획이 완전히 바뀌게 되었다. 회사가 보유한 250TB의 막대한 데이터를 AWS로 안전하게, 저렴한 비용으로 이전할 수 있게 되었으며, 이것을 모두 이전하는 데에 일주일도 걸리지 않게 된 것”이라고 말했다.
소니 프로페셔널 솔루션스 아메리카스(Sony Professional Solutions Americas)의 데이비드 로제(David Rosen) 부사장은 “우리의 고객들 중에는 페타바이트 급 데이터를 보유하고 있으면서도, 통신 속도는 제한적인 경우가 많았다. 그렇다 보니, 무거운 미디어 작업을 소니 미디어 클라우드로 유입시키는 과정이 쉽지 않았다. AWS 스노우볼은 이러한 문제를 확실하게 해결해 줄 수 있는 가능성을 열어주었다. 회사가 보유하고 있는 대량의 미디어 자산을 인터넷을 통하지 않고도 안전하고, 저렴하게 전송할 수 있을 것이라는 전망으로 AWS 스노우볼을 처음 접했을 때부터 높은 기대를 걸고 있다”고 밝혔다.
세계 최대 규모의 미디어 및 정보 기업 중 하나로 전 세계에 걸쳐 250여 개의 지사망을 보유하고 있는 하츠 코포레이션(Hearts Corporation)의 릭 맥팔랜드(Rick MacFarland) 부사장은 “우리는 디지털 시설 내에서 트렌딩 콘텐츠(trending content)를 모니터링 하고 있으며, 매일 페타바이트 급의 데이터가 생성된다. 이러한 데이터를 통해 수익을 창출할 뿐 아니라 비즈니스 인텔리전스와 제품 개발에 필요한 정보를 얻는다. 우리가 개입할 필요 없이 아마존 키네시스 파이어호스를 통해 방대한 양의 웹 서버에서 생성되는 데이터를 축적 및 압축하고 아마존 S3로 전송할 수 있게 되었다. 데이터 전송 과정이 훨씬 간편해져 애널리틱스에 더욱 집중할 수 있는 역량이 생겼으며, 이를 통해 고객에게 최상이 콘텐츠를 제공할 수 있을 것”이라고 말했다.
AWS 고객은 aws.amazon.com/importexport/request-access를 통해 AWS 스노우볼 장치를 요청할 수 있다. 또한 AWS 매니지먼트 콘솔(AWS Management Console), AWS 커맨드 라인 인터페이스(AWS Command Line Interface), 또는 AWS SDK를 통해 아마존 키네시스 파이어호스에 접근할 수 있다. 아마존 키네시스 파이어호스는 현재 미국 동부(버지니아), 미국 서부(오리건), EU(아일랜드)를 통해 서비스가 제공되고 있으며, 향후 수 개월 내 다른 지역에서도 서비스가 지원될 예정이다.
|
