엔비디아(NVIDIA)가 모든 동영상을 자연스러운 슬로모션 동영상으로 전환하는 기술을 발표하였다.
네오윈(Neowin)에 의하면 엔비디아의 새로운 슬로모션 기술은 미국 메사추세츠 대학의 연구진과 공동 개발하였다. CNN(Convolutional Neural Network, 나선형 신경 네트워크) 2개로 동영상 속 객체가 프레임을 가로질러서 움직이는 위치와 프레임 사이에 있을 위치를 결합하여 매끄러운 슬로모션을 구현한다.
CNN 하나가 입력 된 프레임 두 가지 사이에 있는 타임라인에서 앞뒤로 광학 흐름을 추정하며 픽셀이 다음 프레임으로 어떻게 이동할지 예측하여 플로필드(flow field, 예상한 움직임의 2D 벡터)를 생성한다. 플로필드는 중간 프레임에 융합시킨다.
그 다음에 두 번째 CNN으로 광학 흐름을 보간하고 플로필드를 정제한다. 그리고 눈에 보이는 맵을 예측하여 프레임 내 대상물 때문에 막힌 픽셀을 배제하고 움직이는 대상물 주변에서 인공물을 줄인다. 마지막으로 눈에 보이는 맵이 입력 이미지 2개에 적용 되고 중간에 광학 플로필드는 각 프레임 사이에서 부드럽게 전환해주는 워프(warp, 또는 왜곡(distort))에 사용한다.
연구진은 엔비디아 테슬라 V100 GPU와 cuDNN으로 가속시킨 PyTorch 딥러닝 프레임워크를 사용해서 초당 240프레임으로 총 11,000개 동영상에 슬로모션 프레임을 채우는 데 성공했다고 밝혔다.
닉네임
비회원
보드나라 많이 본 뉴스
AMD 라이젠 7 5800X3D 10주년 모델 인도 시장 등록, 글로벌 출시될까?
애플 폴더블 아이폰, 힌지 내구성 이슈로 출시 지연?
MS, 코파일럿 키 변경 기능 공식 지원 계획
보드나라 많이 본 기사
디자인과 성능 모두 시원한 게임 환경,기가바이트 지포스 RTX 5080 AERO OC SFF 제이씨현
반도체 대란이 만든 PC 시장 변화, 완제품PC 구매에서 업그레이드의 시대로 가려면 필요한 것은?
