엔비디아(NVIDIA)가 모든 동영상을 자연스러운 슬로모션 동영상으로 전환하는 기술을 발표하였다.
네오윈(Neowin)에 의하면 엔비디아의 새로운 슬로모션 기술은 미국 메사추세츠 대학의 연구진과 공동 개발하였다. CNN(Convolutional Neural Network, 나선형 신경 네트워크) 2개로 동영상 속 객체가 프레임을 가로질러서 움직이는 위치와 프레임 사이에 있을 위치를 결합하여 매끄러운 슬로모션을 구현한다.
CNN 하나가 입력 된 프레임 두 가지 사이에 있는 타임라인에서 앞뒤로 광학 흐름을 추정하며 픽셀이 다음 프레임으로 어떻게 이동할지 예측하여 플로필드(flow field, 예상한 움직임의 2D 벡터)를 생성한다. 플로필드는 중간 프레임에 융합시킨다.
그 다음에 두 번째 CNN으로 광학 흐름을 보간하고 플로필드를 정제한다. 그리고 눈에 보이는 맵을 예측하여 프레임 내 대상물 때문에 막힌 픽셀을 배제하고 움직이는 대상물 주변에서 인공물을 줄인다. 마지막으로 눈에 보이는 맵이 입력 이미지 2개에 적용 되고 중간에 광학 플로필드는 각 프레임 사이에서 부드럽게 전환해주는 워프(warp, 또는 왜곡(distort))에 사용한다.
연구진은 엔비디아 테슬라 V100 GPU와 cuDNN으로 가속시킨 PyTorch 딥러닝 프레임워크를 사용해서 초당 240프레임으로 총 11,000개 동영상에 슬로모션 프레임을 채우는 데 성공했다고 밝혔다.
닉네임
비회원
보드나라 많이 본 뉴스
엔비디아 지포스 최신 드라이버서 SSD 과도한 쓰기 이슈 보고
美 법원, 삼성, SK하이닉스, 마이크론의 담합 의혹 소송 기각 요청 거부
AMD Zen 6 라이젠, 공정 변경과 AI 수요 영향에 2027년 하반기 출시?
보드나라 많이 본 기사
게이밍 그래픽 카드 막내들의 경합, 라데온 RX 9060&RX 7600 vs 지포스 RTX 5050&RTX 3050
와이파이7과 멀티기가비트 유선의 결합, ipTIME BE7200M과 BE7208M
DDR5-6000 CL30에 화이트 감성,ESSENCORE KLEVV DDR5-6000 CL30 URBANE V RGB 패키지 서린 (32GB(16GB*2))