<video upscaling> 오래된 애니메이션 업스케일링...?
나는 덕질을 다!다!다! 로 시작했다.
그 당시 투니버스도 간간히 나오고... 어떻게든 생방을 보고 싶었지만 itv(경인방송이던가)는 중부지방에선 나오지 않았기 때문에...
심지어 그 당시에는 저작권에 대한 인식도 나도 바닥이었고, 여러 웹하드(도 없을 시절이다.. 구루구루나 팝폴더, 심지어 클럽박스가 나오기 전...) 등에서 동영상 파일을 받아서 보던 시절이었다(최소 15년 전).
이 애니를 보고 만화책도 사고 ㅎㅎ 초등학교 5-6학년 정도였지 싶다.
그때 아부지는 하드에 차지하고 있던 이 애니를 지우고 싶어하셨지만... 나는 지울 수 없었다 ㅠ 생각나면 또 보고 싶을 것 같았기 때문에.. 나중에는 더 좋은 화질로 볼 수 있다고 하셨지만.. 어떻게 보면 메이저급 애니가 아니기 때문에 국내판 DVD는 다 나오기 전에(완결나기전에) 판매 종료가 되어버려서 구하지도 못한다. 이 애니는 무려 예전 LD판이 있을 정도로... 오래된 애니다...
암튼 나의 외장 하드 한켠에 잘 있었던 이 친구들을 조금 더 선명한? 화질로 구경하고 싶다는 생각이 들었다.
일단 upscaling이라는 기술은 계속 있어왔다.
다만 경험적으로 우리는 이게 쉽지 않다는 걸 알고 있다. 가령 해상도가 낮은 사진을 강제로 늘렸을때 깍두기 현상이나 계단현상이 나타나는걸 볼 수 있다. 이 현상을 데이터 관점에서 생각해보면, 가로 세로 길이를 각각 두배로 늘렸다고 치자. 근데, 데이터는 원래의 가로 길이, 세로 길이 만큼 밖에 존재하지 않는다. 픽셀의 정보는 원래 정보 밖에 없기 때문이다. 그런데 이걸 늘린다면? 기존 데이터의 길이를 두배로 늘인 꼴밖에 되지 않는다. 가래떡에 그림을 그린 다음 그걸 두배로 늘린다고 원래 그림이 똑같이 두배가 되기는 힘들듯, 늘리는 만큼 보정을 해줘야 원래 보던것 처럼 보일 것이다.
그래서 그동안 업스케일링이라고 하면 이걸 수학적으로 어떻게 메꿔볼까 - 모든 픽셀값을 동등하게 - 하는 것들의 향연이었다.
결과물은... 알겠지만 그다지 만족스럽지 못하다. 영상, 사진에서 보여지는 것이 모두 다른데, 기존 방법은 이를 고려할 방법이 쉽지 않았기 때문이다.
(엄청난 논리의 비약과 생략이 있지만 무시하자)이런 단점을 보완하는게 요즘 업스케일링 방식인 AI - 딥러닝 방법을 이용한 업스케일링이다. 정확한 알고리즘이야 각 회사들의 무기겠지만, 프레임 단위로 영상을 쪼개서 각 프레임 별로 알고리즘을 통해 모델을 활용해 어느방향으로 각 픽셀을 채워나갈지 예측하는 모양이다. 그걸 가지고 영상을 만들어 내는게 전체적인 스킴인듯.
결과물만 놓고보면 사실 만족스럽다.
다만, 시간이 조금 많이 걸리며 - M1 pro mac 16 GPU, Topaz = 20분 애니 기준 6시간; avclabs = 1시간 40분 - 용량 뻥튀기가 엄청나다 - 330 MB --> 70-85 GB, 계산해보니 약 260배...
GPU를 갈군다기보단 CPU를 갈구는 느낌이 더 들고(보통 인코딩은 cpu를 갈구는게 맞지만) gpu는 잘 못 갈구는 느낌이다. topaz사 프로그램은 그나마 50%를 넘기지만, avclabs사 프로그램은 40%를 밑돈다.
그리고 가장 큰 단점은... 가격이 정말 사악하다. 다들 본 가격은 260불이다... 그리고 대량 저장공간이 필요하다 ㅠ 78편 기준 4배 업스케일링하면 7.2테라가 필요하다 ㅋㅋㅋㅋㅋㅋㅋ
블루레이가 나올리가 없는 작품이기에... 현재 고민중이지만 가격이 정말 너무해서 쉽게 그냥 지르기도 어렵다.
요새는 이 회사들이 무료버전은 정말 맛보기라 워터마크도 있고, 그나마도 export 횟수도 제한시켜뒀다...
고민을 좀 해봐야겠다.