사진가 박규진 블로그의 ‘이미지품질 저하를 최소화하면서 사진 크기 늘리기(blog.naver.com/survage)’ 팩트 체크
상식을 의심하면 보이는 것들
픽셀수를 의미하는 ‘해상도’는 화질을 결정하는 주요한 요소다. 해상도가 높으면 사진을 무리하게 크롭 해도 화질저하가 드러나지 않는다. 크게 프린트를 해도 고화질을 유지한다. 사진가는 편집 프로그램을 이용해 쓰임새에 맞게 해상도를 변경할 수 있다. 그러나 원본 이미지보다 해상도를 높이지 않는 건 상식이다. 이유는 간단하다. 없는 데이터를 억지로 만들어봤자 용량은 커지고 화질은 나빠지기 때문이다.
만약, 이러한 상식을 뒤집을 수 있다면? 전자식으로 기존 이미지의 해상도를 화질저하 없이 높일 수 있다면, 이미지센서의 한계도 얼마든지 극복할 수 있게 된다. 스마트폰 카메라로도 현재 소형 풀프레임 DSLR을 능가하는 다이내믹레인지와 해상도를 표현할 수 있다. 놀랍지 아니한가!
전통적인 보간법
상상해보자. 지금 우리 앞에는 사진 출력물 하나와 커터칼이 있다. 칼을 이용해 가로 세로 각각 4등분으로 사진을 잘라낸다. 그럼 하나의 사진이 16조각이 될 것이다. 이 조각 사이사이의 간격을 일정하게 넓힌다. 그럼 사진의 사이즈는 커진다. 물론, 중간 중간 빈 공간이 생기지만 말이다. 이 공백의 존재하지 않는 데이터를 계산해 채우는 알고리즘을 보간법(interpolation)이라고 한다. 전통적인 보간법에 따르면 좀 전에 잘라둔 이미지를 토대로 그 사이 값을 계산한다. 예를 들면 흰색과 검정색 사이에는 회색 조각을 끼우면 된다는 식의 유추다. 포토샵에서 이미지 사이즈 조절 창을 띄우면 Resample 항목이 있다. 기본 값이 Automatic으로 설정되어 대부분의 사진가들이 대수롭지 않게 생각하지만, 사실 이는 보간법을 선택하는 항목이다. 이것을 어떻게 조절하느냐에 따라 리사이즈에 소요되는 시간과 알고리즘의 정밀도가 달라진다. 또한, 보간법에서 서로 상반되는 개념인 ‘선명도’와 ‘계조’ 중에서 무엇에 더 중점을 둘지도 설정할 수 있다.
전통적인 보간법은 원본 이미지의 정보를 바탕으로 빈 공간의 값을 예측해 채워나간다. 원본에 존재하지 질감은 표현할 수 없다.
보간법에 인공지능 더하기
사진가 박규진의 블로그 내용을 토대로 이번 기사에서 검증하는 두 프로그램 ‘A.I. Gigapixel’과 ‘Waifu2x-caffe’는 인공지능의 최신 트렌드 기술인 딥러닝을 보간법으로 접목시킨 소프트웨어다. 딥러닝은 수많은 데이터를 이용해 스스로 패턴을 학습하고, 불분명한 상황에서 결과를 예측하는 인공지능 기술이다. 지난 2016년 인간을 가뿐이 넘어서면서 화제가 됐던 알파고 역시 딥러닝의 산물이다. 바둑경기에서 나올 수 있는 경우의 수가 우주에 있는 원자 수보다 많다는 사실을 안다면 실로 놀라지 않을 수가 없다. 그렇다면 ‘A.I. Gigapixel’과 ‘Waifu2x-caffe’ 두 프로그램은 딥러닝을 어떤 방식으로 사용하고 있을까? 두 프로그램 모두 기본 원리는 비슷하다. 우선 인공지능이 엄청나게 많은 양의 사진들을 분석한다. 그 결과, 이미지 조각 사이사이를 유추할 수 있는 막대한 양의 변수 데이터를 획득한다. 이를 보간법 알고리즘으로 적용시킨 것이다. 만약 모든 경우의 수를 분석해낼 수 있는 수준에 이르렀다면 그야말로 완벽한 보간법이 탄생하는 셈이다.
인공지능이 더해진 보간법은 막대한 양의 사진을 분석한 후 획득한 변수 데이터로 사이사이 공백을 채운다. 원본에 존재하지 않는 질감도 만들어 낼 수 있다.
가로 500px 이미지를 5000px로 해상도를 끌어올린 결과다. A.I. Gigapixel > Waifu2x-caffe > Photoshop 순으로 퀄리티가 우수하다.
고정관념을 뒤엎는 ‘토파즈 A.I. Gigapixel’
플러그인에 조금이라도 관심이 있다면 ‘토파즈 랩스(Topaz Labs)’ 브랜드를 알 것이다. 그런 토파즈가 최근 인공지능을 접목한 디지털 이미징 소프트웨어 개발에 힘쓰고 있다. A.I. Gigapixel 역시 그 산물이다. 의구심을 가지고 프로그램을 설치한 다음 직접 실행해보았다. 처음인데도 바로 사용할 수 있을 정도로 단순하고 직관적인 인터페이스가 돋보였다. 많은 이미지를 일괄로 작업하기가 상당히 편리하다. 이미지사이즈 뿐만 아니라 파일포맷과 색공간도 원하는 대로 변경할 수 있다. 보다 선명한 결과물을 얻기 위해 노이즈 보정 기능을 끄고 가로 500px 이미지를 5000px로 높여보았다. 작업 시간은 노트북(NT900X3I 모델) 기준 58초가량 소요됐다. 결과는 놀라웠다. 기존까지 통용되던 리사이즈에 관한 상식을 완전히 뒤엎는 수준이었다. 저해상도 사진에서는 아예 표현되지도 않던 질감이 드러났다. 선예도 역시 충분히 만족스러운 수준이었다. 그러나 이미지센서 크기의 중요성을 무의미하게 만들 정도의 완벽한 기술은 아니었다. 사진에 따라 조금씩 편차가 있으며, 한 사진 안에서도 질감의 표현 정도에 차이가 나타났고 이는 얼룩처럼 보일 여지가 있었다. 무엇보다도 유료 프로그램이다. 소프트웨어 가격이 99.99달러(약 11만원)으로 각자 상황에 따라 부담으로 다가올 수 있겠다.
직관적이고 편리한 인터페이스를 가진 A.I. Gigapixel
무려 무료 프로그램 ‘ Waifu2x-caffe ’
누구나 수정하고 배포할 수 있는 오픈소스로 개발된 ‘Waifu2x’의 파생 프로그램이다. 원래 Waifu2x는 2D 일러스트의 해상도를 높이는 용도의 소프트웨어다. 용량 및 해상도에 제한이 있어 사진 작업용으로 사용하기에는 무리가 있었다. 이에 등장한 것이 ‘Waifu2x-caffe’이다. 앞서 말한 문제점들을 보완해 고해상도 사진 작업도 가능하도록 만들어졌다. 다운받아보니 설치를 하지 않고도 실행이 가능했다. 토파즈의 A.I. Gigapixel과 달리 한글을 지원한다. 하지만 그럼에도 불친절하게 다가오는 인터페이스였다. 설정할 수 있는 요소들은 A.I. Gigapixel보다 많았다. 보간법 모델도 몇 가지 선택사항이 있으며, 처리속도와 관련된 부분도 설정할 수 있다. 작업을 처리하는 하드웨어로 그래픽카드 또는 CPU 중 하나를 선택할 수 있는데, 그래픽카드를 기반으로 작업하기 위해서는 꽤 까다로운 조건과 번거로운 과정이 요구되었다. 실제로 에디터의 노트북은 이 조건을 충족하지 못해 CPU를 기반으로 테스트했다. UpPhoto 모델을 이용해 가로 500px 이미지를 5000px으로 해상도를 높이는 데 소요된 시간은 32분 30초가량이었다(블로그 저자는 CPU 기반으로 2분 가까이 걸리던 시간을 그래픽카드 기반으로 15초까지 줄일 수 있었다고 말한다). 결과는 포토샵으로 늘렸을 때보다 월등히 좋았다. 하지만 토파즈의 프로그램과 비교했을 때는 현저히 떨어지는 수준이었다. 그래도 소프트웨어 가격이 무료이니 유료 프로그램의 대안으로 나쁘지 않아 보인다.
불편하지만 설정할 수 있는 조절 값이 많은 Waifu2x-caffe
