i-RevNet: Deep Invertible Networks
Jörn-Henrik Jacobsen (IvI), Arnold Smeulders (IvI), Edouard Oyallon (CVN, GALEN, SEQUEL, DI-ENS)
(Submitted on 20 Feb 2018)
arXiv:1802.07088
(어떤 네트워크인지 이해만 하기위해서 대략적으로 읽음)
여태까지 deep convolutional network에서의 성공은 주어진 문제에 관한 input에 대한 충분한 정보를 주지 않는 variability를 점진적으로 버리는 것에 기초한다고 알려져있다.
정보를 버림으로써 발생하는 loss는 실질적으로도 숨겨진 representation들로부터 original input 이미지를 회복하는 것을 어렵게 하고 있었다.
그리고 저자들은 이런 상당한 정보의 loss가 반드시 deep conv net의 성공적인 classification을 위해 필수인건지 의문을 제기한다.
그리고 실험을 통해 그렇지 않다는 것을 알아낸다.
그들은 homeomophic layer들의 cascade를 쌓고 (이 cascade는 input과 hidden representation사이의 상호정보를 보존한다) 오직 마지막 layer에서만 정보의 손실이 발생할 수 있다는 것을 보였다.
RevNet을 사용하지만 RevNet 구성요소 중 non-invertible한 요소들을 invertible하게 바꿈으로써 증명해냈다.
이 네트워크의 이름은 i-RevNet이다.
이 네트워크는 어느곳의 representation으로부터 마지막 layer까지 input signal에 대한 모든 정보를 가지고 있게된다.
결국, i-RevNet을 이용하면 마지막 convolutional layer로부터 input을 회복할 수 있게 된다.
심지어 classification accuracy는 original RevNet, ResNet과 같았다.
위의 사진들이 original input image이고 아래의 것들이 final representation으로부터의 reconstruction이다.
완벽하게 복원해낸것을 볼 수 있다.
