Representation Learning with Contrastive Predictive Coding (CPC)
Aaron van den Oord, Yazhe Li, Oriol Vinyals [Google DeepMind] [Submitted on 10 Jul 2018 (v1), last revised 22 Jan 2019 (this version, v2)] arXiv:1807.03748 요즘 self-supervised learning에서 가장 많이 쓰이는 loss인 InfoNCE loss에 대해 의문점이 생겨 읽어본 논문이다. (간만에 포스팅할 수 있는 논문을 읽을 수 있는 시간이 생겨 좋았다..ㅎ) 신경과학적으로 인간의 뇌는 다양한 추상적인 레벨의 관점에서 관찰한다고 한다. 최근 이것을 모티브로 삼아 predictive coding을 많이 사용하게 된다. 여기서 predictive coding은 말 그대로 미..
