AI/논문정리 검색 결과

해당 글 16건

Representation Learning with Contrastive Predictive Coding (CPC)

Aaron van den Oord, Yazhe Li, Oriol Vinyals [Google DeepMind] [Submitted on 10 Jul 2018 (v1), last revised 22 Jan 2019 (this version, v2)] arXiv:1807.03748 요즘 self-supervised learning에서 가장 많이 쓰이는 loss인 InfoNCE loss에 대해 의문점이 생겨 읽어본 논문이다. (간만에 포스팅할 수 있는 논문을 읽을 수 있는 시간이 생겨 좋았다..ㅎ) 신경과학적으로 인간의 뇌는 다양한 추상적인 레벨의 관점에서 관찰한다고 한다. 최근 이것을 모티브로 삼아 predictive coding을 많이 사용하게 된다. 여기서 predictive coding은 말 그대로 미..
AI/논문정리 2020. 12. 18. 17:29

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks

EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Mingxing Tan, Quoc V. Le arXiv:1905.11946 요즘 엄청 핫하게 쓰이고 있는 EfficientNet에 대한 논문이다. EfficientNet은 크기에 따라 b0, b1 ... , b7 까지 있다. 간단하게 요약하자면 width, depth, image resolution 3가지를 하나의 계수로 scale 하여 네트워크의 정확도와 효율성을 높였다... 라고 적혀있다. accuracy를 향상시키기 위해서 대부분 depth, width, image resolution 이라는 3개의 dimension을 scale하는데 본인들은 여기서 fixed scali..
AI/논문정리 2020. 1. 8. 17:48

Boosting Self-Supervised Learning via Knowledge Transfer

Boosting Self-Supervised Learning via Knowledge Transfer Mehdi Noroozi, Ananth Vinjimoor, Paolo Favaro, Hamed Pirsiavash (Submitted on 1 May 2018) arXiv:1805.00385 pretext task 를 학습한 모델과 target task 를 학습한 모델이 서로 달라도 transfer를 이용한 learning을 가능케 함. 또한 Jigsaw++ 방법을 활용했음. 현재까지 많은 SSL은 transfer learning을 이용하지만 이 같은 방법에서의 최대 한계점은 모델 디자인의 선택이었다. 즉, pretext task에서 선택했던 모델과 target task 를 학습할 때 사용할 모델이 동일..
AI/논문정리 2019. 12. 24. 20:41

A CRITICAL ANALYSIS OF SELF-SUPERVISION, OR WHAT WE CAN LEARN FROM A SINGLE IMAGE

A critical analysis of self-supervision, or what we can learn from a single image Yuki M. Asano, Christian Rupprecht, Andrea Vedaldi (Submitted on 30 Apr 2019 (v1), last revised 26 Nov 2019 (this version, v2)) arXiv:1904.13132 self-supervised task를 통한 학습은 low layer에만 좋은 영향을 준다. 즉, high-level representation을 배우지 못한다는 의미. 그리고 단 한장의 이미지를 augmentation을 통해 여러장을 만들고 사용하면 평소의 많은 이미지 학습과 성능이 비슷하다고 주장. 그..
AI/논문정리 2019. 12. 20. 16:34

Self-supervised Domain Adaptation for Computer Vision Tasks (2)

2019/12/11 - [AI/논문정리] - Self-supervised Domain Adaptation for Computer Vision Tasks (1) 의 이어지는 글이다. 앞에서 개요를 봤다면 이제는 실험부분을 설명하겠다. 실험은 위의 환경에서 실행되었다. 처음으로 테스트해볼 target task는 object recognition이다. 이를 위해서 office dataset을 사용하는데 이 데이터는 3가지의 도메인을 가진다. 아래에 표 부분은 다음에 나올 method들인데 읽어두는게 좋다. 모든 경우의 수를 다 테스트했을 때 Rot 방식이 가장 정확도가 좋았다. domain adaptation 성능을 분석하기 위해서 t-SNE를 사용하여 visualize했다. 카테고리 구분과 도메인 정렬에 있..
AI/논문정리 2019. 12. 11. 12:08

Self-supervised Domain Adaptation for Computer Vision Tasks (1)

Self-supervised Domain Adaptation for Computer Vision Tasks Jiaolong Xu, Liang Xiao, Antonio M. Lopez arXiv:1907.10915 self-supervision (Rotation)을 이용하여 Domain Adaptation을 함. introduction 에서는 active learning, self-labeling 그리고 self-supervised learning에 대한 개념을 설명한다. active learning, self-labeling는 transfer learning과 domain adaptation에 잘 활용되지만 self-supervised learning (SSL)의 경우에는 transfer learning..
AI/논문정리 2019. 12. 11. 11:48

Scaling and Benchmarking Self-Supervised Visual Representation Learning (2)

2019/12/01 - [AI/논문정리] - Scaling and Benchmarking Self-Supervised Visual Representation Learning (1) 의 이어지는 글이다. Scaling and Benchmarking Self-Supervised Visual Representation Learning Priya Goyal, Dhruv Mahajan, Abhinav Gupta, Ishan Misra (Submitted on 3 May 2019 (v1), last revised 6 Jun 2019 (this version, v2)) arXiv:1905.01235 성능 평가(benchmarking)를 위해서 위의 9가지 datasets과 task를 이용한다. 저자들은 SSL을 in..
AI/논문정리 2019. 12. 1. 23:52

Scaling and Benchmarking Self-Supervised Visual Representation Learning (1)

Scaling and Benchmarking Self-Supervised Visual Representation Learning Priya Goyal, Dhruv Mahajan, Abhinav Gupta, Ishan Misra (Submitted on 3 May 2019 (v1), last revised 6 Jun 2019 (this version, v2)) arXiv:1905.01235 이전의 구글팀이 architecture에 관심을 가졌다면 페이스북 팀은 self-supervised를 scailng 하고 또한 적절한 평가를 하기위한 benchmark suite를 제시하는 논문이다. SSL(self-supervised learning)은 수동으로 달 label이 필요가 없으므로 scalability를 ..
AI/논문정리 2019. 12. 1. 22:24