개념정리 검색 결과

해당 글 10건

[개념정리] Ranking Loss Functions & Metric Learning

direct하게 label, value, set, input으로 부터 주어진 value를 예상하도록 학습하는 것이 목표인 Cross-Entropy Loss나 Mean Square Error Loss와 같은 다른 loss function들과 달리 Ranking losses의 목표는 inputs 사이의 상대적인 거리를 예측하는 것이다.이 작업은 종종 metric learning이라고 불리기도 한다. Ranking Loss Function을 사용하기 위해서는...첫번째로 2개 혹은 3개의 input data points로부터 feature를 추출하고 각각의 그들로부터 embedded representation을 얻는 것이다.얻은 representation들 사이의 유사성(ex. euclidian distanc..
AI/CV & SSL 2019. 11. 16. 11:34

[개념정리] Embedding란?

Embedding means converting data to a feature representation where certain properties can be represented by notions of distance. 거리의 개념으로서 표현될 수 있는 특성을 지닌 feature representation 으로 데이터를 바꾸는 것. 거리개념은 metric learning에서 자주 보인다. Example, a model trained on speech signals for speaker identification, may allow you to convert a speech snippet to a vector of numbers, such that another snippet from the sa..
AI/CV & SSL 2019. 11. 15. 17:26

[개념정리] Logistic Regression과 MLP의 차이

공부를 하다보니 Logistic Regression을 Linear Logistic Regression이라고 적어둔 것을 봤다. 이를 찾아보니 Logistic Regression이 Linear 하다고 한다. 이해가 안됐다. 이번에는 Logistic Regression과 Multi-Layer Perceptron (MLP)이 다르단다. 둘 다 그냥 Linear Regression의 반대말인데... 는 틀렸다. 둘은 엄연히 차이점이 있었다. 우선 아래의 사이트에서 다음과 같이 적혀있다. https://scikit-learn.org/stable/modules/neural_networks_supervised.html MLP is different from logistic regression, in that betw..
AI/CV & SSL 2019. 11. 9. 21:28

[개념정리] co-adaptation이란?

co-adaptation = 공적응 = 동시적응 = 상호적응.. 어떤 뉴런이 다른 특정 뉴런에 의존적으로 변하는 것. 상호적응 문제는, 신경망의 학습 중, 어느 시점에서 같은 층의 두 개 이상의 노드의 입력 및 출력 연결강도가 같아지면, 아무리 학습이 진행되어도 그 노드들은 같은 일을 수행하게 되어 불필요한 중복이 생기는 문제를 말한다. 즉 연결강도들이 학습을 통해 업데이트 되더라도 이들은 계속해서 서로 같은 입출력 연결 강도들을 유지하게 되고 이는 결국 하나의 노드로 작동하는 것으로써, 이후 어떠한 학습을 통해서도 이들은 다른 값으로 나눠질 수 없고 상호 적응하는 노드들에는 낭비가 발생하는 것이다. 결국 이것은 컴퓨팅 파워와 메모리의 낭비로 이어진다. 드랍아웃은 이러한 상호적응 문제를 해소한다[7]. ..
AI/CV & SSL 2019. 11. 1. 11:00