[Computer Vision] Classification

Classification

- 지도 학습의 한종류

- Regression은 연속적인값, Classification은 분류

- Binary Classification, mulit-class Classification

Binary Classification

- 0과 1, 양성과 음성 등 두개의 결과로 나눌 수 있는 분류를 말한다.

- Training examples with t = 1 are called positive examples, and training examples with t = 0 are called negative examples.

- Binary Classification은 데이터의 bias 가 너무 크다면 정확한 모델 학습이 되지 않을 수 있다. 때문에 SIgmoid라는 함수를 이용해 Logistic function을 만든다.

sigmoid

Cross-entropy loss

- 손실함수는 답과 가까울수록 loss가 작아지고 답과 멀어질수록 loss가 커진다.

- 항아리 모양으로 만들어진 loss function 사용

- Entropy : 어떠한 랜덤변수의 정보의 기대값 -> -t log (y)

-> entropy를 낮추기 위해 학습을 한다.

corss-entropy loss

cross entropy 식

cross entropy 미분

- y : function(모델)의 결과 예측값     t :정답값(label)        N : batch

-> 결국 기대값 y와 t가 같도록 만든다. -> 같을 수록 Entropy가 낮아진다.

Huffman code

- 압축 알고리즘

- 메세지를 비트수로 나타내서 전송할때 빈도수가 많은 메세지의 비트수를 작게 보낸다. 반대로 빈도수가 적은 메세지의 비트수를 가장 크게 보낸다.

 

Multi-class Classification

- Binary Classification은 분류가 2가지로 나누어졌지만 분류 결과값이 3개 이상일때 Multi-class Classification을 이용한다.

- Targets from a discrete set {1,...., K}

- one-hot vectors, one-of-K encoding 이라도고 한다.

-> 결과값(y)이 벡터다

-> 벡터와 벡터값을 곱해서 스칼라 값이 나왓지만 이젠 벡터값이 결과값으로 나온다 -> 딥러닝

-> 벡터로 바꾸고 벡테중 가장 큰 값을 도출

-> y 결과 기대값이 확률로 바꾸어 줘야함 -> softmax function 이용

 

Classification(분류)

- predicting a discrete-valued target 이산값 목표 예측

- 지도학습(Supervied Learning)

- 주어진 데이터들의 class 파악하고 새롭게 들어오는 데이터 분류

Binary classification

- positive examples / negative examples, 1 / 0, True / False 등 두가지로 답을 내릴 수 있는 경우

- ex) 이메일 스팸과 정상 이메일 검출, 신용카드 거래 정상 거래 이상 거래 검출