[인공지능] 5-2 신경망

분류 문제의 종류

1. 이진 분류

: 2개의 부류 중 하나 선택

2. 다부류 분류

: 3개 이상의 부류 중 하나 선택

3. 다중레이블 분류

: 하나의 대상에 대해서 여러개 부류 지정 가능

 

출력 값의 표현

• 문자열 또는 기호 - 'cold'
• 정수 인코딩 - 0 2 1
• one-hot 인코딩 - [1. 0. 0.] -> 3개중 하나만 1임

 

오차함수

기대하는 출력과 모델의 출력 차이를 축적하여 표현하는 함수

회귀문제의 오차함수

이진 분류 문제의 오차함수

: 오차함수로 음의 로그 가능도 사용 가능

다부류 분류 문제의 오차함수

: 데이터의 가능도를 최대로 하는 파라미터 w 를 추정하는 것

오차함수 : 가능도의 음의 로그 가능도

• 출력은 one-hot 인코딩
• 출력 >= 0, 출력의 합 = 1

소프트맥스 층

• 최종 출력을 분류확률로 변환하는 층 - 출력의 합 = 1

학습데이터

• one-hot벡터 표현

 

다중레이블 문제의 오차함수

교차 엔트로피

• 학습데이터의 가능도를 최대로 하는 파라미터를 찾기 위한 분류 문제에 대한 오차함수

 

RBF함수

: 기존 벡터u와 입력 벡터 x의 유사도를 측정하는 함수

: 가우시안 함수와 유사

RBF망

경사하강법 사용

 

Quiz

RBF함수는 회귀문제와 분류문제 모두 적용 가능하다. (O)

음의 로그 가능도를 사용하는 오차함수를 최소화하는 것은 학습 데이터의 가능도를 최대로 하는 파라미터를 찾는 최대 가능도 추정을 하는 것과 같은 효과를 갖는다. (O)

가능도를 목적함수로 사용하는 경우에는 가능도값이 작을수록 좋다. (X)

다층 퍼셉트론에서 마지막 소프트맥스 층을 추가하면 출력 값을 확률로 해석할 수 있다. (O)

분류 문제에서는 교차엔트로피를 오차함수로 사용할 수 있다. (O)

회귀문제에서는 출력값을 one-hot 인코딩으로 나타내지 않는다. (O)