[인공지능] 4-3 기계학습 회귀, 추천

1. 회귀

학습 데이터에 부합되는 출력 값이 실수인 함수를 찾는 문제

성능

• 오차 : 예측값과 실제값의 차이
  • 테스트 데이터들에 대한 (예측값 - 실제값)^2 의 평균 or 평균의 제곱근
• 성능은 모델(함수)의 종류에 영향을 받음

경사하강법

학습 데이터에 부합하는 출력 값이 되도록 파라미터를 변경하는 일

• 오차함수 E의 그레디언트 반대 방향으로 조금씩 움직여가면서 최적의 파라미터를 찾는 방법
• 데이터의 입력, 출력을 이용해 각 파라미터에 대한 그레디언트를 계산하여 파라미터를 반복적으로 조정

그레디언트 : 각 파라미터에 대해 편미분한 벡터

회귀의
과적합
지나치게 복잡한 모델 사용
부적합
지나치게 단순한 모델 사용

회귀 과적합 대응 방법

모델의 복잡도를 성능 평가에 반영 - 복잡도가 크지 않도록

목적함수 = 오차의 합 + (가중치)*(모델 복잡도)

로지스틱 회귀

이진 분류 문제에 적용

• 경사하강법을 사용하여 학습
• 가능도 : 모델이 학습 데이터를 생산할 가능성
• 0과 1인 이진 출력이 학습데이터가 됨
  학습되는 모델의 출력구간(0,1)

회귀에서 오차의 편향과 분산 분해

오차의 기대값 E(E) = 편향^2 + 분산
오차=교차엔트로피
E = (f(x) - y)^2 : 오차
f(x) : 회귀 함수로 예측한 값
y : 실제 측정 값

편향과 분산은 회귀 함수의 형태에 따라 영향을 받은

복잡도가 낮은 단순한 모델을 이용한 회귀의 반복

• 실제 데이터와 회귀 함수의 큰 차이 : 큰 편향을 보임
• 학습된 회귀 함수들 간의 적은 차이 : 작은 분산을 보임

복잡도가 높은 복잡한 모델을 이용한 회귀의 반복

• 실제 데이터와 회귀 함수의 작은 차이 : 작은 편향을 보임
• 학습된 회귀 함수들 간의 큰 차이 : 큰 분산을 보임

편향-분산 트레이드오프

• 편향 : 단순한 모델로 잘못 가정할 때 크게 발생
  -> 부적합 문제 초래
• 분산 : 복잡한 모델 사용에 따라 학습데이터에 내재된 작은 변동
  -> 과적합 문제 초래
  

모델 복잡도 증가

• 편향 감소, 분산 증가

모델 복잡도 감소

• 편향 증가, 분산 감소

-> 모델 복잡도는 분산에 비례
-> 편향과 분산 동시 축소 어려움

2. 추천

• 개인별로 맞춤형 정보를 제공하는 기술
• 사용자에게 맞춤형 정보를 제공하여 정보검색의 부하를 줄여주는 역할
  추천 데이터
• 희소 행렬 형태
  • 많은 원소가 비어있음
  • 비어있는 부분을 채우는 것이 추천

내용 기반 추천

고객이 이전에 높게 평가했던 것과 유사한 내용을 갖는 대상을 추천

협력 필터링

사용자 간 협력 필터링

• 추천 대상 사용자와 비슷한 평가를 한 사용자 집합 이용
  항목 간 협력 필터링
• 항목 간의 유사도를 구해 유사 항목을 선택

은닉 요소 모델

행렬 분해에 기반한 방법

Quiz
회귀
1. 목적함수에 모델 복잡도 항을 포함시키면 과적합 학습을 피할 수 있다.
2. 회귀에서는 오차의 제곱합을 목적함수로 사용할 수 있다.
3. 로지스틱 회귀 모델의 목적함수로는 교차 엔트로피가 사용될 수 있다.

편향-분산
1. 편향은 학습 알고리즘에서 선택한 모델이 너무 단순할 때 크게 발생