[인공지능] 4-5 앙상블 학습

1. 앙상블 학습

대중의 지혜

• 무작위로 선택된 많은 사람의 답변을 모은 것이 전문가의 답변보다 낫다

앙상블 학습

• 일련의 예측 모델(분류 or 회귀)을 사용한 모델의 학습

붓스트랩

주어진 학습데이터 집합에서 복원추출하여 다수의 학습 데이터 집합을 만들어내는 기법

2. 배깅

• 붓스트랩을 통해 여러개의 학습데이터 집합 생성
• 각 학습 데이터 집합별로 분류기 또는 회귀모델 생성
• 최종판정
  • 분류기들의 투표나 가중치 투표
  • 회귀모델들의 평균
  랜덤 포레스트 알고리즘
• 분류기로 결정트리를 사용하는 배깅기법
• Random : 무작위로 선택한 속성 중에서 분할 속성 선택
  Forest : 여러 결정트리로 구성
• 배깅에 의한 회귀

1. 붓스트랩을 통해 다수의 학습데이터 집합 생성
2. 각 학습 데이터 별로 회귀모델 생성
3. 이들 회귀모델의 평균값으로 최종 회귀 생성부스팅 : k개의 예측 모델을 순차적으로 만들어가는 앙상블 모델 생성
4. 3. 부스팅 알고리즘

• 오차에 따라 학습데이터에 가중치 또는 값을 변경해가면서 예측 모델 생성N개의 학습 데이터 di에 대한 초기 가중치 wi
• AdaBoost
• wi = 1/N
  학습오류값
• 잘못 분류한 학습데이터의 가중치 합으로 표현
• 학습 오류값이 0.5 미만인 분류기들만 사용
  학습
• 잘못 판정한 학습데이터의 가중치는 증대
• 제대로 판정한 학습데이터의 가중치는 축소
• 가중치의 합이 1이 되도록 정규화