A Tour of Machine Learning (2) - Type of Machine Learning approach

Type of machine learning approach

Three ML Types

1. Supervised (inductive) Learning
   : Training data가 output을 포함하고 있다.
2. Unsupervised Learning
   : Training data가 output을 포함하고 있지 않다.
3. Reinforcement Learning
   : Action에 따라 보상을 주면서 적응하는 학습방법

머신러닝의 유형

머신러닝 학습 방법 및 모델 구조

학습 방법	학습 문제의 예시
감독 학습	인식, 분류, 진단, 예측, 회귀분석
비감독(무감독) 학습	군집화, 밀도추정, 차원축소, 특징추출
강화 학습	시행착오, 보상 함수, 동적 프로그래밍

모델 구조	표현	기계학습 모델 예
논리식	명제 논리, 술어 논리,Prolog 프로그램	Version Space 귀납적 논리 프로그래밍(ILP)
규칙	If-then 규칙, 결정 규칙	AQ
함수	Sigmoid, 다항식, 커널	신경망, RBF망, SVM, 커널머신
트리	유전자 프로그램, Lisp 프로그램	결정 트리, 유전자 프로그래밍, 뉴럴트리
그래프	방향성/무방향성 그래프, 네트워크	확률그래프 모델, 베이지안망, HMM

* 대부분의 ML 모델은 함수로 표현된다. => 최적화 기술은 함수의 활용이 좋다.

1. Supervised Learning(감독 학습)

• 라벨링된 데이터를 활용하여 모델 학습 (사람이 개입) -> supervised 의미
• 새로운 데이터(train에 사용되지 않은 data)를 분류 및 예측한다.
• Predict function F(X) for new examples X
  • Discrete F(X): Classification
  • Continuous F(X): Regression
  • F(X) = Probability(X): Probability estimation
• Example applications
  • 신용 위험 판단
  • 질병 판단
  • 얼굴 인식
  • 자율 주행
• Supervised Learning - Classification(분류)

• Y = F(X)
  Y : output, F : prediction function, X : input
• Training : 라벨링된 데이터({(x1,y1),(x2,y2)...})로 함수 f의 error를 최소화 하도록 학습.
• Testing : training에 사용되지 않은 data를 사용하여 함수 f의 성능을 평가한다.

Decision boundaries로 나누어진  decision regions 에 의해 분류가 결정된다.

• Classification 모델의 종류
  • K-Nearest Neighbor (K-NN)
  • Support Vector Machines (SVMs)
  • Boosted Decision Trees
  • Neural networks (NNs)
  • Naïve Bayes
  • Logistic regression
  • Randomized Forests
  • Etc.

• Supervised Learning - Regression(회기)

 

 

 

 

input x로부터 ouput y를 도출할 수 있다.

classification과의 차이점은 output이 연속적이다.

 

 

1. Unsupervised Learning(비감독 학습)

• 학습전에 답을 알 수 없다.
• input data는 라벨링되지 않고 구조를 알 수 없다.
• 알려진 출력 값, 보상함수를 사용하면 데이터의 구조를 알아낼 수 있고 의미있는 정보를 추출할 수 있다.

• Unsupervised Learning - Clustering

 

 

 

 

• feature representation
• 사전의 그룹에대한 정보없이 의미있게 군집화할 수 있다.
• unlabeled data들을 군집화한다.

 

• For example(사용 예시)
  • Clustering Web
    기사, 블로그 등의 글의 분야를 군집화하여 나누어준다.
  • Clustering photo categorization based on person
  • Dimensionality Reduction(차원 축소)
    정보를 유지하면서 차원을 축소
  • Dimensionality reduction mainfold learning
    유사 얼굴 표정으로 2차원에 배치(n차원 -> 2차원)
  • Dimensionality reduction word embedding for NLP
    단어(텍스트)를 2차원에 유사도 배치

1. Reinforce learning(강화학습)

• 환경과 계속 상호작용을 하면서 feedback을 통해 학습 진행
• 보상 함수를 통한 보상을 최대화하는 방향으로 진행한다.(시행 착오를 거치며 진행)