Introduction to Deep Learning

AI (Artificial Intelligence)

• Thriving field with many practical applications and active research topics.
  (실제 애플리케이션들, 연구 주제 활용에서 발전하고 있는 분야이다.)
• Look to intelligent software to automate routine labors
  (우리는 일상 노동의 자동화를 위하여 지능적인 소프트웨어를 찾는다.)

1. AI의 발전 과정

인공지능과의 대결(체스, 알파고)

AI 기술을 이용한 체스, 바둑(알파고)이 인간보다 더 뛰어난 성능을 보이면서 AI(인공지능) 분야에 대한 관심과 연구에 더 많은 관심을 갖고 발전하는 계기가 되었다.

AI의 변천사

초기 AI는 이미지에서 형태추출하는 것에 불과했지만 이후 발전하면서 이미지의 객체 정보 추출에서 현재 이미지의 대략적인 Context를 파악할 수 있다.

2. AI가 발전할 수 있게된 이유

1. Computing Power의 발전 : 빠른 처리 및 계산 속도
2. Big Data : SNS와 같은 다양한 Platform의 발전으로 인한 엄청난 양의 데이터 축적
3. Algorithms : AI에 알맞은 다양한 알고리즘의 발전

3. AI 특징

• AI는 사람들의 작업, 업무를 쉽고 빠르게 해결한다. 하지만 사람들이 AI의 문제 해결 과정을 이해하는 것은 알 수 없다. 문제 해결 과정을 이해하고 표현할 수 있게 하는 것이 AI 분야의 도전과제이다.
• 우리는 끊이없이 수많은 데이터를 요구하고 직면한다. 이러한 데이터는 주관적이고 직관적이기 때문에 형식적으로 표현하는 것이 어렵다. -> 사람은 표현이 가능하지만 기계는 표현하기 어렵다.
• 궁극적으로는 AI 컴퓨터도 주관적이고 직관적인 방법으로 처리할 수 있는 것이다.
• AI는 raw data로 부터 patterns을 추출할 수 있다. -> Machine learning

Representation Learning

• 머신러닝의 성능은 주어진 데이터의 표현에 따라 달라진다.
  -> 이러한 표현을 "feature"라 한다.
• 딥러닝은 내부적으로 RL(Representation Learning)을 수행한다.
• 적절한 features를 선택하여 추출하는 것에 어려움이 있었다.(사람이 직접 feature를 추출함)
  -> Deep Learning의 Motivation이 됨
• feature를 output에 mapping 시키는 mapping function을 찾아 학습시키는 것을 Representation Learning이라고 한다.
• feature를 통한 RL은 AI 시스템이 인간의 개입을 최소화하고 문제에 빠르게 적응하고 접근하도록 하였다.

cartesian vs Polar Coordination

• 왼쪽은 선하나로 표현 불가능, 오른쪽은 선 하나로 표현 가능
  feature 추출방법에 따라 표현이 달라짐 -> 모델의 성능에 차이 발생

Deep Learning

• feature 추출에 사람의 손이 많이 필요한 문제점을 해결하기 위해 등장
• 딥러닝은 간단한 표현으로 복잡한 표현을 만들 수 있게 해 준다.(Distributed representation)

• Computer가 raw data(pixel 값으로 이루어진 데이터)를 보고 의미를 해석하는 것은 불가능.
• Pixel 값으로 객체를 인지하는 mapping function은 매우 복잡해서 학습이 거의 불가능하다.
• Deep Learning은 복잡한 작업(mapping)을 단순한 작업으로 분할해서 해결한다.
• Input pixel을 visible layer에 바로 입력한다.(기존 머신러닝은 feature를 추출하고 feature를 입력에 넣은 것과 큰 차이가 있다.)
• hidden Layer들 에서는 주어진 image에서 추상적인 feature를 추출한다.(인간이 해석하기 어렵다, DL 모델이 유용한 feature를 추출함)
• 좌측 예시 hidden layer 1에서는 edge, 2에서는 corners and contours, 3에서는 object parts 추출하고 최종적으로 object identity를 출력하게 된다.
• Deep Learning에서는 Mapping function을 자동적으로 생성하여 feature를 추출한다.

AI, ML, RL, DL의 상관관계

 

 

 

 

 

• ML은 AI 시스템을 구축하기 위한 접근 방법이다.
  자동적으로 feature를 추출하거나 의미를 추출하는 알고리즘.

 

• DL은 ML의 종류 중 하나이다. 표현을 학습하는 것에 강력한 파워와 유연함을 갖고 있어 많이 사용되는 ML 중 하나이다.

 

 

 

1. Deep Learning Trends

• Deep Explanation
  딥러닝의 특성상 중간과정의 feature를 설명할 수 없다. 따라서 feature를 설명할 수 있는 모델을 만드는 것을 목표로 한다.
• Interpretable Models
  사람이 해석 가능하고 구조를 파악할 수 있는 딥러닝 모델을 개발하고자 하는 것을 목표로 한다.
• Model Induction
  Black box 모델로부터 어떤 유용한 새로운 모델을 유도하는 것을 목표로 한다.(black box로서의 기능)
• Growing Datasets

데이터셋의 수가 증가하고 있다.(데이터가 디저털로 저장, 온라인 활동이 데이터셋 증가를 가속화하고 있다)
-> Big data를 기반으로 Deep Learning의 통계학적(통계 추정) 부담이 줄어들게 되고 성능은 향상
-> 적은 양의 데이터로 일반화가 잘된 모델을 만들 수 있다.

• Model Sizes

초기 ANN의 인공 신경망의 연결 수가 제한적(하드웨어 성능 때문에), 최근에는 고양이의 connections per neural 수에 근접하고 증가하고 있는 추세이다.

• Increasing neural network size

신경망 네트워크 사이즈 증가 이유
* GPU의 발전
* 네트워크 연결의 속도 증가
* 분산화된 컴퓨팅(distributed computing)과 같은 software infra가 잘 구축

• Increasing Accuracy, Complexity

Error는 감소, Accuracy는 증가

• Complexity 증가 경향 -> Neural Turing Machines : 감독 학습이 아닌 사람의 개입 없이 기계가 직접 데이터를 가져와서 학습하는 것.(self-programming technology)
• RNN, LSTM 구조의 등장
  sequences input을 학습하는 모델 구조. ex) machin translation.
• Reinforcement Learning

 

시스템(agent)이 실행(action)을 하고 이후 상태(state)와 보상(reward) 값으로 시스템(agent)을 발전해 나간다.

라벨링 된 값으로 학습하는 것이 아닌 실행에 따른 환경의 상태와 보상 값으로 환경에 맞게 시스템을 발전시킨다.

 

DeepMind(알파고를 만든 회사) Deeplearning을 적용한 강화학습을 개발 Deep Reinforce Learning