AI/DeepLearning
DeepLearning에 사용되는 Activation Function 정리
활성화 함수 정의 입력된 데이터의 가중 합을 출력 신호로 변환하는 함수이다. 인공 신경망에서 이전 레이어에 대한 가중 합의 크기에 따라 활성 여부가 결정된다. 신경망의 목적에 따라, 혹은 레이어의 역할에 따라 선택적으로 적용한다. 활성화 함수 종류 1. 계단 함수(step function) 정의 및 특징 가장 간단한 활성화 함수로 임계치를 기준으로 0 or 1의 이산적인 값을 출력한다 대표적으로 퍼셉트론에서 사용된 활성화 함수이다 단점 인공신경망에서 사용할 경우 x=0에서 기울기가 $\infty$ 되어 미분이 불가능하여 오류가 발생한다 따라서 단일 퍼셉트론에서만 사용되고 딥러닝에서는 부적절하다. 2. 시그모이드 함수(sigmoid function) 정의 및 특징 전체 실수 범위에서 0 ~ 1 사이의 값을..
DNN(심층신경망)
DNN(심층 신경망)의 정의 인공 신경망(ANN)에서 은닉층(hidden layer)이 2개 이상 가지고 있는 모델 hidden layer가 많아 질 수록 다양한 표현이 가능하고 정확도도 증가하게 된다. HW(하드웨어)의 기술이 발전하면서 연산 처리속도가 증가하여 ANN의 학습시간이 오래 걸리는 것을 극복하고 DNN을 많이 사용한다. DNN을 응용하여 CNN, RNN 등 다양한 모델이 등장한다. DNN의 등장 배경 Backpropagation의 등장으로 ANN은 1990년대 초반까지 크게 발전하고 많이 사용 되었다. 하지만 인공신경망에는 2가지 큰 문제점이 존재한다 ANN의 중요한 2가지 문제점 1. 신경망의 깊이가 깊어질 낮아지는 정확도(Gradient Vanishing) 은닉층을 많이 쌓을 수록 더 ..
ANN(인공신경망)
ANN(Artificial Neural Network) 이란? 💡 사람의 신경망 원리와 구조를 모방하여 만든 기계학습 알고리즘 사람의 신경망 뉴런들이 어떤 신호, 자극 등을 받고, 특정 임계값(Threshold)을 넘어서면 결과 신호를 전달하는 과정 1. Perceptron 💡 사람의 뉴런을 모방한 최조의 신경망 모델 (프랭크 로젠블럿(Frank Rosenblatt)은 1957년에 발표) [좌]뉴런(Neuron), [우]인공 뉴런(artificial neuron, 퍼셉트론) 퍼셉트론의 구조 뉴런(Neuron)은 생물의 신경계를 이루는 신경 세포로 Dendrite(수상돌기), Soma(세포체), Axon(축삭돌기)를 추상화하여 위 그림의 우측과 같이 인공 뉴런을 구현하였다. Dendrite(수상 돌기): ..
Deep Convolutional Neural Network
Convolutional Neural Networks의 기본 Convolution Neural Networks weights와 biases를 가진 neurons(nodes)으로 구성되어있다. 각 neuron은 input을 받아 dot product(내적 연산)을 수행한 후에 비선형 함수에 통과시킨다 미분가능한 score func→ Loss func을 최소화 하는 방향으로 진행한다. input은 raw image pixels이다 The Activations of an example convnet architecture ConvNet(Convolution Networks) architecture INPUT → CONV → RELU → POOL → FC INPUT : ex. 32x32x3(width x hei..
Introduction to Deep Learning
AI (Artificial Intelligence) Thriving field with many practical applications and active research topics. (실제 애플리케이션들, 연구 주제 활용에서 발전하고 있는 분야이다.) Look to intelligent software to automate routine labors (우리는 일상 노동의 자동화를 위하여 지능적인 소프트웨어를 찾는다.) 1. AI의 발전 과정 AI 기술을 이용한 체스, 바둑(알파고)이 인간보다 더 뛰어난 성능을 보이면서 AI(인공지능) 분야에 대한 관심과 연구에 더 많은 관심을 갖고 발전하는 계기가 되었다. 초기 AI는 이미지에서 형태추출하는 것에 불과했지만 이후 발전하면서 이미지의 객체 정보 추출에..