반응형 딥러닝4 [DL] 오차역전파법(Backpropagation) 오차역전파법(Backpropagation) 기울기 계산을 효율적이고, 고속으로 수행하는 기법입니다. 오차역전파법을 쓰면 수치 미분을 사용할 때와 거의 같은 결과를 훨씬 빠르게 얻을 수 있다는 장점이 존재합니다. 신경망 학습은 시간이 오래 걸리니, 시간을 절약하려면 오차역전파법 사용하는 것이 좋습니다! 말 그대로 오차역전파법은 순전파의 반대로 간다고 생각하시면 됩니다. 본 글에서는 수식이 아닌 계산 그래프를 통해 오차역전파법을 설명하겠습니다. 계산 그래프(computational graph) 계산 과정을 그래프로 나타낸 것입니다. 복수의 노드(node)와 에지(edge)로 표현합니다. 노드 : 원으로 표현하고 원 안에 연산 내용 적음 에지 : 노드 사이의 직선 계산 그래프의 특징은 국소적 계산을 전파함으로.. 2022. 3. 8. [DL] 신경망 학습 신경망 학습 학습이란 훈련 데이터로부터 가중치 매개변수의 최적 값을 자동으로 획득하는 것을 의미 데이터 주도 학습 기계학습에서는 사람의 개입을 최소화하고 수집한 데이터로부터 패턴을 찾으려 시도합니다. 게다가 신경망과 딥러닝은 기존 기계학습에서 사용하던 방법보다 사람의 개입을 더욱 배제할 수 있게 해주는 중요한 특성을 지닙니다. 예를 들어, 자유분방한 손글씨 이미지를 보고 5인지 아닌지를 알아보는 프로그램을 구현해봅시다. 5를 제대로 분류하는 프로그램을 직접 고안해 설계하기란 의외로 어려운 문제입니다. 사람이라면 어렵지 않게 인식하지만, 그 안에 숨은 규칙성을 명확한 로직으로 풀기가 만만치 않습니다. 5를 인식하는 알고리즘을 밑바닥부터 설계하는 대신, 주어진 데이터를 잘 활용해서 해결하고 싶어집니다. 그런.. 2022. 3. 4. [DL] 손실함수 (Loss Function) : 오차제곱합(SSE), 교차 엔트로피 오차(Cross-Entropy) 손실함수(Loss Function) 신경망 학습에서는 현재의 상태를 ‘하나의 지표’로 표현합니다. 그리고 그 지표를 가장 좋게 만들어주는 가중치 매개변수의 값을 탐색하는 것이 목표입니다. (최적의 매개변수 값을 탐색) 신경망 학습에서 사용하는 지표를 손실 함수(loss function)라고 합니다. 이 손실함수는 임의의 함수를 사용할 수도 있지만 일반적으로는 오차제곱합과 교차 엔트로피 오차를 사용합니다. 손실 함수는 신경망 성능의 ‘나쁨’을 나타내는 지표 현재의 신경망이 훈련 데이터를 얼마나 잘 처리하지 ‘못’하느냐를 나타냄 손실 함수에 마이너스만 곱하면 ‘얼마나 좋으냐’라는 지표로 변신 나쁨을 최소로 하는 것과 좋음을 최대로 하는 것은 결국 같은 것이니까 본질적으로 같음 훈련 데이터에 대한 손실 함수의.. 2022. 3. 4. [DL] 퍼셉트론(Perceptron) 퍼셉트론 (Perceptron) 프랑크 로젠블라트가 1957년 고안한 알고리즘 퍼셉트론이 신경망(딥러닝)의 기원이 되는 알고리즘이기 때문에 공부가 필요 여기서 기술하는 퍼셉트론은 ‘인공 뉴런’ 혹은 ‘단순 퍼셉트론’ 의미. 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력. 퍼셉트론 신호는 ‘흐른다/안 흐른다(1 or 0)’의 두 가지 값을 가질 수 있음 입력이 2개인 퍼셉트론 x1, x2 : 입력신호 y : 출력 신호 w1, w2 : 가중치 그림의 원 : 뉴런 혹은 노드라고 부름 뉴런에서 보내온 신호의 총합이 정해진 한계를 넘어설 때만 1을 출력하고, 그 한계를 임계값이라 하며, Θ (세타)로 표현합니다. 퍼셉트론은 복수의 입력 신호 각각에 고유한 가중치를 부여하며, 가중치가 클수록 해당 신호.. 2022. 2. 24. 이전 1 다음 반응형
