Python/DL7 신경망, 오차역전파법 신경망이란? - 인간의 뉴런 구조를 본떠 만든 기계학습과정의 유형 활성화 함수 - 입력신호의 총합을 출력신호로 변환하는 함수 - 입력신호의 총합이 활성화를 일으키는지 정하는 역할 입력신호의 총합, a라는 노드가 h(x)라는 활성화함수를 거쳐 y라는 노드로 변환됨 활성화함수로 신호를 변환하고 그 변환된 신호를 다음 뉴런에 전달 : 노드 마다 입력과 출력이 있는데 노드의 입력이 활성화함수를 거쳐 그 노드의 출력이 되고, 다음 뉴런에 그 값이 전달 됨 h(x)는 임계값(0)을 경계로 출력이 바뀌는 함수 -> 계단 함수 퍼셉트론은 활성화함수로 계단함수를 이용함 딥러닝에서는 활성화함수로 계단함수를 사용하지 않음. 역전파과정에서 미분가능해야하기 때문에 계단함수 처럼 불연속이면 안되기 때문 계단 함수가 아닌 다른 함.. 2023. 7. 14. CNN 이해하기 (2) https://ganghee-lee.tistory.com/43 translation invariance 설명 및 정리 translation invariance를 설명하기 위해 먼저 Classification에 대해 살펴보자. Classification은 Image가 주어졌을때 이 이미지가 어떤 사진인지, 어떤 Object를 대표하는지 분류하는 문제이다. 따라서 아래 그림 ganghee-lee.tistory.com Dense 층은 입력 특성 공간에 있는 전역 패턴을 학습하지만( ex) mnist 숫자 이미지 모든 픽셀에 걸친 패턴) 합성곱 층은 아래 그림처럼 지역 패턴을 학습한다 지역 패턴을 학습한다는 CNN의 특징은 두 가지 성질을 제공함 1. 학습된 패턴은 평행 이동 불변성(translation inv.. 2023. 5. 8. CNN 이해하기 (1) CNN 1. 합성곱 신경망(Convolutional neural network, CNN)은 시각적 영상을 분석하는 데 사용 2. 딥러닝에서 심층 신경망으로 분류 3. 시각적 영상 분석에 주로 적용 4. 상 및 동영상 인식, 추천 시스템, 영상 분류, 의료 영상 분석 및 자연어 처리 등에 응용 왜 CNN인가? 일반 DNN(Deep Neural Network)의 문제점 - 기본적으로 1차원 형태의 데이터를 사용 - 이미지가 입력값이 되는 경우, 이것을 flatten시켜서 한줄 데이터로 만들어야 함 - 이 과정에서 이미지의 공간적/지역적 정보(spatial/topological information)가 손실 - 한줄로 된 row데이터에서는 연산관계(픽셀들이 모여 객체를 만듦, 픽셀 간의 상관관계)가 제거 됨... 2023. 5. 2. 딥러닝의 학습 방법 딥러닝의 학습 방법 1. 인공 신경망은 입력에 대해서 순전파 연산을 함 2. 순전파 연산을 통해 나온 예측값과 실제값의 오차를 손실 함수(loss function)을 통해 계산 3. 이 손실(오차, loss)을 미분해서 기울기를 구함 -> 최솟값 찾기위해 4. 이를 통해 출력층 -> 입력층 방향으로 가중치와 편향을 업데이트 하는 역전파(옵티마이저)를 수행 : 인공신경망의 학습 단계 개념 정리 . . 순전파(Forward Propagation) - 인공 신경망에서 입력층에서 출력층 방향으로 연산을 진행하는 과정 - 주어진 입력이 입력층으로 들어가서 은닉층을 지나 출력층에서 예측값을 얻는 과정 행렬로 순전파 이해해해보기 아래의 예시에선 매개변수(가중치, 편향)이 총 6+2 = 8개 임을 알 수 있음 행렬로 .. 2023. 3. 19. 활성화 함수, 과적합, 기울기 소실 활성화 함수(Activation function) - 은닉층과 출력층의 뉴런에서 출력값을 결정하는 함수 - 비선형 함수 - 활성화 함수를 사용하는 은닉층 - 비선형층(nonlinear layer) 왜 활성화 함수로 비선형 함수를 사용해야하는가? - 선형 함수로 은닉층을 여러번 추가하더라도 1회 추가한 것과 차이 없음 - ex) 활성화 함수 f(x) = wx, y(x) = f(f(f(x))) = wwwx = kx - 선형 함수 층을 사용하지 않겠다는 건 아니다! - 선형 함수 층을을 비선형 층들과 함께 인공신경망의 일부로 추가하는 경우도 있음 -> 학습 가능한 가중치가 새로 생긴다는 점에서 의미 있음 - 선형 함수를 사용한 층을 활성화 함수를 사용하는 은닉층과 구분 - > 선형층(linear layer) .. 2023. 3. 19. 퍼셉트론 , ANN vs DNN 퍼셉트론(Perceptron) - 초기 형태의 인공 신경망 - 다수의 입력으로 하나의 결과를 내보내는 알고리즘 - 뉴런의 동작과 유사 - 가지돌기에서 신호 받아서 일정치 이상의 크기면 축삭돌기를 통해 신호 전달 - x : 입력값 - w: 가중치 - 축삭돌기의 역할 - y : 출력 - 인공 뉴런 - 각각의 입력값에는 각각의 가중치 존재. 가중치의 값이 클수록 해당 입력 값이 중요! - 입력값과 가중치의 곱의 전체 합이 임계치(threshold)를 넘으면 인공 뉴런은 1출력, 그렇지 않으면 0 출력 : 계단함수 - 활성화 함수 : 뉴런에서 출력값을 변형시키는 함수 - 퍼셉트론의 활성화 함수 : 계단함수 단층 퍼셉트론(Single-Layer Perceptron) - 위에서 배운 퍼셉트론 - 두 단계로만 이루어.. 2023. 3. 19. 이전 1 2 다음
