분류 전체보기56 워드투벡터(Word2Vec) Word2Vec - word to vec : 단어를 벡터 - 학습방식 - CBOW , Skip-Gram - 입력은 모두 원-핫 벡터가 되어야함 - distributional hypothesis : 비슷한 맥락에 등장하는 단어들은 유사한 의미를 지니는 경향이 있다 - Word2Vec은 출력층이 내놓는 스코어값에 소프트맥스 함수를 적용해 확률값으로 변환한 후 이를 정답과 비교해 역전파(backpropagation)하는 구조 - 궁극적으로는 예측이 아님! 임베딩 벡터 찾는 거.. CBOW(Continuous Bag of Words) - 주변에 있는 단어들을 입력으로 중간에 있는 단어들을 예측하는 방법 예시 : "The fat cat sat on the mat" - ['The', 'fat', 'cat', 'on.. 2023. 3. 20. 워드 임베딩이란 희소 표현(Sparse Representation) - 벡터 또는 행렬의 값이 대부분 0으로 표현되는 방법 - 예를들어 원-핫 벡터는 희소 벡터, DTM은 희소 행렬 - 고차원에 각 차원이 분리된 표현 방법 - 문제점 - 단어의 개수가 늘어나면 벡터의 차원이 한없이 커짐 - 원-핫벡터에서는 갖고 있는 코퍼스에 단어가 10000개면 벡터 차원 10000이어야함 - 공간적 낭비 - 단어의 의미를 표현하지 못함 - 단어 벡터간 유의미한 유사성을 표현할 수 없음 -> 대안 : 분산표현 분산 표현(Distributed Representation) - 가정 : 비슷한 문맥에서 등장하는 단어들은 비슷한 의미를 가진다. ex) 강아지는 귀엽다, 예쁘다, 애교 등의 단어와 주로 함께 등장. 이 단어들은 유사한 벡터값을 .. 2023. 3. 20. RNN 언어 모델(RNNLM) 피드 포워드 신경망 언어 모델(NNLM) (tistory.com) 피드 포워드 신경망 언어 모델(NNLM) 피드 포워드 신경망 언어 모델(Feed Forward Neural Network Language Model) - 신경망 언어 모델의 시초 피드 포워드 신경망(FFNN) - 오직 입력층에서 출력층 방향으로 연산이 전개되는 신경망 기존 N-gram 언어 tgwon.tistory.com 순환 신경망(RNN) (tistory.com) 순환 신경망(RNN) RNN RNN(Recurrent Neural Network)이란? - 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 - 가장 기본적인 인공신경망 시퀀스 모델 시퀀스 모델이란?? - 연속적인 입력으로 부터 연속적인 출력을 생 tgwon.tistory.c.. 2023. 3. 19. 딥러닝의 학습 방법 딥러닝의 학습 방법 1. 인공 신경망은 입력에 대해서 순전파 연산을 함 2. 순전파 연산을 통해 나온 예측값과 실제값의 오차를 손실 함수(loss function)을 통해 계산 3. 이 손실(오차, loss)을 미분해서 기울기를 구함 -> 최솟값 찾기위해 4. 이를 통해 출력층 -> 입력층 방향으로 가중치와 편향을 업데이트 하는 역전파(옵티마이저)를 수행 : 인공신경망의 학습 단계 개념 정리 . . 순전파(Forward Propagation) - 인공 신경망에서 입력층에서 출력층 방향으로 연산을 진행하는 과정 - 주어진 입력이 입력층으로 들어가서 은닉층을 지나 출력층에서 예측값을 얻는 과정 행렬로 순전파 이해해해보기 아래의 예시에선 매개변수(가중치, 편향)이 총 6+2 = 8개 임을 알 수 있음 행렬로 .. 2023. 3. 19. 활성화 함수, 과적합, 기울기 소실 활성화 함수(Activation function) - 은닉층과 출력층의 뉴런에서 출력값을 결정하는 함수 - 비선형 함수 - 활성화 함수를 사용하는 은닉층 - 비선형층(nonlinear layer) 왜 활성화 함수로 비선형 함수를 사용해야하는가? - 선형 함수로 은닉층을 여러번 추가하더라도 1회 추가한 것과 차이 없음 - ex) 활성화 함수 f(x) = wx, y(x) = f(f(f(x))) = wwwx = kx - 선형 함수 층을 사용하지 않겠다는 건 아니다! - 선형 함수 층을을 비선형 층들과 함께 인공신경망의 일부로 추가하는 경우도 있음 -> 학습 가능한 가중치가 새로 생긴다는 점에서 의미 있음 - 선형 함수를 사용한 층을 활성화 함수를 사용하는 은닉층과 구분 - > 선형층(linear layer) .. 2023. 3. 19. 퍼셉트론 , ANN vs DNN 퍼셉트론(Perceptron) - 초기 형태의 인공 신경망 - 다수의 입력으로 하나의 결과를 내보내는 알고리즘 - 뉴런의 동작과 유사 - 가지돌기에서 신호 받아서 일정치 이상의 크기면 축삭돌기를 통해 신호 전달 - x : 입력값 - w: 가중치 - 축삭돌기의 역할 - y : 출력 - 인공 뉴런 - 각각의 입력값에는 각각의 가중치 존재. 가중치의 값이 클수록 해당 입력 값이 중요! - 입력값과 가중치의 곱의 전체 합이 임계치(threshold)를 넘으면 인공 뉴런은 1출력, 그렇지 않으면 0 출력 : 계단함수 - 활성화 함수 : 뉴런에서 출력값을 변형시키는 함수 - 퍼셉트론의 활성화 함수 : 계단함수 단층 퍼셉트론(Single-Layer Perceptron) - 위에서 배운 퍼셉트론 - 두 단계로만 이루어.. 2023. 3. 19. 이전 1 ··· 3 4 5 6 7 8 9 10 다음
