Python35 SVR(Support Vector Regression) 서포트 벡터 머신 회귀(support vector machine regression) - 비모수적 방법 - 커널 함수를 기반으로 함 - 제한된 마진 오류 안에서 가능한 한 많은 관측치가 마진에 포함되도록 학습하는 방법 - 마진 안에 관측치가 많은 초평면이 좋은 초평면이다 - svm과 마진을 고려하는 건 똑같지만, svr은 마진 밖에 있는 error가 최소가 되도록 동작함 - 마진의 폭은 하이퍼파라미터 ε(입실론)으로 조절(slack variable 과 혼동 x) - 마진을 통해 오차에 반응하지 않는 영역 마련 -> 노이즈에 영향을 받지 않도록 - 마진에 들어가는 학습데이터를 추가 -> 예측 능력에 영향 X - 모델은 입실론에 민감하지 않다 - 입실론이 아니라 규제 C에 민감하다 - SVR의 규제 C - .. 2023. 4. 1. SVM(Support Vector Machine) 서포트 벡터 머신(SVM) - 분류 방법론 - 선형, 비선형 분류에 모두 사용 - 분리 초평면에서 출발하여 서포트 벡터 머신으로 발전 분리 초평면(Separating Hyperlane) - 초평면 : p차원 공간에서 p-1 차원의 부분공간 - 초평면에 임의의 관측치를 대입하여 결과의 부호에 따라 두 집단으로 분류(1,-1) - 분리 초평면은 무수히 많이 존재 가능. 어떤 걸 이용할까? -> 최대 마진 분류기 최대 마진 분류기 - 분리 초평면 중 최대 마진을 갖는 초평면을 선택하는 방법 - 마진(margin) : 주어진 관측치와 초평면 사이의 수직 거리. 관측치들에서 초평면까지의 가장 짧은 거리 - 마진이 최대가 되게 하는 초평면(최대마진초평면)을 찾는다! H+와 H- 위의 점들에서 초평면까지의 거리를 d.. 2023. 3. 26. 장단기 메모리(Long Short-Term Memory, LSTM) 장기 의존성 문제(the problem of Long-Term Dependencies) - 은닉층의 과거의 정보가 마지막까지 전달되지 못하는 현상 바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존함 아래 그림 처럼 x1의 정보량은 시점이 길어질수록 점점 옅어짐 -> 장기 의존성 문제 발생 LSTM은 이러한 바닐라 RNN의 단점을 극복한 모델 LSTM 구조 바닐라 RNN과의 차이점 - 은닉층의 메모리 셀에 입력 게이트, 망각 게이트, 출력 게이트를 추가 -> 불필요한 기억을 지우고, 기억해야할 것들을 정함 - 은닉 상태를 계산하는 식이 조금 더 복잡 - 긴 시퀀스 데이터 처리에 성능이 훨씬 더 좋음 - 셀 상태(cell state) 라는 값이 추가 됨, C(t) -> 은닉 상태처럼 이전 시점의 셀 상태.. 2023. 3. 26. 워드투벡터(Word2Vec) Word2Vec - word to vec : 단어를 벡터 - 학습방식 - CBOW , Skip-Gram - 입력은 모두 원-핫 벡터가 되어야함 - distributional hypothesis : 비슷한 맥락에 등장하는 단어들은 유사한 의미를 지니는 경향이 있다 - Word2Vec은 출력층이 내놓는 스코어값에 소프트맥스 함수를 적용해 확률값으로 변환한 후 이를 정답과 비교해 역전파(backpropagation)하는 구조 - 궁극적으로는 예측이 아님! 임베딩 벡터 찾는 거.. CBOW(Continuous Bag of Words) - 주변에 있는 단어들을 입력으로 중간에 있는 단어들을 예측하는 방법 예시 : "The fat cat sat on the mat" - ['The', 'fat', 'cat', 'on.. 2023. 3. 20. 워드 임베딩이란 희소 표현(Sparse Representation) - 벡터 또는 행렬의 값이 대부분 0으로 표현되는 방법 - 예를들어 원-핫 벡터는 희소 벡터, DTM은 희소 행렬 - 고차원에 각 차원이 분리된 표현 방법 - 문제점 - 단어의 개수가 늘어나면 벡터의 차원이 한없이 커짐 - 원-핫벡터에서는 갖고 있는 코퍼스에 단어가 10000개면 벡터 차원 10000이어야함 - 공간적 낭비 - 단어의 의미를 표현하지 못함 - 단어 벡터간 유의미한 유사성을 표현할 수 없음 -> 대안 : 분산표현 분산 표현(Distributed Representation) - 가정 : 비슷한 문맥에서 등장하는 단어들은 비슷한 의미를 가진다. ex) 강아지는 귀엽다, 예쁘다, 애교 등의 단어와 주로 함께 등장. 이 단어들은 유사한 벡터값을 .. 2023. 3. 20. RNN 언어 모델(RNNLM) 피드 포워드 신경망 언어 모델(NNLM) (tistory.com) 피드 포워드 신경망 언어 모델(NNLM) 피드 포워드 신경망 언어 모델(Feed Forward Neural Network Language Model) - 신경망 언어 모델의 시초 피드 포워드 신경망(FFNN) - 오직 입력층에서 출력층 방향으로 연산이 전개되는 신경망 기존 N-gram 언어 tgwon.tistory.com 순환 신경망(RNN) (tistory.com) 순환 신경망(RNN) RNN RNN(Recurrent Neural Network)이란? - 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 - 가장 기본적인 인공신경망 시퀀스 모델 시퀀스 모델이란?? - 연속적인 입력으로 부터 연속적인 출력을 생 tgwon.tistory.c.. 2023. 3. 19. 이전 1 2 3 4 5 6 다음
