분류 전체보기56 CNN 이해하기 (2) https://ganghee-lee.tistory.com/43 translation invariance 설명 및 정리 translation invariance를 설명하기 위해 먼저 Classification에 대해 살펴보자. Classification은 Image가 주어졌을때 이 이미지가 어떤 사진인지, 어떤 Object를 대표하는지 분류하는 문제이다. 따라서 아래 그림 ganghee-lee.tistory.com Dense 층은 입력 특성 공간에 있는 전역 패턴을 학습하지만( ex) mnist 숫자 이미지 모든 픽셀에 걸친 패턴) 합성곱 층은 아래 그림처럼 지역 패턴을 학습한다 지역 패턴을 학습한다는 CNN의 특징은 두 가지 성질을 제공함 1. 학습된 패턴은 평행 이동 불변성(translation inv.. 2023. 5. 8. CNN 이해하기 (1) CNN 1. 합성곱 신경망(Convolutional neural network, CNN)은 시각적 영상을 분석하는 데 사용 2. 딥러닝에서 심층 신경망으로 분류 3. 시각적 영상 분석에 주로 적용 4. 상 및 동영상 인식, 추천 시스템, 영상 분류, 의료 영상 분석 및 자연어 처리 등에 응용 왜 CNN인가? 일반 DNN(Deep Neural Network)의 문제점 - 기본적으로 1차원 형태의 데이터를 사용 - 이미지가 입력값이 되는 경우, 이것을 flatten시켜서 한줄 데이터로 만들어야 함 - 이 과정에서 이미지의 공간적/지역적 정보(spatial/topological information)가 손실 - 한줄로 된 row데이터에서는 연산관계(픽셀들이 모여 객체를 만듦, 픽셀 간의 상관관계)가 제거 됨... 2023. 5. 2. 시퀀스-투-시퀀스(seq2seq) 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) - 입력된 시퀀스를 다른 시퀀스로 변환하는 작업을 수행하는 딥러닝 모델 - 주로 자연어 처리(NLP) 분야에서 활용 - ex) 챗봇, 기계 번역, 요약, STT 아래 그림은 seq2seq 모델을 간략하게 표현한 그림 ex) - 'I am a student'라는 영어 문장을 입력 - 'je suis étudiant'라는 프랑스 문장을 출력 seq2seq 구조 -> 인코더와 디코더로 구성됨 인코더 - 입력 문장의 모든 단어들을 순차적으로 입력받음 - 입력받은 뒤에 마지막에 모든 단어 정보들을 압축해서 하나의 벡터로 만듦 -> 컨텍스트 벡터(context vector) 디코더 - 컨텍스트 벡터를 받아서 번역된 단어를 한 개씩 순차적으로 .. 2023. 4. 11. SVR(Support Vector Regression) 서포트 벡터 머신 회귀(support vector machine regression) - 비모수적 방법 - 커널 함수를 기반으로 함 - 제한된 마진 오류 안에서 가능한 한 많은 관측치가 마진에 포함되도록 학습하는 방법 - 마진 안에 관측치가 많은 초평면이 좋은 초평면이다 - svm과 마진을 고려하는 건 똑같지만, svr은 마진 밖에 있는 error가 최소가 되도록 동작함 - 마진의 폭은 하이퍼파라미터 ε(입실론)으로 조절(slack variable 과 혼동 x) - 마진을 통해 오차에 반응하지 않는 영역 마련 -> 노이즈에 영향을 받지 않도록 - 마진에 들어가는 학습데이터를 추가 -> 예측 능력에 영향 X - 모델은 입실론에 민감하지 않다 - 입실론이 아니라 규제 C에 민감하다 - SVR의 규제 C - .. 2023. 4. 1. SVM(Support Vector Machine) 서포트 벡터 머신(SVM) - 분류 방법론 - 선형, 비선형 분류에 모두 사용 - 분리 초평면에서 출발하여 서포트 벡터 머신으로 발전 분리 초평면(Separating Hyperlane) - 초평면 : p차원 공간에서 p-1 차원의 부분공간 - 초평면에 임의의 관측치를 대입하여 결과의 부호에 따라 두 집단으로 분류(1,-1) - 분리 초평면은 무수히 많이 존재 가능. 어떤 걸 이용할까? -> 최대 마진 분류기 최대 마진 분류기 - 분리 초평면 중 최대 마진을 갖는 초평면을 선택하는 방법 - 마진(margin) : 주어진 관측치와 초평면 사이의 수직 거리. 관측치들에서 초평면까지의 가장 짧은 거리 - 마진이 최대가 되게 하는 초평면(최대마진초평면)을 찾는다! H+와 H- 위의 점들에서 초평면까지의 거리를 d.. 2023. 3. 26. 장단기 메모리(Long Short-Term Memory, LSTM) 장기 의존성 문제(the problem of Long-Term Dependencies) - 은닉층의 과거의 정보가 마지막까지 전달되지 못하는 현상 바닐라 RNN은 출력 결과가 이전의 계산 결과에 의존함 아래 그림 처럼 x1의 정보량은 시점이 길어질수록 점점 옅어짐 -> 장기 의존성 문제 발생 LSTM은 이러한 바닐라 RNN의 단점을 극복한 모델 LSTM 구조 바닐라 RNN과의 차이점 - 은닉층의 메모리 셀에 입력 게이트, 망각 게이트, 출력 게이트를 추가 -> 불필요한 기억을 지우고, 기억해야할 것들을 정함 - 은닉 상태를 계산하는 식이 조금 더 복잡 - 긴 시퀀스 데이터 처리에 성능이 훨씬 더 좋음 - 셀 상태(cell state) 라는 값이 추가 됨, C(t) -> 은닉 상태처럼 이전 시점의 셀 상태.. 2023. 3. 26. 이전 1 2 3 4 5 6 7 8 ··· 10 다음
