tgwon

인기 글

• 

  [2024년 상반기 IBK기업은행 신입행원 채용][디지털] 필기시험 합격 후기 2024년 상반기 IBK기업은행 신입행원 채용 디지털 직무로 지원했습니다!필기 시험 합격 후기를 간단히 적어볼까 합니다!시험 개요시간 : 120분문제 수 : 75문제 (1문제당 약 1분 30초만에 풀어야함)문제 구성- 직업기초 40문제 (1.5점)- 직무수행 객관식 30문제 (1점)- 직무수행 주관식 5문제 (2점) 우선, 지금까지는 디지털이라는 이름으로 IT와 디지털을 함께 뽑았다면, 이번 공채부터 디지털과 IT를 분리해서 채용하게 되었습니다. 그에 따라 필기, 실기 시험에 차이가 생겼습니다. 이 점을 잘 인지하고 필기와 실기를 준비해야할 것 같습니다. 새로운 디지털 분야는 필기시험 직무수행 영역에서 데이터베이스, 데이터분석, 인공지능 모델링, 블록체인, 시사 주로 총 5과목이 주로 출제됨을 알 수 .. 2024.06.15

• 

  트랜스포머(Transformer) - 인코더, 디코더 이 글을 통해 트랜스포머의 인코더와 디코더에서 각각 어떤 일이 일어나는지, 뭐가 사용되는지를 총 정리해보고자 한다 인코더의 구조 - num_layers : 트랜스포머의 하이퍼 파리미터. 지정한 개수의 인코더층을 쌓음. 트랜스포머의 인코더는 크게 2개의 sublayer로 나눠짐 1. 멀티헤드어텐션층 2. 포지션-와이즈 피드포워드 신경망 층 자세하게는 다음과 같이 나뉨! 1. 임베딩 벡터에 포지셔널 인코딩을 수행 -> 단어의 위치 정보 반영 2. 셀프 어텐션 층을 지남 - 멀티 헤드 셀프 어텐션 3. 잔차 연결과 층 정규화 4. 피드포워드 신경망 층을 지남 5. 잔차 연결과 층 정규화 - 포지션 와이즈 피드포워드 신경망, 일반적으로 알고있는 피드 포워드 신경망 인코더의 멀티 헤드 셀프 어텐션 어텐션 개념 복.. 2023.07.19

• 

  어텐션(인코더-디코더 Attention, Dot-Product Attention) https://tgwon.tistory.com/52 시퀀스-투-시퀀스(seq2seq) 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) - 입력된 시퀀스를 다른 시퀀스로 변환하는 작업을 수행하는 딥러닝 모델 - 주로 자연어 처리(NLP) 분야에서 활용 - ex) 챗봇, 기계 번역, 요약, STT 아래 그 tgwon.tistory.com RNN에 기반한 seq2 seq 모델의 한계 - 컨텍스트 벡터로 정보 압축 과정에서 정보 손실 발생, 입력 시퀀스가 길어지면 심함 - RNN의 고질적인 문제인 기울기 소실 문제 -> 그래서 등장한 게 어텐션(attention) -> 입력 시퀀스가 길어지면 출력 시퀀스의 정확도가 떨어지는 것을 보정 어텐션 아이디어 디코더에서 출력 단어를 예측하는 매 .. 2023.06.27

• 

  피드 포워드 신경망 언어 모델(NNLM) 피드 포워드 신경망 언어 모델(Feed Forward Neural Network Language Model) - 신경망 언어 모델의 시초 피드 포워드 신경망(FFNN) - 오직 입력층에서 출력층 방향으로 연산이 전개되는 신경망 기존 N-gram 언어모델의 한계 : 희소문제(훈련코퍼스에 존재하지 않으면 확률이 0) 희소문제는 기계가 단어의 의미적 유사성을 알 수 있다면 해결할 수 있는 문제 언어 모델 또한 단어의 의미적 유사성을 학습할 수 있도록 설계한다면 훈련 코퍼스에 없는 단어 시퀀스에 대한 예측이라도 유사한 단어가 사용된 시퀀스를 참고하여 예측 가능 -> 신경망 언어모델(NNLM) 아이디어 NNLM - N-gram 모델 처럼 다음 단어 예측시 정해진 개수(N)의 단어만을 참고함 - N : 윈도우 - .. 2023.03.14

• 

  트랜스포머(Transformer) - 입력(포지셔널인코딩) https://arxiv.org/abs/1706.03762 Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org 트랜스포머란? - 인코더-디코더 구조를 따르면서, RNN을 사용하지 않고 어텐션으로만 구현한 모델 인코더-디코더 구조 - 인코더 :.. 2023.07.15

• 

  워드 임베딩이란 희소 표현(Sparse Representation) - 벡터 또는 행렬의 값이 대부분 0으로 표현되는 방법 - 예를들어 원-핫 벡터는 희소 벡터, DTM은 희소 행렬 - 고차원에 각 차원이 분리된 표현 방법 - 문제점 - 단어의 개수가 늘어나면 벡터의 차원이 한없이 커짐 - 원-핫벡터에서는 갖고 있는 코퍼스에 단어가 10000개면 벡터 차원 10000이어야함 - 공간적 낭비 - 단어의 의미를 표현하지 못함 - 단어 벡터간 유의미한 유사성을 표현할 수 없음 -> 대안 : 분산표현 분산 표현(Distributed Representation) - 가정 : 비슷한 문맥에서 등장하는 단어들은 비슷한 의미를 가진다. ex) 강아지는 귀엽다, 예쁘다, 애교 등의 단어와 주로 함께 등장. 이 단어들은 유사한 벡터값을 .. 2023.03.20

• 

  순환 신경망(RNN) RNN RNN(Recurrent Neural Network)이란? - 입력과 출력을 시퀀스 단위로 처리하는 시퀀스 모델 - 가장 기본적인 인공신경망 시퀀스 모델 시퀀스 모델이란?? - 연속적인 입력으로 부터 연속적인 출력을 생성하는 모델 - EX) 챗봇, 기계번역 - 단어의 시퀀스 = 문장 , 문장(단어 시퀀스)을 입력받는 모델을 시퀀스 모델로 볼 수 있음! RNN 특징 - 피드포워드 신경망이 아님 : 피드포워드 신경망에서는 시계열 데이터의 성질(패턴)을 충분히 학습할 수 없음. - 은닉층의 노드에서 활성화 함수를 통해 나온 결과값을 -> 출력층 방향으로 + 은닉층의 노드의 다음 계산의 입력으로 " 즉, 활성화 함수를 거쳐서 나온 출력 값을 출력층 방향으로 내보내고, 이 값을 그 다음으로 들어오는 입력값.. 2023.03.14