Paper Reading
[paper] Transformer 실습을 통해 익히는 Pytorch 기초 (Attention is All you Need)
Transformer 이전 (RNN LSTM) Naive sequence model t-1, t-2..........1 를 고려한 xt의 확률 이전 데이터들을 전부 고려해서 다음을 찾는 방식 (초기는 할만한데 이후로는 너무 정보가 늘어난다) Naive sequence model -> Autoregressive model 전부 고려하는게 빡세면 타우개 만큼만 최신데이터를 보면 되지 않나? (갱신의 느낌) 대표적인 예시가 Markov model이디 (타우가 1) Morkov model(first order autoregressive model) 이름에서도 알 수 있다시피 타우가 1로 바로 전 과거만 보는 모델이다 Markow assumption 을 가진다 -> 강화학습의 MDP (Markov Decision..
[Paper] Multi-Concept Customization of Text-to-Image Diffusion
요약 Text-to-Image Diffusion 모델에 Customize를 해주겠다 이 논문 좀 특이한게 초장부터 사진질임 Figure 1. Given a few images of a new concept, our method augments a pre-trained text-to-image diffusion model, enabling new generations of the concept in unseen contexts 새로운 사진 몇장으로 기존 Pre-trained text-to-image diffusion model 이 기존에 없던 context를 만들어낸 것이랍니다 Furthermore, we propose a method for composing multiple new concepts tog..
[논문리딩] BERT : Pre-training of Deep Bidirectional Transformer for Language Understanding
BERT 는 Google AI Language 에서 발행한 논문이고 아래 링크에서 논문을 확인할 수 있다 https://arxiv.org/abs/1810.04805 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirect..
[Paper] GoogLeNet: Going deeper with convolutions
※제가 이해하기 위한 의역이 들어간 점 주의바랍니다 Abstract Googlenet의 가장 큰 특징은 네트워크 내부의 컴퓨팅 자원의 향상된 활용도 이다 (이유) 계산량을 일정하게 유지하면서 네트워크의 깊이와 폭을 늘릴 수 있도록 해줌 (based on the Hebbian principle and the intuition of multi-scale processing) Google팀에서 만들 었고 22개의 layer를 가진다고 한다 Introduction One encouraging news is that most of this progress is not just the result of more powerful hardware, larger datasets and bigger models, but ..
[Paper]FaceNet: A Unified Embedding for Face Recognition and Clustering
FaceNet은 얼굴 이미지로 부터 유클리드 공간 (distance : measutre of face similarity)의 관계를 학습한다 기존 방법 : Bottleneck Layer Bottleneck layer : 핵심은 1x1 convolution (Pointwise Convolution) -> parameter L 1x1xInput Channel x Output Channel -> Feature Map(Output channel)을 줄이거나 키울때 사용 출처 https://coding-yoon.tistory.com/116 1.First Channel : Input Image (320 x 320), channel 수 : 256 2. Second Channel : Input Channel 2..