Computer Vision , AI

●Summary: Learning two disjoint prompt spaces makes rehearsal-free prompt-based continual learning more effectively ●Approach highlight ○Using task-invariant General prompt(L_g) at ViT 1~2nd layer and task-specific Expert Prompt(# of task ×L_e) at ViT 3~5th layer ○Prefix tuning: before MSA, concatenate key prompt to hidden representation of key and value prompt to hidden representation of value,..

Category: continual learning (class incremental) ●Summary: Use prompt with a pre-trained model for rehearsal buffer-free and task-agnostic continual learning ●Approach highlight ○Prompt pool memory space allows rehearsal buffer-free and task-agnostic ○ Penalize frequently-used prompts by using prompt frequency table H_t at training time for the diversity of prompt (1) ○ At training-time, If quer..

글을 열면서 Deep learning 관련 논문을 보다 보면 자주 나오는 몇 가지 이론과 식들이 있는데 정리를 하지 않으니 한번 이해를 했어도 매번 까먹어서 다시 찾아보게 되는 상황이 와서 이번 기회에 차근차근 정리해보려 한다. 필요에 따라 구체적인 증명을 할 수도 있겠지만 수학적인 증명 같은 경우 잘 서술한 다른 글들이 많기 때문에 직관적인 이해와 어떤 때에 사용하는지에 대한 설명을 위주로 서술할 예정이다. 아마 지금 생각하고 있는 기준으로는 일단 Bayes theorem, Cross entropy, KL divergence, Monte Carlo method, Markov chain 정도 정리하지 않을까 싶다. Bayes theorem Bayes rule에 대한 간단한? 설명과 함께 Deep lear..

이번에 리뷰 할 논문은 VQ-diffusion입니다. CVPR 2022년도에 발표되었고 기존 DALL-E 같이 기존 VQ-VAE를 기반으로 auto-regressive하게 이미지를 생성하는 모델들의 문제를 tackling하는 논문으로 같은 년도인 2022년에 DALL-E 2가 나와서 묻힌 감이 없지 않아 있지만 그 컨셉에 대해서 한번 쯤 보고 넘어가면 좋을 거 같아 한번 정리를 합니다. 간략하게 보실 분들은 2-4. Discrete diffusion 파트와 3. Mask diffusion 파트 그리고 8. Summary 파트 위주로 보시면 될것 같습니다. * 해당 리뷰의 내용은 출처를 남겨주시면 자유롭게 인용하셔도 됩니다. Index 1. Preview 2. Preliminary 2-1. VQ-VAE 2..

Facebook AI에서 2021 CVPR에 발표한 face pose estimation model - 특징 1. 기존 face pose estimation model들의 경우 얼굴이 먼저 검출됬다는 가정하에 검출된 얼굴을 입력으로 받아서 pose estimation을 진행하는데에 비해 img2pose는 전체적인 img를 집적적으로 입력받아 face들의 pose를 estimation함 2. local frame과 global frame 사이의 효과적인 pose conversion 방법을 제시 3. bounding box prediction 없이 6DoF 정보만을 가지고 최소한의 computational cost를 가지고 bounding box를 생성해냄 4. facial landmark localizat..

기존 연구 및 문제점 Traditional한 PGGAN (Fig1.a) 같은 경우 latent vector z를 모델에 입력으로 넣어서 점점 upsampling을 진행하며 이미지를 생성함 이런 latent variable 기반 모델들은 직접적으로 noise z를 넣어서 latent space에 어떻게든 매핑시키다 보니까 학습 데이터셋의 확률 분포랑 비슷하게 latent space가 형성되버림(Fig2.b) 문제는 이게 썩 좋지만은 않을 수 있음 이런 경우 문제점 -> latent space가 entangle하게 됨 (각 특징들끼리 서로 얽혀있어서 분리가 되지 않음) 이렇게 되면 학습 데이터에 없는 데이터 분포를 생성하기 어려워짐 ex) 안경을 쓴 사람, 동양인 둘다 학습을 해서 안경쓴사람과 동양인을 생성..

panoptic segmentation diffusion nerf https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123460392.pdf

일반적인 Detection에 쓰이는 Metrics는 이미 너무 잘 정리되어 있는 것에 비해 Landmark Localization 에 사용되는 Metric들에 대해서는 정리가 잘 안되있는 것 같아 Facial Landmark Localization에 보편적으로 사용되는 Metric을 간단하게나마 정리하고자 한다. 1. NME (Normalized mean error) Facial Landmark Localization 에 쓰이는 가장 기초적은 Metric이다. 하단에 서술할 CED(Cumulative Error Distribution)도 AUC도 이를 기반으로 만들어진 metric으로 공식은 다음과 같다 Landmark Localization에 이를 적용하는 방법으로는 예측한 Landmark좌표 pred..

Machine learning을 하기 위해서 기본적으로 공부하면 좋은 자료들