Meta Learning in Computer Vision 내용 정리

오늘은 Youtube SNU AI채널에서 공개된 Vision AI Workshop 내용 중 서울대학교 이경무 교수님의 Meta-Learning for Computer Vision 에 관한 강연을 바탕으로 작성한 노트입니다.

Video link : https://youtu.be/aJ_1bKkTMpo

 

Deep Learning 10 year Retrospect

- For the last decade, Deep Learning showed A lot of breakthroughs in Academia

- But, why can't see AI innovations in our daily life or industry yet?

 

Alex Net이 나온지 10년이 지났습니다. 10년이 지난 이후에 지금 이시점에서 보면 일상생활에서 일반사람들이 느끼는 AI에 의한 변화에 대해 의문을 갖고 있는 것이 사실이다. 학계에서는 엄청난 발전이 있었고 학자들 끼리도 엄청나게 놀랄만한 업적이 나타나고 있는것은 사실입니다.

하지만 실제 생활속에서 우리의 삶을 바꿀수 있는 킬러 products들이 우리들 가운데 아직 와있지는 않다고 생각한다.

Killer products들이 오늘의 주제인 자율주행 자동차가 대표적일 수 잇고 궁극적으로는 Robot입니다. 인간의 지능의 수준을 가진 robot인데 자율주행도 special한 case 인데 자율 주행이 우리의 생활에 편리함을 가져올 수 있을 정도로 다가올 수있는지가 느끼기에 가장 적합하다고 생각합니다.

 

실제 문제와 현재의 기술간의 간극이 많이있습니다.

- Gap between current techniques and Real problem

왼쪽은 current techniques들을 의미하고 오른쪽은 Real Problem을 의미합니다.

하나의 시스템이 다양한 task를 동시에 수행해야하는 문제들이 있습니다.

 

실제 인간 지능 정도의 로봇정도의 지능을 가지기 위해서는 아래와 같은 성질을 포함하여야 합니다.

- So we need adaptive, progressive, multi-modality & task, few-shot, embodied, and self-learning methods

 

많은 양의 Data를 요구하고 Supervision기반으로 이루어져 있습니다.

 

하지만 Motivation for Few-Shot Learning

많은 시나리오 중에 개인 로봇도 개인의 대한 데이터를 가지고 맞춤형 서비스를 해야하기때문에 Data의 양이 현저히 작을수 밖에없고 Medical data, Education Drone 등 적은 데이터를 가지고 유용한 기능을 하도록 만들어야하는 도전적인 Approach가 요구된다.

 

 

 

하나의 네트워크가 다양한 Task에 잘 적응할 수 있도록 하는 방법이 Meta-Learning의 기본 이슈 입니다.

 

Meta-Learning for Few-Shot Learning

- Most representative Meta-Learning technique

- Learn a good initialization shared across tasks

- Model-Agnostic : applicable across models and problems

- Weak generalizability, less applicable to real problems

 

- Are the shared & fixed parameters/function the best for diverse tasks?

- How to make it more generalizable and task adaptive?

 

 

Task-Adeaptive Initialization

Learning to Forget for Meta-Learning, CVPR2020
Learning to Forget for meta-Learning via Task-and-Layer-Wise Attenuation, TPAMI2022

Proposed Method : Learn to Forget(L2F)

• Problem with the shared initialization

      - The best starting point is different for each task

 

• This conflicts between tasks manifest as gradient conflicts

- The degree of conflict is observed to vary for each task and layer

 

• Proposal : Learn to "Forget" unnecessary/conflicting part of initialization

• Attenuate the conflicted part of initialization

      - Similar to hopw l_2 regularization limits the learning capability bt limiting the magnitude

 

• Use a meta-learner to generate attenuation parameters

세타의 파라미터중에서 Task와 Layer에 adaptive하도록 파이라고 하는 함수에 의해 네트워크가 만들어진다

 

 

Task-Adaptive Update Rule

Meta-Learning with Adaptive Hyperparameters, NeurIPS 2020

 

Proposed Method : ALFA

Task-Adaptive Loss Function

Meta-Learning with Adaptive Loss Function, ICCV 2021

 

Proposed Method : MeTAL

Integration

Task-Adaptive Optimization(TAO)

- Combine all three proposed modules into one

 

Practical Applications

Meta-Tracker : Fast and Robust Online Adaptation for Visual Object Tracker, ECCV 2018

Scene-Adaptive Video Frame Interpolation via Meta-Learning, CVPR 2020

 

 

Conclusion

Proposed Task-Adaptive Meta-Learning schemes

 - Task-adaptive initialization : L2F

 - Task-adaptive update rule : ALFA

 - Task-adaptive loss function : MeTAL

 - Integrated task-adaptiveMeta-Learning method : TAO

 

 

Brought great performance improvement across different domains

- Effective

- Generalizable