Upstage 전문연구요원 채용설명회 CV부분 필기

Youtube URL : https://www.youtube.com/watch?v=OoQFHbcEZRI

Data Platform

AI model

ㄴData Annotation Tool

ㄴFeedback

Serving Platform

 

있는것을 가져다가 쓰게 되면 많은 성능 차이가 나타난다.

기존 모델 보다 데이터 + 재학습을 진행한 경우 훨씬 더 성능의 향상이 보인다.

 

서비스가 가능한가 or 서비스가 불가능한가 회사 입장에서는 매우 중요한 요소이다.

이러한 것을 유지하기 위해서는 Serving Platform과 Data Platform을 순환적으로 계속 성능 개선 및 여러 Task를 통해 최상의 성능을 유지하며 서비스가 가능하게 된다.

 

이러한 Task에는 많은 인력이 든다. 

AI Pack, Easy to Apply

이 복잡한 과정을 Pack으로 묶어 누구나 쉽게 사용할 수 있도록 한다.

 

인공지능이 OCR, 추천, 뉴럴 검색 등 모든 task를 수행할 수 없다.

MLOps를 각 task에 맞도록 특화시켜야 가능하다.

 

Software Engineer와 AI Research Engineer 간의 통합을 통해 AI service가 가능하도록 한다.

 

기존 SoTA들을 잘 인지하면서 구현하여 Pack을 유지하며 구현해나갈 인재들을 모집하고 있다.

 

 

크게 네가지 기술 분야에 대한 연구를 진행중

Computer Vision

Natural Language Processing

Recommender System

MLOps(AI Packs, SWE)

 

기업 문화

안되는게 당연하고, 되게 만드는게 UP's Style!

- 기술력으로 뚫어낸다

- 세상에 없는 제품을 만든다

- 창업 후 1년간 출판된 국제 학회 논문 총 8편!

 

기술의 최전선, AI시장의 최전선에서 모든 직군이 한마음으로 길을 개척한다!

- 팀 내에서 목표를 OKR을 통해 투명하게 공유

- 팀 간 협업하는 경험, 모르면 서로 연구해서 함께 만듦

- Diversity & inclusion

- 기회를 얻고 싶으면 기회를 얻을 수 있다.

- eg. 개발과 모델링의 벽이 없음

 

배우고 성장할 수 있는 기회는 많다. 의지만 있다면 다 얻어가라!

- 모든 문서 공유

- 모든 직원이 AI지식을 익힘

- 활발한 업스톡 및 사내 스터디

- 당연한 오픈소스/오픈 데이터 활동(ex : KLUE)

- 당연한 개인 공부 시간

 

 

연구지원

- GPU

인당 Geforce RTX 3090 2개는 최소 사용한 상황에서 추가로 In-house GPU Resource Management System을 이용하여 더 많은 GPU사용 가능

[as-is] 3090 152대, A100 4대

[to-be] 3090 200대, A100 84대, A10 20대 (서빙용)

 

-업무기기 비용

초기 비용 500만원

 

- 학회 참석

- 도서/SW지원

- 국내외 다양한 초청 세미나 - 업스톡!

 

조직도 : 매트릭 구조

성장관리는 기능 조직 별로, 실적관리는 목표 조직 별로 구성

(source : https://www.youtube.com/watch?v=OoQFHbcEZRI)

 

Computer Vision

OCR Pipeline 

(source : https://www.youtube.com/watch?v=OoQFHbcEZRI)

 

(source : https://www.youtube.com/watch?v=OoQFHbcEZRI)

Detector [글자 영역 감지]

- 글자들 속성 예측 (크기, 폰트, 각도 등)

 

Recognizer [영역 내 글자 인식]

- 띄어쓰기 완벽 대응(의미 구분?, 화소 단위?)

- Multi-line 대응

 

Serializer [2Dtext -> 1D Text] 

- 딥러닝으로 대응

- 범용 Serializer

 

Parser [기 정의된 Key들에 대한 Value 추출] 

- Pretraining(OCR BERT?)

- Few-shot Learning

- Global parser

 

[앞단] 문서 레이아웃 인식 / Dewarping / Denoising / Super Resolution

 

[공통] 다국어 대응, 모델 경량화, AutoML, 모델 디버깅, 합성 데이터 생성, ...

[확장] 표 인식(img2excel), 수식 인식(img2latex), 화학식 인식, ...

 

아직 다른 Task는 준비중

Other Research Topics

상품/컨텐츠 추천에 필요한 metadata 추출

- 대상 데이터 : 비디오, 이미지

- vision only, multimodal

 

검색에 필요한 metadata 추출

- 대상 데이터 : 비디오, 이미지

- vision only, multimodal

 

도메인에 따라 완전히 다른 CV내 기술을 다룰 수 있음

- 장소 검색 : Landmark Classification

- 눈(eye) 검색 : Face Recognition + alpha ?