Artificial Intelligence (19) 썸네일형 리스트형 ZeRO-2 & DeepSpeed: Shattering barriers of deep learning speed & scale Microsoft Research Blog 글을 보고 번역하여 작성하였습니다. 출처 : https://www.microsoft.com/en-us/research/blog/zero-2-deepspeed-shattering-barriers-of-deep-learning-speed-scale/ 2020년 2월에 Microsoft에서 오픈 소스 딥 러닝 훈련 최적화 라이브러리인 DeepSpeed와 라이브러리의 새로운 메모리 최적화 기술인 ZeRO(Zero Redundancy Optimizer)를 발표했습니다. DeepSpeed를 통해 MS연구원들은 170억 개의 매개변수로 공개적으로 알려진 가장 큰 언어 모델인 Turing Natural Language Generation(Turing-NLG)을 만들 수 있었습.. Inductive Bias란 무엇일까 https://re-code-cord.tistory.com/entry/Inductive-Bias%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C 머신러닝에서 Bias는 무슨 의미일까? Inductive Bias라는 용어에서, Bias라는 용어는 무엇을 의미할까? 딥러닝을 공부하다 보면, Bias과 Variance를 한 번쯤은 들어봤을 것이다. Bias는 타겟과 예측값이 얼마나 멀리 떨어져 있는가, 그리고 Variance는 예측값들이 얼마나 퍼져있는가를 의미한다. 따라서 Bias가 높은 경우 데이터로부터 타겟과의 연관성을 잘 찾아내지 못하는 과소적합(Underfitting) 문제가 발생하고, Variance가 높은 경우에는 데이터의 사소한 노이즈나 랜덤한 부분까지 민감하게.. NVIDIA DGX-2 개요 The Challenge of Scaling to Meet the Demands of Modern AI and Deep Learning Deep neural networks are rapidly growing in size and complexity, in response to the most pressing challenges in business and research. The computational capacity needed to support today’s modern AI workloads has outpaced traditional data center architectures. Modern techniques that exploit use of model parallelism are co.. Meta Learning in Computer Vision 내용 정리 오늘은 Youtube SNU AI채널에서 공개된 Vision AI Workshop 내용 중 서울대학교 이경무 교수님의 Meta-Learning for Computer Vision 에 관한 강연을 바탕으로 작성한 노트입니다. Video link : https://youtu.be/aJ_1bKkTMpo Deep Learning 10 year Retrospect - For the last decade, Deep Learning showed A lot of breakthroughs in Academia - But, why can't see AI innovations in our daily life or industry yet? Alex Net이 나온지 10년이 지났습니다. 10년이 지난 이후에 지금 이시점에서 보.. A Normalized Gaussian Wasserstein Distance for Tiny Object Detection Tiny Object Detection Large : Area > 96 x 96 Medium : 32 x 32 < Area < 96 x 96 Small : Area < 32 x 32 Tiny : 8 x 8 < Area < 16 x 16 Very Tiny : Area < 8 x 8 AI-TOD Dataset 위성에서 촬영한 영상으로 작은 오브젝트들이 많음 Visdrone 2019 Dataset 드론으로 촬영한 데이터셋 사진의 크기에 따라 아주 작은 동일한 Pixel의 오차 이더라도 IoU값의 차이가 많이 난다. Label Assignment in Traning Upstage 전문연구요원 채용설명회 CV부분 필기 Youtube URL : https://www.youtube.com/watch?v=OoQFHbcEZRI Data Platform AI model ㄴData Annotation Tool ㄴFeedback Serving Platform 있는것을 가져다가 쓰게 되면 많은 성능 차이가 나타난다. 기존 모델 보다 데이터 + 재학습을 진행한 경우 훨씬 더 성능의 향상이 보인다. 서비스가 가능한가 or 서비스가 불가능한가 회사 입장에서는 매우 중요한 요소이다. 이러한 것을 유지하기 위해서는 Serving Platform과 Data Platform을 순환적으로 계속 성능 개선 및 여러 Task를 통해 최상의 성능을 유지하며 서비스가 가능하게 된다. 이러한 Task에는 많은 인력이 든다. AI Pack, Easy to .. EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks 요약 번역정리 Paper Summary: https://www.marktechpost.com/.../researchers-from.../ Paper: https://arxiv.org/pdf/2112.07945.pdf Project: https://matthew-a-chan.github.io/EG3D/ Abstract single-view 2D 사진의 컬렉션만을 사용하여 high-quality multi-view consistent images 및 3D shapes Unsupervised generation 방법은 Long-standing challenge이었습니다. 기존의 3D GANS는 컴퓨팅 집약적이거나 3D 일관성이 없는 근사치를 작성합니다. 전자는 생성 된 이미지의 품질과 해상도를 제한하고 후자는 multi-v.. MAPS Multi-agent Reinforcement Learning-based Portfolio Management System 리뷰 MAPS Multi-agent Reinforcement Learning-based Portfolio Management System Deutsche Bank 보고서에 따르면 주식 시장에서 자동화된 초단타 거래의 점유율이 미국에서 총 50%를 차지하고 있다고 합니다. 이러한 거래에는 알고리즘 트레이딩 시스템에 많은 거래들이 결정됩니다. 데이터 분석을 기반으로 decision-making과정을 quantitative trading 전략이라고 합니다. 양적 거래 전략은 두가지로 나누어집니다. 펀더멘탈 분석 방법과, 기술적 분석 방법으로나뉩니다. 펀더멘탈 분석은 회사의 재무제표, 경영, 경쟁적 우위, 경쟁자, 시장 등을 분석합니다. 기술적 분석은 과거 가격, 차트 및 거래량과 같은 기술적 신호를 기반으로 합니다.. 이전 1 2 3 다음
