Artificial Intelligence (21) 썸네일형 리스트형 Top 10 Performance Tuning Practices for Pytorch https://medium.com/naver-shopping-dev/top-10-performance-tuning-practices-for-pytorch-e6c510152f76 Top 10 Performance Tuning Practices for Pytorch Pytorch 모델의 학습 및 추론을 가속화 할 수 있는 10가지 팁을 공유드립니다. 코드 몇 줄만 바꿈으로써 속도를 개선하고 모델의 품질 또한 유지할 수 있습니다. medium.com CVPR 2022 Tutorial on Neural Fields in Computer Vision https://www.youtube.com/watch?v=PeRRp1cFuH4 Website: https://neuralfields.cs.brown.edu/cvpr22 Slides: https://drive.google.com/drive/folder... Community Website Features (https://neuralfields.cs.brown.edu) Neural Fielder Slack Community (Join Link: https://join.slack.com/t/neuralfields...) Neural Field Techniques: 00:35:38 - Architectures (Techniques) 00:52:35 - Hybrid Representations (Technique.. ImageNet Dataset 압축해제 및 처리 방법 ImageNet Dataset 압축해제 및 처리 방법 #!/bin/bash # # script to extract ImageNet dataset # ILSVRC2012_img_train.tar (about 138 GB) # ILSVRC2012_img_val.tar (about 6.3 GB) # make sure ILSVRC2012_img_train.tar & ILSVRC2012_img_val.tar in your current directory # # https://github.com/facebook/fb.resnet.torch/blob/master/INSTALL.md # # train/ # ├── n01440764 # │ ├── n01440764_10026.JPEG # │ ├── n01440764_10.. ZeRO-2 & DeepSpeed: Shattering barriers of deep learning speed & scale Microsoft Research Blog 글을 보고 번역하여 작성하였습니다. 출처 : https://www.microsoft.com/en-us/research/blog/zero-2-deepspeed-shattering-barriers-of-deep-learning-speed-scale/ 2020년 2월에 Microsoft에서 오픈 소스 딥 러닝 훈련 최적화 라이브러리인 DeepSpeed와 라이브러리의 새로운 메모리 최적화 기술인 ZeRO(Zero Redundancy Optimizer)를 발표했습니다. DeepSpeed를 통해 MS연구원들은 170억 개의 매개변수로 공개적으로 알려진 가장 큰 언어 모델인 Turing Natural Language Generation(Turing-NLG)을 만들 수 있었습.. Inductive Bias란 무엇일까 https://re-code-cord.tistory.com/entry/Inductive-Bias%EB%9E%80-%EB%AC%B4%EC%97%87%EC%9D%BC%EA%B9%8C 머신러닝에서 Bias는 무슨 의미일까? Inductive Bias라는 용어에서, Bias라는 용어는 무엇을 의미할까? 딥러닝을 공부하다 보면, Bias과 Variance를 한 번쯤은 들어봤을 것이다. Bias는 타겟과 예측값이 얼마나 멀리 떨어져 있는가, 그리고 Variance는 예측값들이 얼마나 퍼져있는가를 의미한다. 따라서 Bias가 높은 경우 데이터로부터 타겟과의 연관성을 잘 찾아내지 못하는 과소적합(Underfitting) 문제가 발생하고, Variance가 높은 경우에는 데이터의 사소한 노이즈나 랜덤한 부분까지 민감하게.. NVIDIA DGX-2 개요 The Challenge of Scaling to Meet the Demands of Modern AI and Deep Learning Deep neural networks are rapidly growing in size and complexity, in response to the most pressing challenges in business and research. The computational capacity needed to support today’s modern AI workloads has outpaced traditional data center architectures. Modern techniques that exploit use of model parallelism are co.. Meta Learning in Computer Vision 내용 정리 오늘은 Youtube SNU AI채널에서 공개된 Vision AI Workshop 내용 중 서울대학교 이경무 교수님의 Meta-Learning for Computer Vision 에 관한 강연을 바탕으로 작성한 노트입니다. Video link : https://youtu.be/aJ_1bKkTMpo Deep Learning 10 year Retrospect - For the last decade, Deep Learning showed A lot of breakthroughs in Academia - But, why can't see AI innovations in our daily life or industry yet? Alex Net이 나온지 10년이 지났습니다. 10년이 지난 이후에 지금 이시점에서 보.. A Normalized Gaussian Wasserstein Distance for Tiny Object Detection Tiny Object Detection Large : Area > 96 x 96 Medium : 32 x 32 < Area < 96 x 96 Small : Area < 32 x 32 Tiny : 8 x 8 < Area < 16 x 16 Very Tiny : Area < 8 x 8 AI-TOD Dataset 위성에서 촬영한 영상으로 작은 오브젝트들이 많음 Visdrone 2019 Dataset 드론으로 촬영한 데이터셋 사진의 크기에 따라 아주 작은 동일한 Pixel의 오차 이더라도 IoU값의 차이가 많이 난다. Label Assignment in Traning 이전 1 2 3 다음
