목록전체 글 (16)

HyperML

도움이 되는 영상들

- 회복 탄력성 (NVidia)[Jensen Huang] https://www.youtube.com/shorts/X6giT3YRT6U - 핵심가치 (Apple)[Steve Jobs] Think different https://www.youtube.com/watch?v=EWSA7Lykvt4 - 스트레스 (Amazon)[Jeff Bezos] https://www.youtube.com/shorts/WvNVRnAgFt0 - 핵심가치 (Amazon 4:10~) https://www.youtube.com/watch?v=l9X8X-Ixbo8&t=1230s
테크리더 comments 2024. 10. 6. 22:05
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale (ViT)

Transformer 는 본래 attention mechanisim 에 기반하여 language model의 학습을 위해 설계되었다. 간단한 구조와 적은 inductive bias 및 큰 weight capacity로 거대하게 모델을 만들고 거대한 데이터 학습에도 그 성능이 포화되지 않고, 언어모델의 self-supervised 학습 -> finetune 과정을 쉽게 수행함으로써 BERT, GPT와 같은 거대모델의 출현 및 다양한 task 활용을 이끌어 자연어 처리분야의 사실상 표준(de-facto standard)이 되었다. 이러한 transformer가 vision task에 적용될 것이라는 것은 누구나 예상할 수 있었고 많은 시도가 있었지만, ViT에 이르러서야 구글의 많은 데이터로 vision c..
논문읽기 2021. 7. 18. 10:56
RandAugment: Practical automated data augmentation with a reduced search space (google brain)

Introduction - Data augmentation은 전문가의 손길과 설계 policy를 위해서는 매뉴얼한 조작이 필요합니다. - 현재까지 소개되었던 학습가능한 augmentation policy 기법들은 정확도, 모델의 견고성과 성능을 높여주었습니다. - NAS(Neural Architecture Search)기반의 최적화 방법은 더 나은 예측 성능을 높였으나 복잡성과 엄청난 계산량 요구때문에 기피되었습니다. - 그래서 좀 더 효율적인 방식의 augmentation 함수의 탐색기법으로 AutoAugment(18.05, Google Brain), Fast AutoAugment(19.05 Kakao Brain) 같은 방식이 제안되었습니다. - 그럼에도 불구하고 ML 모델의 학습에 여전히 비용이 많이..
논문읽기 2020. 5. 29. 05:37
Prev 1 2 3 4 ··· 6 Next