Mo, Shentong, and Shengbang Tong. “Connecting joint-embedding predictive architecture with contrastive self-supervised learning.” Advances in neural information processing systems 37 (2024): 2348-2...
Assran, Mahmoud, et al. “Self-supervised learning from images with a joint-embedding predictive architecture.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 202...
이 paper는 JEPA의 개념, 학습 방법 등에 대한 아이디어를 다루는 position paper이다. 구체적인 methods가 등장하기 보다는 world model의 개념과 방향성, 그것을 구현하기 위한 JEPA와 학습 방법에 대한 고찰을 담았다 Abstract 자율 지능 에이전트를 구축하기 위한 아키텍처와 학습 패러다임 제시 구성 가...
Abstract ADHD는 소아기에 발병하는 neurodevelopmental disorder(신경 발달 장애)로, 진단과 아형 분류가 임상적 특성에 기반해 주관적이며 신뢰성 부족. 임상적 subtype 분류는 예후에 대한 명확한 지표 제공 X → **Semi-Supervised Learning** 기반의 heterogenity 파악 m...
Adversarial Autoencoder를 이용한 representation imputation 논문이다. AD와 PD 두 종류의 신경퇴행성 질환을 대상으로 연구했으며 metadata와 SNP 데이터를 이용해 imputation을 진행한다. 임상에서는 SNP데이터가 없는 sample이 대부분이라 실적용에는 한계가 있어보인다. Introdu...
Multimodal train/test 에서 modality missing은 성능에 부정적 missing modality를 처리하도록 설계된 multimodal learning은 model이 robust하게 작동할 수 있게 함 Introduction Multimodal은 단일 modality가 감지하지 못하는 복잡한 패턴과...
본 논문은 MICCAI 2025 conference에 accept되었음. Yin et al., MICCAI 2025 Abstract 다중 modality를 이용한 진단은 바람직하나 Modality laziness라는 challenge에 직면해 있음. Modality laziness? imbalanced modality contri...
Abstract Vision에 있어 Mamba는 Scaling의 불안정, 비효율의 문제점 존재 Modulated Group Mamba 제안 input channel을 4개의 group으로 분할 4개의 direction 중 하나의 방향으로 scan하는 efficient Visual Single Selective ...
ssh -N -L 16006:localhost:6006 user@remote.host local의 port : 16006 원격의 port : 6006 (tensorboard default port)
Ye, Tianzhu, et al. “Differential transformer.” arXiv preprint arXiv:2410.05258 (2024). Introduction Transformer의 핵심은 attention mechanism attention machanism은 softmax 함수를 통해 token의 중요도를 평가 ...