이번 논문은 Contrastive loss를 두 representation에 직접 적용하지 않고 prototype이라는 learnable sequence와 간접적으로 distribution을 정렬하는 방식이다. Assran, Mahmoud, et al. “Masked siamese networks for label-efficient learni...

Zhang, Yiyuan, et al. “Meta-transformer: A unified framework for multimodal learning.” arXiv preprint arXiv:2307.10802 (2023). https://arxiv.org/abs/2307.10802 https://github.com/invictus717/M...

최근 ICML 2026이 코엑스에 열려 다녀왔다. 최근 트렌드는 아무래도 agentic AI 그리고 신약개발 관련 분야인 protein sequence 관련 연구들이었던 것 같다. Multimodal 관련 연구도 심심찮게 보였는데 medical 분야를 연구하다 보니 관련 연구로 몇 가지 리뷰해보려 한다. ICML에도 의료 분야 연구는 꽤 있었지만 대...

Mo, Shentong, and Shengbang Tong. “Connecting joint-embedding predictive architecture with contrastive self-supervised learning.” Advances in neural information processing systems 37 (2024): 2348-2...

Assran, Mahmoud, et al. “Self-supervised learning from images with a joint-embedding predictive architecture.” Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 202...

이 paper는 JEPA의 개념, 학습 방법 등에 대한 아이디어를 다루는 position paper이다. 구체적인 methods가 등장하기 보다는 world model의 개념과 방향성, 그것을 구현하기 위한 JEPA와 학습 방법에 대한 고찰을 담았다 Abstract 자율 지능 에이전트를 구축하기 위한 아키텍처와 학습 패러다임 제시 구성 가...

Abstract ADHD는 소아기에 발병하는 neurodevelopmental disorder(신경 발달 장애)로, 진단과 아형 분류가 임상적 특성에 기반해 주관적이며 신뢰성 부족. 임상적 subtype 분류는 예후에 대한 명확한 지표 제공 X → **Semi-Supervised Learning** 기반의 heterogenity 파악 m...

Adversarial Autoencoder를 이용한 representation imputation 논문이다. AD와 PD 두 종류의 신경퇴행성 질환을 대상으로 연구했으며 metadata와 SNP 데이터를 이용해 imputation을 진행한다. 임상에서는 SNP데이터가 없는 sample이 대부분이라 실적용에는 한계가 있어보인다. Introdu...

Multimodal train/test 에서 modality missing은 성능에 부정적 missing modality를 처리하도록 설계된 multimodal learning은 model이 robust하게 작동할 수 있게 함 Introduction Multimodal은 단일 modality가 감지하지 못하는 복잡한 패턴과...

본 논문은 MICCAI 2025 conference에 accept되었음. Yin et al., MICCAI 2025 Abstract 다중 modality를 이용한 진단은 바람직하나 Modality laziness라는 challenge에 직면해 있음. Modality laziness? imbalanced modality contri...