Abstract Vision에 있어 Mamba는 Scaling의 불안정, 비효율의 문제점 존재 Modulated Group Mamba 제안 input channel을 4개의 group으로 분할 4개의 direction 중 하나의 방향으로 scan하는 efficient Visual Single Selective ...

ssh -N -L 16006:localhost:6006 user@remote.host local의 port : 16006 원격의 port : 6006 (tensorboard default port)

Ye, Tianzhu, et al. “Differential transformer.” arXiv preprint arXiv:2410.05258 (2024). Introduction Transformer의 핵심은 attention mechanism attention machanism은 softmax 함수를 통해 token의 중요도를 평가 ...

필자의 의견은 붉은색으로 표시됩니다 Schiff, Yair, et al. “Caduceus: Bi-directional equivariant long-range dna sequence modeling.” Proceedings of machine learning research 235 (2024): 43632. Introduction Cha...