DeepSeek에서 "네이티브 스파스 어텐션: 하드웨어 정렬 및 네이티브 학습 가능한 스파스 어텐션 메커니즘" 논문을 발표
PANews는 2월 18일 DeepSeek 팀이 최근 "네이티브 스파스 어텐션: 하드웨어 정렬 및 네이티브 학습 가능한 스파스 어텐션 메커니즘"이라는 제목의 기술 논문을 발표했으며, 제안된 NSA(네이티브 스파스 어텐션) 메커니즘을 소개했다고 보도했습니다. NSA는 알고리즘 혁신과 하드웨어 최적화를 결합하여 효율적인 장문 텍스트 모델링을 달성했습니다.
2025-02-18