姚期智团队开源新型注意力机制,实现内存与性能的优化突破
在人工智能领域,注意力机制一直是核心技术之一,其性能和效率的提升对于推动整个领域的发展至关重要。近日,由姚期智院士团队打造的新型注意力机制 TPA(Tensor Product Attention)引起了广泛关注,该机制在节省 90% 内存的情况下,性能不降反
在人工智能领域,注意力机制一直是核心技术之一,其性能和效率的提升对于推动整个领域的发展至关重要。近日,由姚期智院士团队打造的新型注意力机制 TPA(Tensor Product Attention)引起了广泛关注,该机制在节省 90% 内存的情况下,性能不降反