Question 3
(a) : Random Local Attention,
(b) : Strided Local Attention,
(c) : Sparse Block Attention,
(d) : Local + Global Attention(a) : Strided Local Attention,
(b) : Local + Global Attention,
(c) : Random Local Attention,
(d) : Sparse Block Attention(a) : Strided Local Attention,
(b) : Random Local Attention,
(c) : Local + Global Attention,
(d) : Sparse Block Attention(a) : Sparse Block Attention,
(b) : Local + Global Attention,
(c) : Strided Local Attention,
(d) : Random Local Attention