Positional Encoding

ALiBi Menambahkan Penalti Jarak Langsung ke Logit Attention

Attention with Linear Biases (ALiBi) mengubah skor causal attention sebelum softmax dengan menambahkan penalti yang membesar seiring jarak antartoken. Posisi masuk melalui jalur skor, bukan melalui vektor posisi yang ditambahkan ke representasi setiap token. Untuk query pada posisi i yang mengakses key pada posisi j, satu head dapat ditulis secara skematis sebagai: score(i, j) = q_i · k_j / sqrt(d_k) - m_h * (i - j) untuk posisi kausal j <= i. Slope positif m_h bersifat spesifik untuk attention head h. Causal mask tetap mencegah akses ke posisi masa depan; komponen linear hanya mengubah preferensi relatif di antara posisi yang masih terlihat.