Attention

Удивление

«Банк выдал кредит после того, как он проверил счёт.» Что такое «он»? Человек понимает сразу. Attention — механизм, который учит нейросеть задавать этот же вопрос: на что смотреть?