Transformer: the fall of RNNs
I ricercatori di Google hanno affermato che le Recurrent Neural Network sono solo un peso per i modelli sequence-to-sequence. Ora che disponiamo del meccanismo di attention al nostro fianco, possiamo esaminare l'intera frase in una sola volta e quindi usare l'attenzione per selezionare le parti importanti.