Buscar
Estás en modo de exploración. debe iniciar sesión para usar MEMORY

   Inicia sesión para empezar


Por supuesto:

Intro to AI 2

» Iniciar este curso
(Practica preguntas similares gratis)
Pregunta:

Transformer - Positional encoding

Autor: Christian N



Respuesta:

Key idea: add a new vector containing positional information to current vectors Checklist: 1) Unique encoding for each time-step 2) Consistent distance between any two time-steps 3) Should generalize to longer sentences 4) Deterministic


0 / 5  (0 calificaciones)

1 answer(s) in total