A menudo transcurren entre 5 y 10 segundos desde que iniciamos la conexión ssh hasta que recibimos la línea de login en el servidor. Este delay ocurre porque el servidor queda a la espera de un TimeOut para conexiones que no son del tipo usuario:contraseña. Para eliminarlo:
$ sudo vi /etc/ssh/ssh_config
Cambiar
GSSAPIAuthentication yes
por:
GSSAPIAuthentication no


Otra opción mas recomendable sería..
http://www.isecurity.cc/2010/01/ssh-delay.html