Je confirme l'information de Miguel, et je vous en fais part:

Lorsque vous utilisez du X forwarding (afficher une application X à
distance), le cipher "Blowfish" donne véritablement de meilleurs
résultats, je dirais que ça entre dans la catégorie "pas comparable".
Si ça va plus vite pour X, je peux inférer que ça va plus vite pour le
reste aussi, mais c'est difficile à vérifier, Vim me semble toujours
"snappy", local ou distant.

Comment faire? première chose, vous assurer que vous utiliser le
protocole SSH version 2, et spécifier Blowfish:

ssh -2 -c blowfish userremotehost.tld

c'est tout. Probablement que ça se met comme valeur par défaut dans
ssh_config (et/ou sshd_config), mais l'idée est là.

Merci Miguel de ce pointeur!