C'est aussi une grosse question de confiance en soi, en plus du matos.
On est conçu /cablé pour être vertical,  en ayant les deux pieds par terre et la mise en charge du corps que cela implique. D'un seul coup, on change tout ça, les pieds ne font plus rien ou presque, la verticale devient limite anecdotique et l'appui est reporté à proximité du centre de gravité.
Forcément, ça perturbe un brin le système nerveux. Il faut lui laisser le temps de s'y retrouver et de refaire ses étalonnages internes.
Cela peut être long, et tant que ce n'est pas fait, c'est "maman j'ai peur".
Regarde la misère que c'est d'apprendre à faire du vélo ou à nager.

Une fois tout le système reparamétré, l'aisance arrive et les mouvements en confiance qui vont avec.

Par contre par la suite, il faut savoir qu'un facteur perturbant peut déclencher le retour à la case "maman j'ai peur".

Après, c'est aussi une question d'individu, c'est plus ou moins facile et rapide.

Moi par exemple, j'ai toujours du mal avec les changements d'appuis (remise en suspension sur la corde après avoir été debout sur une branche, progression longe + griffes, par ex) et les mouvements rapides ou inattendus. Les pendules, je ne veux même pas en entendre parler.

L'environnement ( sa perception plutôt) joue un rôle aussi. Perso je suis plus à l'aise à 25 m dans la couronne de l'arbre qu'à 10 m accroché à mon fil "en l'air" sous les premières branches. C'est pour ça que personnellement, l'escalade en montagne ou le métier de cordiste sont loin de m'attirer...