Je m'attends à ce qu'il soit légèrement plus lent, j'ai eu cette expérience avec FC10. Je n'ai pas de raisons réelles, mais ce n'est certainement pas le problème de sizeof(pointeur). (*)
Mon intuition est qu'il s'agit simplement d'une question de pilotes moins optimisés ou de chipsets modifiés.
De même, NTFS-3g était étrange sous 64 bits, alors qu'il fonctionnait sous 32 bits (même distro, même noyau, même partition, il s'est juste "arrêté" dans certaines circonstances).
(*) la plupart des compilations sont liées au disque, pas au CPU. De plus, il y a d'autres améliorations dans l'architecture x86_64 qui annulent ce fait (meilleur PIC, plus de regs, SSE2 activé par défaut, 686 cmov activé par défaut). A moins que votre application ne fasse rien d'autre que de déplacer aléatoirement de petits blocs.