CVS ne suit les modifications que fichier par fichier, tandis que SVN suit l'ensemble d'un commit comme une nouvelle révision, ce qui signifie qu'il est plus facile de suivre l'historique de votre projet. Ajoutez à cela le fait que tous les logiciels de contrôle de source modernes utilisent le concept de révision et qu'il est donc beaucoup plus facile de migrer depuis SVN que depuis CVS.
Il y a aussi le problème du commit atomique. Bien que je ne l'aie rencontré qu'une seule fois, il est possible que deux personnes effectuant un commit ensemble dans CVS puissent entrer en conflit, perdre des données et mettre votre client dans un état incohérent. Lorsqu'ils sont détectés à temps, ces problèmes ne sont pas majeurs car vos données sont toujours là quelque part, mais ils peuvent être pénibles dans un environnement stressant.
Et enfin, il n'y a plus beaucoup d'outils développés autour de CVS. Alors que les nouveaux et brillants outils comme Git ou Mercurial manquent définitivement d'outils, SVN a une base d'application assez large sur n'importe quel système.
EDIT 2020 : Sérieusement, cette réponse a 12 ans maintenant. Oubliez SVN, utilisez Git comme tout le monde !