Vous voulez commencer petit et développer votre expérience. Je vous suggère de commencer par des jeux simples en 2D et de vous perfectionner. Pour une bonne bibliothèque qui vous cache les détails de la plateforme, commencez par SDL, comme l'a mentionné un précédent posteur. Ogre3D est bon mais je le considère comme trop avancé pour vous pour le moment.
Ensuite, lorsque vous savez comment construire des échantillons SDL, essayez d'écrire vos propres jeux pour comprendre la boucle principale, l'entrée, les sprites, les autres graphiques, l'audio, l'animation, etc. Commencez par quelques projets. Par exemple, écrivez votre propre Tetris, ou pacman, ou space invaders. Puis commencez à vous compliquer en ajoutant des fonctionnalités. Essayez d'écrire pacman avec un labyrinthe défilant (plutôt que sur un seul écran). Puis faites un jeu de plateforme simple comme mario. Vous pouvez voir où je veux en venir.
Ensuite, lorsque vous serez à l'aise avec les jeux en 2D, vous pourrez peut-être faire le saut vers la 3D, mais cet environnement est beaucoup plus compliqué à apprendre.
Si vous connaissez bien le C++, vous pouvez peut-être passer au C#. Il s'agit d'un langage plus facile à utiliser car vous n'avez pas à vous préoccuper de choses de bas niveau comme la gestion de la mémoire. Microsoft propose un bon framework appelé XNA, qui présente l'avantage supplémentaire de vous permettre de jouer à vos jeux sur votre Xbox360. Je vous le recommande. XNA prend en charge les jeux en 2D et en 3D.
Bonne chance dans votre parcours !