Je ne comprends pas très bien certains détails du problème, mais je ne voudrais pas que cette question reste sans réponse au cas où quelqu'un d'autre serait confronté à ce problème.
Ce plugin (mouseSwipe) remplace la fonctionnalité de glissement par défaut pour les appareils mobiles. Alors que normalement les appareils feraient défiler la page lors de l'événement de démarrage de la souris, ce plugin outrepasse ce comportement pour détecter le mouvement d'un clic sur un élément. Puisqu'il interrompt cette fonctionnalité, le glissement dans la direction opposée (pour le défilement) est également interrompu. Si le plugin était encore maintenu par son propriétaire (il ne semble pas l'être), il pourrait être mis à jour pour corriger ce problème, ou émettre des événements qui pourraient être utilisés pour créer manuellement la fonctionnalité que vous souhaitez.
Je suppose que c'est également ce qui vous pose problème lorsque vous cliquez pour aller à la page spécifiée.
Si vous voulez mon avis honnête, je choisirais une autre bibliothèque, peut-être une qui se concentre uniquement sur le swipage des appareils mobiles, et qui gère séparément les fonctionnalités pour les ordinateurs de bureau (bien que, si vous utilisez PhoneGap, il est probable que vous ne publiez pas cela sur une plateforme web pour les ordinateurs de bureau). Si c'est pour le web, vous pouvez utiliser modernizr (ou autre) pour déterminer si l'appareil supporte l'entrée tactile, et ensuite implémenter quelque chose comme ce qui suit :
http://labs.rampinteractive.co.uk/touchSwipe/demos/Image_gallery_example.html
Pour les appareils qui ne sont pas tactiles, vous pouvez revenir à une navigation basée sur des boutons ou des flèches (après tout, en tant qu'utilisateur d'un ordinateur de bureau, je ne m'attends pas à pouvoir faire glisser le document d'avant en arrière à l'aide de la souris).