Comment un programme peut-il contrôler un autre programme ?

Question

Les robots, comment ça marche ? Indiquent-ils au jeu vidéo qu'une touche a été pressée ou que la souris a été cliquée ?

Si ce n'est pas le cas, existe-t-il un moyen de faire en sorte que votre programme indique à un autre programme qu'une touche a été pressée ? J'aimerais créer un programme pour battre un jeu. Je ne sais pas si c'est le cas, mais je ne sais pas non plus si c'est le cas, mais c'est le cas.

Mise à jour : L'une des solutions consiste donc à émuler les frappes au clavier. Quelles sont donc les méthodes pour y parvenir (dans n'importe quel langage) ?

Answer 1

J'ai écrit un certain nombre de bots à un moment ou à un autre (des jeux Pogo aux Yohoho Puzzle Pirates). Pour Windows, il faut soit envoyer des événements Win32 pour simuler les mouvements de la souris, soit usurper les messages de bas niveau envoyés entre Windows lorsque la souris est réellement cliquée. Cela dépend en grande partie de la façon dont le programme réagit (en acceptant le message avec les coordonnées ou, dans le cas de Java, en lisant immédiatement les coordonnées de la souris). La partie "automatisation" implique généralement la lecture de l'écran et l'écriture d'heuristiques ou d'algorithmes pour déterminer l'état, mais peut également être aussi agréable que le reniflage de paquets (beaucoup d'informations dans les mauvaises implémentations de poker) ou aussi difficile que la lecture directe d'emplacements de mémoire. Il s'agit d'un "domaine" assez vaste et peu documenté, car il est très rentable et facile d'accès.

Envoi de l'entrée

C/C++ (sous Windows)

Pour les clés, essayez CodeProject :

http://www.codeproject.com/KB/cpp/sendkeys_cpp_Article.aspx

Et des messages :

http://www.codeproject.com/KB/threads/sendmsg.aspx

Le mieux est d'apprendre à envoyer des messages à l'aide de l'API Win32, puis d'utiliser un logiciel comme Spy++ ou ses dérivés pour "rétroconcevoir" la manière dont les pressions sur les touches et les mouvements de la souris sont envoyés à la fenêtre.

Java

Java dispose d'une classe Robot étonnamment portable, capable de.. :

1. Lire les pixels de l'écran.
2. Contrôler la souris.
3. Envoyer les clés.

Je vous conseille de l'essayer si vous cherchez un moyen rapide et facile.

Logique de base

Ce processus est décrit en détail ailleurs sur l'internet, mais la plupart des robots suivent un flux de programme état-machine simple. Vous lisez l'écran (ou les paquets, ou la mémoire), vous déterminez votre "état" en fonction de vos lectures et des données antérieures, vous effectuez des calculs et vous renvoyez le résultat au programme.

La lecture de l'écran peut être difficile, mais elle peut être facilitée si vous considérez que, bien souvent, quelques pixels "chanceux" par rapport à la fenêtre vous donneront une idée de l'état dans lequel se trouve le programme. Le processus de recherche de ces pixels peut être automatisé.

Answer 2

Il existe plusieurs types de bots. D'après ce dont je me souviens lorsque je jouais à CS (il y a très, très longtemps)

Certains bots utilisent les bibliothèques de l'application elle-même pour inspecter l'environnement (la carte, où se trouvent les joueurs etc...) Les bots utilisent également la bibliothèque pour contrôler les mouvements. Je doute qu'il y ait beaucoup d'implémentations de bots qui invoquent les messages de la souris pour dire au jeu comment se déplacer, etc...

Certains bots émulent le protocole au niveau de l'application (s'il s'agit d'un jeu multi-joueurs). En d'autres termes, le jeu n'a même pas besoin de tourner. Un bot peut fonctionner dans un jeu virtuel.

Je vais aller à l'encontre de ce qu'une autre personne a suggéré : écrire un bot de jeu est probablement un exercice plus utile que de jouer au jeu, et être curieux de savoir comment ils fonctionnent est un bon signe :)

Answer 3

Certains programmes (comme ceux qui s'occupent de la mouture dans un MMORPG) ne font qu'émuler les frappes de clavier. Un outil pour faire cela est AutoIt .

En ce qui concerne les robots qui jouent eux-mêmes aux jeux, je n'ai rien fait avec eux, mais je suppose qu'ils utiliseraient une sorte d'ensemble prédéfini d'actions, peut-être une heuristique, mais ce n'est pas probable.

Answer 4

Le plus grand défaut de ce concept n'est pas l'entrée, mais la sortie du jeu. Votre robot ne peut pas se contenter d'appuyer sur des touches au hasard, il doit savoir ce qui se passe. Très peu de jeux permettent d'interroger ces données, ce qui obligerait votre robot à résoudre un problème très délicat : convertir 60 images par seconde de données visuelles en 2D en un espace virtuel.

Il existe actuellement des jeux qui non seulement autorisent les robots, mais les encouragent. Ouvrir RTS est l'un d'entre eux, mais il en existe d'autres plus simples comme GUN-TACTYX y crobots qui sont de bons points de départ.

Answer 5

Les bots agiront en tant que clients du jeu (serveur). Ils peuvent donc envoyer des données appropriées, tout comme un utilisateur peut le faire manuellement. Le bot (client) analysera les données du serveur ("quelqu'un est sur le point d'attaquer par la gauche"), etc. Le client devrait alors être en mesure de calculer le meilleur mouvement et d'envoyer les données appropriées au serveur pour qu'il l'exécute.

Je ne suis pas sûr que cela fonctionne avec tous les jeux.