Outils d'aide à la rétroconception des formats de fichiers binaires

Question

Quels sont les outils disponibles pour aider à décoder les formats de données binaires inconnus ?

Je sais que Hex Workshop et 010 Editor supportent tous deux les structures. Celles-ci sont correctes dans une certaine mesure pour un format fixe connu, mais deviennent difficiles à utiliser pour tout ce qui est plus compliqué, en particulier pour les formats inconnus. Je suppose que je cherche un module pour un langage de script ou un outil GUI scriptable.

Par exemple, j'aimerais être capable de trouver une structure dans un bloc de données à partir d'informations connues limitées, peut-être un nombre magique. Une fois que j'ai trouvé une structure, je peux suivre des mots de longueur et de décalage connus pour trouver d'autres structures. Puis répéter cela de manière récursive et itérative lorsque cela a un sens.

Dans mes rêves, peut-être même identifier automatiquement les décalages et les longueurs possibles en fonction de ce que j'ai déjà dit au système !

Answer 1

Voici quelques conseils qui vous viennent à l'esprit :

D'après mon expérience, les langages de script interactifs (j'utilise Python) peuvent être d'une grande aide. Vous pouvez écrire un cadre simple pour traiter les flux binaires et quelques algorithmes simples. Ensuite, vous pouvez écrire des scripts qui prendront votre binaire et vérifieront diverses choses. Par exemple :

Faites des analyses statistiques sur les différentes parties. Des données aléatoires, par exemple, vous indiqueront que cette partie est probablement compressée/cryptée. Les zéros peuvent signifier un remplissage entre les parties. Des zéros épars peuvent signifier des valeurs entières ou des chaînes Unicode, etc. Essayez de repérer les différents décalages. Essayez de convertir des parties du binaire en entiers de 2 ou 4 octets ou en flottants, imprimez-les et voyez si elles ont un sens. Écrivez quelques fonctions qui rechercheront les répétitions ou les parties très similaires dans les données, de cette façon vous pourrez facilement repérer les en-têtes.

Essayez de trouver autant de chaînes que possible, essayez différents encodages (chaînes c, chaînes pascal, utf8/16, etc.). Il y a de bons outils pour cela (je pense que Hex Workshop a un tel outil). Les chaînes de caractères peuvent vous apprendre beaucoup de choses.

Bonne chance !

Answer 2

Pour Mac OS X, il y a un nouvel outil génial qui est encore meilleur que mon iBored : Synaliyze It ! ( http://www.synalysis.net/ )

Par rapport à iBored Il est mieux adapté aux fichiers non bloqués, tout en offrant un contrôle total sur les structures, y compris la possibilité de script (avec Lua). De plus, il permet de mieux visualiser les structures.

Answer 3

Tupni A ma connaissance, cet outil n'est pas directement disponible auprès de Microsoft Research, mais il existe un article sur cet outil qui peut être intéressant pour quelqu'un qui souhaite écrire un programme similaire (peut-être open source) :

Tupni : Rétroingénierie automatique des formats d'entrée ( @ Bibliothèque numérique de l'ACM )

Résumé

Des travaux récents ont établi l'importance de l'ingénierie inverse automatique automatique des spécifications de protocoles ou de formats de fichiers. Cependant, les par des outils antérieurs ont manqué des informations importantes informations importantes qui sont critiques pour les applications de sécurité. Dans cet article Dans cet article, nous présentons Tupni, un outil qui peut faire de l'ingénierie inverse d'un d'entrée avec un riche ensemble d'informations, y compris les séquences d'enregistrement, les types d'enregistrement et les contraintes d'entrée. Tupni peut généraliser la spécification du format spécification de format sur des entrées multiples. Nous avons implémenté un prototype de Tupni et l'avons évalué sur 10 formats différents : cinq cinq formats de fichiers (WMF, BMP, JPG, PNG et TIF) et cinq formats de réseau. (DNS, RPC, TFTP, HTTP et FTP). Tupni a identifié toutes les séquences d'enregistrement dans les entrées de test. Nous montrons également que, en agrégeant sur plusieurs fichiers WMF, Tupni peut dériver une spécification de format spécification de format plus complète pour WMF. En outre, nous démontrons l'utilité de l'utilité de Tupni en utilisant la richesse des informations qu'il fournit pour générer des ce qui n'était pas possible avec les versions précédentes de outils de rétro-ingénierie précédents.

Answer 4

Mon propre outil "iBored", que j'ai publié tout récemment, peut faire une partie de cela. J'ai écrit l'outil pour visualiser et déboguer les formats de systèmes de fichiers (UDF, HFS, ISO9660, FAT etc.), et j'ai implémenté la recherche, la copie et plus tard même le support de la structure et des modèles. Le support des structures est assez simple, et les modèles sont un moyen d'identifier les structures dynamiquement.

L'ensemble est programmable dans un dialecte Visual BASIC, ce qui vous permet de tester des valeurs, de lire des blocs spécifiques, etc.

L'outil est gratuit, fonctionne sur toutes les plateformes (Win, Mac, Linux), mais comme il s'agit d'un outil personnel que je viens de rendre public pour le partager, il n'est pas très documenté.

Cependant, si vous voulez l'essayer et si vous aimez donner votre avis, je pourrais ajouter des fonctionnalités plus utiles.

J'aurais même pu l'ouvrir, mais comme il est écrit en anglais REALbasic je doute que beaucoup de personnes se joignent à un tel projet.

Lien : Page d'accueil de iBored

Answer 5

J'utilise encore occasionnellement un vieil éditeur hexagonal appelé A.X.E., Advanced Hex Editor. Il semble avoir largement disparu de l'Internet maintenant, bien que Google devrait toujours être capable de le trouver pour vous. La dernière version que je connais était la version 3.4, mais je n'ai vraiment utilisé que la version 2.1 à usage personnel.

Sa fonction la plus intéressante, et celle que j'ai le plus utilisée pour déchiffrer les différents formats de jeux et de graphiques, est son mode d'affichage graphique. Il vous montre simplement le fichier avec chaque octet transformé en un pixel codé en couleur. Et aussi simple que cela puisse paraître, cela a rendu mes tentatives de rétro-ingénierie beaucoup plus faciles.

Je suppose que le faire à l'œil est tout le contraire d'une analyse automatique, et que le mode graphique ne sera pas très utile pour trouver et suivre les décalages...

La dernière version comporte certaines fonctionnalités qui semblent pouvoir répondre à vos besoins (scripts, recherche de régularités, générateur de grammaire), mais je n'ai aucune idée de leur qualité.