J'ai récemment commencé un cours sur la compression de données à mon université. Cependant, je trouve l'utilisation du terme "entropie" dans la mesure où elle s'applique à l'informatique plutôt ambiguë. Autant que je sache, cela se traduit approximativement par le "caractère aléatoire" d'un système ou d'une structure.
Quelle est la définition correcte de l'informatique "entropie"?
L'entropie peut signifier différentes choses:
Dans le calcul de l'entropie est la l'aléatoire recueillies par une exploitation système ou de l'application pour une utilisation dans la cryptographie ou à d'autres usages que exiger des données aléatoires. Ce caractère aléatoire est souvent collectées à partir de matériel sources, soit pré-existants tels comme les mouvements de la souris ou spécialement fourni caractère aléatoire des générateurs.
Dans la théorie de l'information, l'entropie est une mesure de l'incertitude associée avec une variable aléatoire. Le terme par dans ce contexte se réfère généralement à l'entropie de Shannon, qui quantifie, dans le sens d'une la valeur attendue, les informations contenues dans un message, généralement dans unités telles que les bits. De manière équivalente, l' Entropie de Shannon est une mesure de la en moyenne le contenu de l'information est manque quand on ne connaît pas la la valeur de la variable aléatoire
L'entropie dans la compression de données
L'entropie dans la compression de données peut désigner le caractère aléatoire des données que vous êtes entrée à l'algorithme de compression. Plus l'entropie, moins le taux de compression. Cela signifie que la plus aléatoire le texte est, le moindre, vous pouvez le compresser.
L'entropie de Shannon représente un limite absolue sur le meilleur possible la compression sans perte de tout communication: traitement des messages d' encodée comme une séquence d'indépendant et identiquement distribuées par hasard variables, de Shannon sur le code source théorème montre que, à la limite, l' la moyenne de la longueur de la plus courte représentation possible de coder l' les messages dans un alphabet est leur l'entropie divisé par le logarithme de le nombre de symboles dans la cible alphabet.
Ma définition préférée, avec un plus pratique de se concentrer, se trouve dans le Chapitre 1 de l'excellent livre de La Pragmatique Programmeur: à Partir de Compagnon, de Maître par Andrew Hunt et David Thomas:
Logiciel Entropie
Alors que le développement de logiciels est à l'abri à partir de presque toutes les lois de la physique, de l'entropie nous frappe fort. L'entropie est une notion en physique, ce qui correspond à la quantité de "trouble" dans un système. Malheureusement, les lois de la thermodynamique garantie que l'entropie de l'univers tend vers un maximum. Lorsque le désordre les augmentations de logiciels, des programmeurs l'appeler "le logiciel de la pourriture."
Il y a beaucoup de facteurs qui peuvent contribuer à des logiciels de pourriture. La plupart des important semble être le la psychologie, ou de la culture, au travail sur un projet. Même si vous êtes une équipe de une, votre projet, de la psychologie peut être une chose très délicate. En dépit de la best laid plans et les meilleures personnes, un le projet peut encore l'expérience de la ruine et décroissance au cours de sa durée de vie. Pourtant il y en a d'autres projets sont que, malgré d'énormes difficultés et constante revers, le succès de la lutte de la nature tendance vers le désordre et à gérer sortir assez bien.
...
...
D'une fenêtre brisée.
Une vitre cassée, de gauche non réparés pour notable de la longueur de temps, instille dans les habitants de la la construction d'un sentiment d'abandon-un sens que les pouvoirs ne sont pas soins sur le bâtiment. Donc, une autre la fenêtre est cassé. Les gens commencent à l'abandon de détritus. Le Graffiti apparaît. Sérieux dommages structurels commence. Dans un relativement court espace de temps, la bâtiment est endommagé au-delà de la propriétaire du désir de le résoudre, et la sentiment d'abandon devient réalité.
La "vitre Cassée de la Théorie de la" a inspirée des services de police dans les Nouvelles York et d'autres grandes villes de la fissure vers le bas sur les petites choses afin de garder les gros trucs. Il fonctionne: garder sur le dessus de vitres brisées, graffiti, et d'autres petites infractions a réduit la criminalité grave niveau.
Astuce n ° 4
Ne Vivez pas avec des Fenêtres Cassées
Ne pas laisser de "broken windows" (mauvais dessins, de mauvaises décisions, ou d'une mauvaise code) non réparés. Résoudre chacun d'eux dès comme il est découvert. Si il y a pas assez de temps pour le fixer correctement, ensuite il. Peut-être vous pouvez commenter le code fautif, ou affichage d'un "Non Implémenté" message, ou remplacer des données factices à la place. Prendre des mesures pour prévenir d'autres dommages et pour montrer que vous êtes sur le situation.
Texte tiré de: http://pragprog.com/the-pragmatic-programmer/extracts/software-entropy
J'ai toujours rencontré l'entropie au sens de l'Entropie de Shannon.
À partir de http://en.wikipedia.org/wiki/Information_entropy:
Dans la théorie de l'information, l'entropie est une mesure de l'incertitude associée à une variable aléatoire. Le terme en lui-même, dans ce contexte, se réfère généralement à l'entropie de Shannon, qui quantifie, dans le sens de la valeur attendue, l'information contenue dans un message, généralement dans des unités telles que les bits. De manière équivalente, l'entropie de Shannon est une mesure de la moyenne du contenu de l'information est manquante lorsque l'on ne connaît pas la valeur de la variable aléatoire.
La théorie de l'information notion de L'entropie est une généralisation de la physique de la notion. Il existe de nombreuses façons pour décrire l'Entropie. C'est une mesure de l'aléatoire aléatoire variable. C'est aussi une mesure de la quantité d'informations aléatoires ou de variable de processus stochastiques contient. C'est aussi une borne inférieure sur le montant d'un message peut être compressé. Et c'est finalement l' nombre moyen de questions oui/non qui doivent être posées sur un aléatoire entité de déterminer sa valeur.
L'équation pour l'Entropie dans un exemple d'application pour le calcul de possibilité:
c'est la somme sur toutes les valeurs d'un rv de la probabilité de la valeur temps le journal de ce problème(c'est à dire p(x)logp(x)). Cette équation peut être dérivée à partir des principes de la les propriétés de l'information.
Prograide est une communauté de développeurs qui cherche à élargir la connaissance de la programmation au-delà de l'anglais.
Pour cela nous avons les plus grands doutes résolus en français et vous pouvez aussi poser vos propres questions ou résoudre celles des autres.
