Entropie totale, probabilité relative, maximum de vraisemblance et décision bayesienne subjective. Application au calcul des bornes des probabilités d'erreur de décodage.

Le but essentiel de cet article est d'introduire la subjectivité, prise dans le sens de connaissance a priori de la signification des symboles, sous forme de coefficients de pondération dans les problèmes de décodage. Tout d'abord, en utilisant trois axiomes très simples et très naturels relatifs à la conservation de l'information, on aboutit à un modèle d'observation décrit par les équations de Lorentz-Poincaré, retrouvant ainsi un schéma obtenu plusieurs fois déjà par des voies différentes. Ensuite, en appliquant ce modèle à l'observation de la quantité d'information contenue dans un événement, on obtient une notion de probabilité relative ou observée d'une part, et une notion d'entropie relative généralisée. Puis, en introduisant au moyen d'axiomes judicieux un concept d'entropie totale, l'entropie relative est définie dans le cas continu comme la limite de l'entropie discrète; et on l'applique au calcul de la capacité d'un canal. Ensuite la probabilité relative est utilisée pour généraliser le critère du maximum de vraisemblance et le critère bayesien de décision, et de là on se sert des techniques de Gallager afin d'obtenir des bornes pour les probabilités d'erreur de décodage. The main purpose of this paper is to introduce subjectivity in the form of weighting coefficients in decoding problems. Subjectivity is thought of as prior knowledge of meaning. First, by using very simple informational axioms, we derive a model of observation described by the Lorentz equations. This is a new derivation of the model which we already obtained via several different ways. Then, on applying this model to observing the information involved by an event only, we get a concept of relative probability on the one hand, and of generalized relative entropy on the other hand, which we use to calculate the capacity of a channel. Finally, the relative entropy is used to derive a generalized maximum likelihood criterion and a generalized bayesian decision criterion, whereby we can obtain errors bounds for channels when semantics is taken into account, via techniques similar to those of Gallager. [ABSTRACT FROM AUTHOR]