Colloque

Le traitement de l'information en lien avec les réseaux de neurones

Jean Rouat

Membre a labase

Jean Rouat

Résumé du colloque

La théorie de l'information telle que développée au milieu du siècle dernier fournit au scientifique une trousse d'outils permettant de mesurer, quantifier et d'évaluer l'information. En transcendant le détail, la théorie de l'information permet d'élaborer des stratégies (ou de les évaluer) en vue de maximiser l'information codée, émise, transportée ou reçue des systèmes vivants ou artificiels. Il est ainsi possible, pour le chercheur, d'analyser et/ou d'élaborer diverses stratégies de traitement de l'information sans devoir à priori connaître dans le détail les systèmes physiques qui y sont associés. Qu'il s'agisse des réseaux de neurones formels (approche mathématique des réseaux de neurones) ou de la physiologie nerveuse, la théorie de l'information permet d'évaluer en partie ces systèmes. 1) Neurones formels : La théorie de l'information permet d'évaluer la capacité des mémoires associatives, de comprendre la règle de Hebb comme moyen de maximiser l'information mutuelle entre variables d'entrée et de sortie, de rechercher de façon automatique des architectures adaptées au problème considéré, de définir des critères de qualité dans l'apprentissage de certains réseaux, d'évaluer les systèmes dynamiques à énergie libre, etc. 2) Physiologie nerveuse : La théorie de l'information a un impact important sur le débat lié au codage neural. Par exemple, certains auteurs montrent qu'un codage en séquence de décharges a une capacité supérieure à un codage basé uniquement sur le taux de décharges. Certains auteurs vont même plus loin en argumentant que les systèmes biologiques évoluent en maximisant l'entropie. 3) Même si la littérature liée au traitement de l'information dans les réseaux de neurones est loin d'être abondante, il est intéressant de constater que les quelques travaux réalisés sur le sujet ont en général un impact important dans le domaine des réseaux de neurones. 4) Nous proposons et discutons aussi d'une nouvelle génération de réseaux de neurones artificiels inspirés du système auditif en lien avec le traitement de l'information.