Initialisation de Réseaux de Neurones à l’aide d’un Espace Thématique

Mohamed Morchid, Richard Dufour, Georges Linarès


Abstract
Ce papier présente une méthode de traitement de documents parlés intégrant une représentation fondée sur un espace thématique dans un réseau de neurones artificiels (ANN) employé comme classifieur de document. La méthode proposée consiste à configurer la topologie d’un ANN ainsi que d’initialiser les connexions de celui-ci à l’aide des espaces thématiques appris précédemment. Il est attendu que l’initialisation fondée sur les probabilités thématiques permette d’optimiser le processus d’optimisation des poids du réseau ainsi qu’à accélérer la phase d’apprentissage tout en amélioration la précision de la classification d’un document de test. Cette méthode est évaluée lors d’une tâche de catégorisation de dialogues parlés entre des utilisateurs et des agents du service d’appels de la Régie Autonome Des Transports Parisiens (RATP). Les résultats montrent l’intérêt de la méthode proposée d’initialisation d’un réseau, avec un gain observé de plus de 4 points en termes de bonne classification comparativement à l’initialisation aléatoire. De plus, les expérimentations soulignent que les performances sont faiblement dépendantes de la topologie du ANN lorsque les poids de la couche cachée sont initialisés au moyen des espaces de thèmes issus d’une allocation latente de Dirichlet ou latent Dirichlet Allocation (LDA) en comparaison à une initialisation empirique.
Anthology ID:
2015.jeptalnrecital-court.5
Volume:
Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Month:
June
Year:
2015
Address:
Caen, France
Editors:
Jean-Marc Lecarpentier, Nadine Lucas
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA
Note:
Pages:
28–33
Language:
URL:
https://aclanthology.org/2015.jeptalnrecital-court.5
DOI:
Bibkey:
Cite (ACL):
Mohamed Morchid, Richard Dufour, and Georges Linarès. 2015. Initialisation de Réseaux de Neurones à l’aide d’un Espace Thématique. In Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts, pages 28–33, Caen, France. ATALA.
Cite (Informal):
Initialisation de Réseaux de Neurones à l’aide d’un Espace Thématique (Morchid et al., JEP/TALN/RECITAL 2015)
Copy Citation:
PDF:
https://aclanthology.org/2015.jeptalnrecital-court.5.pdf