@inproceedings{janod-etal-2015-apport,
title = "Apport de l{'}information temporelle des contextes pour la repr{\'e}sentation vectorielle continue des mots",
author = "Janod, Killian and
Morchid, Mohamed and
Dufour, Richard and
Linares, Georges",
editor = "Lecarpentier, Jean-Marc and
Lucas, Nadine",
booktitle = "Actes de la 22e conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Articles courts",
month = jun,
year = "2015",
address = "Caen, France",
publisher = "ATALA",
url = "https://aclanthology.org/2015.jeptalnrecital-court.42",
pages = "284--290",
abstract = "Les repr{\'e}sentations vectorielles continues des mots sont en plein essor et ont d{\'e}j{\`a} {\'e}t{\'e} appliqu{\'e}es avec succ{\`e}s {\`a} de nombreuses t{\^a}ches en traitement automatique de la langue (TAL). Dans cet article, nous proposons d{'}int{\'e}grer l{'}information temporelle issue du contexte des mots au sein des architectures fond{\'e}es sur les sacs-de-mots continus (continuous bag-of-words ou CBOW) ou sur les Skip-Grams. Ces approches sont manipul{\'e}es au travers d{'}un r{\'e}seau de neurones, l{'}architecture CBOW cherchant alors {\`a} pr{\'e}dire un mot sachant son contexte, alors que l{'}architecture Skip-Gram pr{\'e}dit un contexte sachant un mot. Cependant, ces mod{\`e}les, au travers du r{\'e}seau de neurones, s{'}appuient sur des repr{\'e}sentations en sac-de-mots et ne tiennent pas compte, explicitement, de l{'}ordre des mots. En cons{\'e}quence, chaque mot a potentiellement la m{\^e}me influence dans le r{\'e}seau de neurones. Nous proposons alors une m{\'e}thode originale qui int{\`e}gre l{'}information temporelle des contextes des mots en utilisant leur position relative. Cette m{\'e}thode s{'}inspire des mod{\`e}les contextuels continus. L{'}information temporelle est trait{\'e}e comme coefficient de pond{\'e}ration, en entr{\'e}e du r{\'e}seau de neurones par le CBOW et dans la couche de sortie par le Skip-Gram. Les premi{\`e}res exp{\'e}riences ont {\'e}t{\'e} r{\'e}alis{\'e}es en utilisant un corpus de test mesurant la qualit{\'e} de la relation s{\'e}mantique-syntactique des mots. Les r{\'e}sultats pr{\'e}liminaires obtenus montrent l{'}apport du contexte des mots, avec des gains de 7 et 7,7 points respectivement avec l{'}architecture Skip-Gram et l{'}architecture CBOW.",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="janod-etal-2015-apport">
<titleInfo>
<title>Apport de l’information temporelle des contextes pour la représentation vectorielle continue des mots</title>
</titleInfo>
<name type="personal">
<namePart type="given">Killian</namePart>
<namePart type="family">Janod</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Mohamed</namePart>
<namePart type="family">Morchid</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Richard</namePart>
<namePart type="family">Dufour</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Georges</namePart>
<namePart type="family">Linares</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2015-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts</title>
</titleInfo>
<name type="personal">
<namePart type="given">Jean-Marc</namePart>
<namePart type="family">Lecarpentier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Nadine</namePart>
<namePart type="family">Lucas</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Caen, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les représentations vectorielles continues des mots sont en plein essor et ont déjà été appliquées avec succès à de nombreuses tâches en traitement automatique de la langue (TAL). Dans cet article, nous proposons d’intégrer l’information temporelle issue du contexte des mots au sein des architectures fondées sur les sacs-de-mots continus (continuous bag-of-words ou CBOW) ou sur les Skip-Grams. Ces approches sont manipulées au travers d’un réseau de neurones, l’architecture CBOW cherchant alors à prédire un mot sachant son contexte, alors que l’architecture Skip-Gram prédit un contexte sachant un mot. Cependant, ces modèles, au travers du réseau de neurones, s’appuient sur des représentations en sac-de-mots et ne tiennent pas compte, explicitement, de l’ordre des mots. En conséquence, chaque mot a potentiellement la même influence dans le réseau de neurones. Nous proposons alors une méthode originale qui intègre l’information temporelle des contextes des mots en utilisant leur position relative. Cette méthode s’inspire des modèles contextuels continus. L’information temporelle est traitée comme coefficient de pondération, en entrée du réseau de neurones par le CBOW et dans la couche de sortie par le Skip-Gram. Les premières expériences ont été réalisées en utilisant un corpus de test mesurant la qualité de la relation sémantique-syntactique des mots. Les résultats préliminaires obtenus montrent l’apport du contexte des mots, avec des gains de 7 et 7,7 points respectivement avec l’architecture Skip-Gram et l’architecture CBOW.</abstract>
<identifier type="citekey">janod-etal-2015-apport</identifier>
<location>
<url>https://aclanthology.org/2015.jeptalnrecital-court.42</url>
</location>
<part>
<date>2015-06</date>
<extent unit="page">
<start>284</start>
<end>290</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Apport de l’information temporelle des contextes pour la représentation vectorielle continue des mots
%A Janod, Killian
%A Morchid, Mohamed
%A Dufour, Richard
%A Linares, Georges
%Y Lecarpentier, Jean-Marc
%Y Lucas, Nadine
%S Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
%D 2015
%8 June
%I ATALA
%C Caen, France
%F janod-etal-2015-apport
%X Les représentations vectorielles continues des mots sont en plein essor et ont déjà été appliquées avec succès à de nombreuses tâches en traitement automatique de la langue (TAL). Dans cet article, nous proposons d’intégrer l’information temporelle issue du contexte des mots au sein des architectures fondées sur les sacs-de-mots continus (continuous bag-of-words ou CBOW) ou sur les Skip-Grams. Ces approches sont manipulées au travers d’un réseau de neurones, l’architecture CBOW cherchant alors à prédire un mot sachant son contexte, alors que l’architecture Skip-Gram prédit un contexte sachant un mot. Cependant, ces modèles, au travers du réseau de neurones, s’appuient sur des représentations en sac-de-mots et ne tiennent pas compte, explicitement, de l’ordre des mots. En conséquence, chaque mot a potentiellement la même influence dans le réseau de neurones. Nous proposons alors une méthode originale qui intègre l’information temporelle des contextes des mots en utilisant leur position relative. Cette méthode s’inspire des modèles contextuels continus. L’information temporelle est traitée comme coefficient de pondération, en entrée du réseau de neurones par le CBOW et dans la couche de sortie par le Skip-Gram. Les premières expériences ont été réalisées en utilisant un corpus de test mesurant la qualité de la relation sémantique-syntactique des mots. Les résultats préliminaires obtenus montrent l’apport du contexte des mots, avec des gains de 7 et 7,7 points respectivement avec l’architecture Skip-Gram et l’architecture CBOW.
%U https://aclanthology.org/2015.jeptalnrecital-court.42
%P 284-290
Markdown (Informal)
[Apport de l’information temporelle des contextes pour la représentation vectorielle continue des mots](https://aclanthology.org/2015.jeptalnrecital-court.42) (Janod et al., JEP/TALN/RECITAL 2015)
ACL