UE227 - Modèles computationnels de l'acquisition du langage

• Autre lieu Paris
  ENS, 29 rue d'Ulm 75005 Paris
  annuel / hebdomadaire, mardi 09:00-11:00
  du 1er septembre 2020 au 29 juin 2021

Dernière modification : 24 juin 2020 14:05

Type d'UE

Séminaires DE/MC

Disciplines

Linguistique, sémantique, Psychologie et sciences cognitives

Page web

-

Langues

anglais

Mots-clés

Intelligence artificielle Linguistique Psychologie Sciences cognitives

Aires culturelles

-

Cette UE n'est rattachée à aucune formation de master.

Contacts additionnels

-

Informations pratiques

ce séminaire sera accessible en ligne

Direction de travaux des étudiants

-

Réception des candidats

-

Pré-requis

-

L’une des choses les plus fascinantes à observer chez les bébés humains est la vitesse avec laquelle ils apprennent leur langue maternelle. La recherche en sciences cognitive des derniers 30 ans a montré que cet apprentissage démarre pendant la première année de vie, alors que l’enfant ne parle pas encore. En quelques mois, le bébé arrive à déterminer quelles sont les consonnes et les voyelles de sa langue, à découper la parole continue en mots et à comprendre le sens de certains d’entre eux. Cet apprentissage, difficile chez l’adulte qui apprend une langue étrangère, a lieu spontanément, sans effort apparent, alors que le bébé est plongé dans un environnement complexe, et souvent confronté à plusieurs langues à la fois. Particulièrement troublant est le fait que cet apprentissage ne semble pas suivre un ordre hiérarchique (apprendre les sons, puis les mots, puis les phrases), comme le ferait un adulte, mais plutôt, le bébé semble mener les apprentissages de tous ces niveaux linguistiques en parallèle.

Dans le séminaire, nous examinons les travaux récents issus du domaine des sciences de l’ingénieur (traitement du signal, reconnaissance de la parole, apprentissage statistique, intelligence artificielle), qui peuvent donner un éclairage théorique nouveau à ce problème. Ces travaux proposent des algorithmes que l’on peut considérer comme autant de propositions théoriques concernant l’apprentissage du langage. Ils sont évalués du point de vue de leur plausibilité aux niveaux socio-linguistique (caractéristique de la parole dirigée vers les enfants), psychologique (architecture cognitive sous-jacente) et biologique (possibilité d’implémentation neuro-mimétique).

Nous discutons les problèmes méthodologiques soulevés par ce type d’étude, en particulier la question de la fiabilité des données expérimentales et des idéalisations réalisées par rapport aux données linguistiques dans les approches de modélisation.

 

Publications

• Avec C. Wang, M. Rivière, A. Lee, A. Wu, C. Talnikar, D. Haziza, M. Williamson, et J. Pino, « VoxPopuli : A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation », dans Proceedings of ACL, 2021, p 993-1003.
• Avec S. Tsuji et A. Cristia, « SCALa : A blueprint for computational models of language acquisition in social context », Cognition, 213, 2021, 104779.
• Avec R. Riochet, M. Ynocente Castro, M. Bernard, A. Lerer, R. Fergus et V. Izard, « IntPhys : A Framework and Benchmark for Visual Intuitive Physics Understanding », Transactions on Pattern Analysis and Machine Intelligence, 2021, doi : 10.1109/TPAMI.2021.3083839.
• Avec R. Riad, J. Karadayi et A.-C. Bachoud-Lévi, « Learning spectro-temporal representations of complex sounds with parameterized neural networks », Journal of the Acoustical Society of America, 150(1), 2021, p. 353-366.
• Avec A. Polyak, Y. Adi, J. Copet, E. Kharitonov, K. Lakhotia, W.N. Hsu et A. Mohamed, « Speech Resynthesis from Discrete Disentangled Self-Supervised Representations », dans INTERSPEECH-2021, 2021, p 3615-3619.
• Avec K. Lakhotia, E. Kharitonov, W.N. Hsu, Y. Adi, A. Polyak, B. Bolte, T.A. Nguyen, J. Copet, A. Baevski et A. Mohamed, « Generative Spoken Language Modeling from Raw Audio », Transactions of the Association for Computational Linguistics, 2021.
• Avec E. Dunbar, M. Bernard, N. Hamilakis, T.A. Nguyen, M. de Seyssel, P. Rozé, M. Rivière et E. Kharitonov, « The Interspeech Zero Resource Speech Challenge 2021: Spoken language modelling », dans INTERSPEECH-2021, 2021, p 1574-1578).
• Avec R. Chaabouni, R., Kharitonov et M. Baroni, « Communicating artificial neural networks develop efficient color naming systems », Proceedings of the National Academy of Sciences of the United States of America, 118(12), 2021,  e2016569118.

Cette UE n'est rattachée à aucune formation de master.

Contacts additionnels

-

Informations pratiques

ce séminaire sera accessible en ligne

Direction de travaux des étudiants

-

Réception des candidats

-

Pré-requis

-

• Autre lieu Paris
  ENS, 29 rue d'Ulm 75005 Paris
  annuel / hebdomadaire, mardi 09:00-11:00
  du 1er septembre 2020 au 29 juin 2021

L’une des choses les plus fascinantes à observer chez les bébés humains est la vitesse avec laquelle ils apprennent leur langue maternelle. La recherche en sciences cognitive des derniers 30 ans a montré que cet apprentissage démarre pendant la première année de vie, alors que l’enfant ne parle pas encore. En quelques mois, le bébé arrive à déterminer quelles sont les consonnes et les voyelles de sa langue, à découper la parole continue en mots et à comprendre le sens de certains d’entre eux. Cet apprentissage, difficile chez l’adulte qui apprend une langue étrangère, a lieu spontanément, sans effort apparent, alors que le bébé est plongé dans un environnement complexe, et souvent confronté à plusieurs langues à la fois. Particulièrement troublant est le fait que cet apprentissage ne semble pas suivre un ordre hiérarchique (apprendre les sons, puis les mots, puis les phrases), comme le ferait un adulte, mais plutôt, le bébé semble mener les apprentissages de tous ces niveaux linguistiques en parallèle.

Dans le séminaire, nous examinons les travaux récents issus du domaine des sciences de l’ingénieur (traitement du signal, reconnaissance de la parole, apprentissage statistique, intelligence artificielle), qui peuvent donner un éclairage théorique nouveau à ce problème. Ces travaux proposent des algorithmes que l’on peut considérer comme autant de propositions théoriques concernant l’apprentissage du langage. Ils sont évalués du point de vue de leur plausibilité aux niveaux socio-linguistique (caractéristique de la parole dirigée vers les enfants), psychologique (architecture cognitive sous-jacente) et biologique (possibilité d’implémentation neuro-mimétique).

Nous discutons les problèmes méthodologiques soulevés par ce type d’étude, en particulier la question de la fiabilité des données expérimentales et des idéalisations réalisées par rapport aux données linguistiques dans les approches de modélisation.

 

Publications

• Avec C. Wang, M. Rivière, A. Lee, A. Wu, C. Talnikar, D. Haziza, M. Williamson, et J. Pino, « VoxPopuli : A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation », dans Proceedings of ACL, 2021, p 993-1003.
• Avec S. Tsuji et A. Cristia, « SCALa : A blueprint for computational models of language acquisition in social context », Cognition, 213, 2021, 104779.
• Avec R. Riochet, M. Ynocente Castro, M. Bernard, A. Lerer, R. Fergus et V. Izard, « IntPhys : A Framework and Benchmark for Visual Intuitive Physics Understanding », Transactions on Pattern Analysis and Machine Intelligence, 2021, doi : 10.1109/TPAMI.2021.3083839.
• Avec R. Riad, J. Karadayi et A.-C. Bachoud-Lévi, « Learning spectro-temporal representations of complex sounds with parameterized neural networks », Journal of the Acoustical Society of America, 150(1), 2021, p. 353-366.
• Avec A. Polyak, Y. Adi, J. Copet, E. Kharitonov, K. Lakhotia, W.N. Hsu et A. Mohamed, « Speech Resynthesis from Discrete Disentangled Self-Supervised Representations », dans INTERSPEECH-2021, 2021, p 3615-3619.
• Avec K. Lakhotia, E. Kharitonov, W.N. Hsu, Y. Adi, A. Polyak, B. Bolte, T.A. Nguyen, J. Copet, A. Baevski et A. Mohamed, « Generative Spoken Language Modeling from Raw Audio », Transactions of the Association for Computational Linguistics, 2021.
• Avec E. Dunbar, M. Bernard, N. Hamilakis, T.A. Nguyen, M. de Seyssel, P. Rozé, M. Rivière et E. Kharitonov, « The Interspeech Zero Resource Speech Challenge 2021: Spoken language modelling », dans INTERSPEECH-2021, 2021, p 1574-1578).
• Avec R. Chaabouni, R., Kharitonov et M. Baroni, « Communicating artificial neural networks develop efficient color naming systems », Proceedings of the National Academy of Sciences of the United States of America, 118(12), 2021,  e2016569118.