UE238 - Modèles computationnels de l'acquisition du langage

• Autre lieu Paris
  ENS, 29 rue d'Ulm 75005 Paris
  annuel / hebdomadaire, mardi 15:30-17:00
  du 7 septembre 2021 au 26 juillet 2022

Dernière modification : 27 septembre 2021 14:55

Type d'UE

Séminaires DE/MC

Disciplines

Linguistique, sémantique, Psychologie et sciences cognitives

Page web

-

Langues

anglais

Mots-clés

Intelligence artificielle Linguistique Psychologie Sciences cognitives

Aires culturelles

-

Cette UE n'est rattachée à aucune formation de master.

Contacts additionnels

-

Informations pratiques

ce séminaire sera accessible en ligne.

Direction de travaux des étudiants

-

Réception des candidats

-

Pré-requis

-

L'une des choses les plus fascinante à observer chez les bébés humains est la vitesse avec laquelle ils apprennent leur langue maternelle. La recherche en sciences cognitive des derniers 30 ans a montré que cet apprentissage démarre pendant la première année de vie, alors que l'enfant ne parle pas encore. En quelques mois, le bébé arrive à déterminer quelles sont les consonnes et les voyelles de sa langue, à découper la parole continue en mots et à comprendre le sens de certains d'entre eux. Cet apprentissage, difficile chez l'adulte qui apprends une langue étrangère, a lieu spontanément, sans effort apparent, alors que le bébé est plongé dans un environnement complexe, et souvent confronté à plusieurs langues à la fois. Particulièrement troublant est le fait que cet apprentissage ne semble pas suivre un ordre hiérarchique (apprendre les sons, puis les mots, puis les phrases), comme le ferait un adulte, mais plutôt, le bébé semble mener les apprentissages de tous ces niveaux linguistiques en parallèle.
Dans le séminaire, nous examinons les travaux récents issus du domaine des sciences de l'ingénieur (traitement du signal, reconnaissance de la parole, apprentissage statistique, intelligence artificielle), qui peuvent donner un éclairage théorique nouveau à ce problème. Ces travaux proposent des algorithmes que l'on peut considérer comme autant de propositions théoriques concernant l'apprentissage du langage. Ils sont évalués du point de vue de leur plausibilité aux niveaux socio-linguistique (caractéristique de la parole dirigée vers les enfants), psychologique (architecture cognitive sous-jacente) et biologique (possibilité d'implémentation neuro-mimétique).
Nous discutons les problèmes méthodologiques soulevés par ce type d'étude, en particulier, la question de la fiabilité des données expérimentales et des idéalisations réalisées par rapport aux données linguistiques dans les approches de modélisation. 

Publications

• Avec R. Algayres, T. Ricoul, J. Karadayi, H. Laurençon, S. Zaiem, A. Mohamed, et B. Sagot, « DP-Parse: Finding Word Boundaries from Raw Speech with an Instance Lexicon », TACL, 2022.  
• Avec E. Dunbar et N. Hamilakis, « Self-supervised language learning from raw audio: Lessons from the Zero Resource Speech Challenge », IEEE Journal of Selected Topics in Signal Processing, 2022.
• Avec T.-A. Nguyen et B. Sagot, «  Are discrete units necessary for Spoken Language Modeling? », IEEE Journal of Selected Topics in Signal Processing, 2022.
• Avec R. Riad, M. Lunven, H. Titeux, X-N. Cao, J. Hamet Bagnou, L. Lemoine, J. Montillot, A. Sliwinski, K. Youssov, et L. Cleret de Langavant, « Predicting clinical scores in Huntington’s disease: a lightweight speech test », Journal of Neurology, 2022, 269, p. 5008–5021.
• Avec C. Gallezot, R. Riad, H. Titeux, L. Lemoine, J. Montillot, A. Sliwinski, J. Hamet Bagnou, X-N. Cao, K. Youssov, et A.-C. Bachoud Levi, « Emotion expression through spoken language in Huntington disease », Cortex, 2022, 155, p. 150-161.
• Avec B. Ludusan, « How much does prosody help word segmentation? A simulation study on infant-directed speech », Cognition, 2022, 219, 104961.
• Avec N. Feldman, S. Goldwater, et T. Schatz, « Do Infants Really Learn Phonetic Categories? » Open Mind, 2022, 5, p. 113-131.
• Avec S. Tsuji et A. Cristia, A. & Dupoux, «  SCALa: A blueprint for computational models of language acquisition in social context », Cognition, 2021, 213, 104779.
• Avec B. Ludusan, M. Morii et Y. Minagawa, « The effect of different information sources on prosodic boundary perception », JASA Express Letters, 2021, 1(11), 115203.
• Avec R. Riochet, M. Ynocente Castro, M. Bernard, A. Lerer, R. Fergus et V. Izard, « IntPhys: A Framework and Benchmark for Visual Intuitive Physics Understanding », Transactions on Pattern Analysis and Machine Intelligence, 2021, doi: 10.1109/TPAMI.2021.3083839.
• Avec R. Riad, J. Karadayi et A.-C, Bachoud-Lévi, «  Learning spectro-temporal representations of complex sounds with parameterized neural networks », Journal of the Acoustical Society of America, 2021, 150(1), p. 353-366.
• Avec K. Lakhotia, E. Kharitonov, W.-N. Hsu, Y. Adi, A. Polyak, B. Bolte, T.-A. Nguyen, J. Copet, A. Baevski et A. Mohamed, « Generative Spoken Language Modeling from Raw Audio », Transactions of the Association for Computational Linguistics, 2021.
• Avec R. Chaabouni, E. Kharitonov et M. Baroni, « Communicating artificial neural networks develop efficient color naming systems », Proceedings of the National Academy of Sciences of the United States of America, 2021, 118(12), e2016569118.
• Avec F. Kreuk, A. Polyak, J. Copet, E. Kharitonov, T.-A. Nguyen, M. Rivière, W.-N. Hsu, A. Mohamed et Y. Adi, « Textless Speech Emotion Conversion using Discrete and Decomposed Representations », RAR, 2022.
• Avec M. de Seyssel et G. Wisniewski, « Is the Language Familiarity Effect gradual ? A computational modelling approach », Proceedings for the Annual Meeting of the Cognitive Science Society, 2022, p. 1728-1735.
• Avec E. Kharitonov, J. Copet, K. Lakhotia, T.-A. Nguyen, P. Tomasello, A. Lee, A. Elkahky, W.-N., Hsu, W.-N. Mohamed et Y. Adi, « Textless-lib: a Library for Textless Spoken Language Processing », Proceedings of NAACL: System Demonstrations, 2022, p. 1-9.
• Avec R. Algayres, A Nabli et B.,Sagot, « Speech Sequence Embeddings using Nearest Neighbors Contrastive Learning », INTERSPEECH, 2022, arXiv preprint arXiv:2204.05148.
• Avec M. de Seyssel, M. Lavechin, Y. Adi et G. Wisniewski, « Probing phoneme, language and speaker information in unsupervised speech representations », INTERSPEECH, 2022, https://arxiv.org/abs/2203.16193
• Avec M. de Seyssel, G. Wisniewski et B. Ludusan, «  Investigating the usefulness of i-vectors for automatic language characterization », Proc. Speech Prosody, 2022, p. 460-464.
• Avec M. Rita, F., Strub, J.-B. Grill et O. Pietquin, « On the role of population heterogeneity in emergent communication », Proceedings of ICLR, 2022.
• Avec E. Kharitonov, A. Lee, A. Polyak, Y. Adi, J. Copet, K. Lakhotia, T.-A. Nguyen, M. Rivière, A. Mohamed et W.-N. Hsu, « Text-Free Prosody-Aware Generative Spoken Language Modeling », Proceedings of ACL, 2022.
• Avec C. Wang, M. Rivière, A. Lee, A. Wu, C. Talnikar, D. Haziza, M. Williamson et J.,Pino, « VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation », Proceedings of ACL, 2021, p 993-1003.
• Avec A. Polyak, Y. Adi, J. Copet, E. Kharitonov, K. Lakhotia, W.-N. Hsu et A. Mohamed, « Speech Resynthesis from Discrete Disentangled Self-Supervised Representations », INTERSPEECH-2021, 2021, p 3615-3619.
• Avec  E. Dunbar, M. Bernard, N. Hamilakis, T.-A. Nguyen, M. de Seyssel, P. Rozé, M. Rivière et E. Kharitonov, « The Interspeech Zero Resource Speech Challenge 2021: Spoken language modelling », INTERSPEECH-2021, 2021, p 1574-1578.

Cette UE n'est rattachée à aucune formation de master.

Contacts additionnels

-

Informations pratiques

ce séminaire sera accessible en ligne.

Direction de travaux des étudiants

-

Réception des candidats

-

Pré-requis

-

• Autre lieu Paris
  ENS, 29 rue d'Ulm 75005 Paris
  annuel / hebdomadaire, mardi 15:30-17:00
  du 7 septembre 2021 au 26 juillet 2022

L'une des choses les plus fascinante à observer chez les bébés humains est la vitesse avec laquelle ils apprennent leur langue maternelle. La recherche en sciences cognitive des derniers 30 ans a montré que cet apprentissage démarre pendant la première année de vie, alors que l'enfant ne parle pas encore. En quelques mois, le bébé arrive à déterminer quelles sont les consonnes et les voyelles de sa langue, à découper la parole continue en mots et à comprendre le sens de certains d'entre eux. Cet apprentissage, difficile chez l'adulte qui apprends une langue étrangère, a lieu spontanément, sans effort apparent, alors que le bébé est plongé dans un environnement complexe, et souvent confronté à plusieurs langues à la fois. Particulièrement troublant est le fait que cet apprentissage ne semble pas suivre un ordre hiérarchique (apprendre les sons, puis les mots, puis les phrases), comme le ferait un adulte, mais plutôt, le bébé semble mener les apprentissages de tous ces niveaux linguistiques en parallèle.
Dans le séminaire, nous examinons les travaux récents issus du domaine des sciences de l'ingénieur (traitement du signal, reconnaissance de la parole, apprentissage statistique, intelligence artificielle), qui peuvent donner un éclairage théorique nouveau à ce problème. Ces travaux proposent des algorithmes que l'on peut considérer comme autant de propositions théoriques concernant l'apprentissage du langage. Ils sont évalués du point de vue de leur plausibilité aux niveaux socio-linguistique (caractéristique de la parole dirigée vers les enfants), psychologique (architecture cognitive sous-jacente) et biologique (possibilité d'implémentation neuro-mimétique).
Nous discutons les problèmes méthodologiques soulevés par ce type d'étude, en particulier, la question de la fiabilité des données expérimentales et des idéalisations réalisées par rapport aux données linguistiques dans les approches de modélisation. 

Publications

• Avec R. Algayres, T. Ricoul, J. Karadayi, H. Laurençon, S. Zaiem, A. Mohamed, et B. Sagot, « DP-Parse: Finding Word Boundaries from Raw Speech with an Instance Lexicon », TACL, 2022.  
• Avec E. Dunbar et N. Hamilakis, « Self-supervised language learning from raw audio: Lessons from the Zero Resource Speech Challenge », IEEE Journal of Selected Topics in Signal Processing, 2022.
• Avec T.-A. Nguyen et B. Sagot, «  Are discrete units necessary for Spoken Language Modeling? », IEEE Journal of Selected Topics in Signal Processing, 2022.
• Avec R. Riad, M. Lunven, H. Titeux, X-N. Cao, J. Hamet Bagnou, L. Lemoine, J. Montillot, A. Sliwinski, K. Youssov, et L. Cleret de Langavant, « Predicting clinical scores in Huntington’s disease: a lightweight speech test », Journal of Neurology, 2022, 269, p. 5008–5021.
• Avec C. Gallezot, R. Riad, H. Titeux, L. Lemoine, J. Montillot, A. Sliwinski, J. Hamet Bagnou, X-N. Cao, K. Youssov, et A.-C. Bachoud Levi, « Emotion expression through spoken language in Huntington disease », Cortex, 2022, 155, p. 150-161.
• Avec B. Ludusan, « How much does prosody help word segmentation? A simulation study on infant-directed speech », Cognition, 2022, 219, 104961.
• Avec N. Feldman, S. Goldwater, et T. Schatz, « Do Infants Really Learn Phonetic Categories? » Open Mind, 2022, 5, p. 113-131.
• Avec S. Tsuji et A. Cristia, A. & Dupoux, «  SCALa: A blueprint for computational models of language acquisition in social context », Cognition, 2021, 213, 104779.
• Avec B. Ludusan, M. Morii et Y. Minagawa, « The effect of different information sources on prosodic boundary perception », JASA Express Letters, 2021, 1(11), 115203.
• Avec R. Riochet, M. Ynocente Castro, M. Bernard, A. Lerer, R. Fergus et V. Izard, « IntPhys: A Framework and Benchmark for Visual Intuitive Physics Understanding », Transactions on Pattern Analysis and Machine Intelligence, 2021, doi: 10.1109/TPAMI.2021.3083839.
• Avec R. Riad, J. Karadayi et A.-C, Bachoud-Lévi, «  Learning spectro-temporal representations of complex sounds with parameterized neural networks », Journal of the Acoustical Society of America, 2021, 150(1), p. 353-366.
• Avec K. Lakhotia, E. Kharitonov, W.-N. Hsu, Y. Adi, A. Polyak, B. Bolte, T.-A. Nguyen, J. Copet, A. Baevski et A. Mohamed, « Generative Spoken Language Modeling from Raw Audio », Transactions of the Association for Computational Linguistics, 2021.
• Avec R. Chaabouni, E. Kharitonov et M. Baroni, « Communicating artificial neural networks develop efficient color naming systems », Proceedings of the National Academy of Sciences of the United States of America, 2021, 118(12), e2016569118.
• Avec F. Kreuk, A. Polyak, J. Copet, E. Kharitonov, T.-A. Nguyen, M. Rivière, W.-N. Hsu, A. Mohamed et Y. Adi, « Textless Speech Emotion Conversion using Discrete and Decomposed Representations », RAR, 2022.
• Avec M. de Seyssel et G. Wisniewski, « Is the Language Familiarity Effect gradual ? A computational modelling approach », Proceedings for the Annual Meeting of the Cognitive Science Society, 2022, p. 1728-1735.
• Avec E. Kharitonov, J. Copet, K. Lakhotia, T.-A. Nguyen, P. Tomasello, A. Lee, A. Elkahky, W.-N., Hsu, W.-N. Mohamed et Y. Adi, « Textless-lib: a Library for Textless Spoken Language Processing », Proceedings of NAACL: System Demonstrations, 2022, p. 1-9.
• Avec R. Algayres, A Nabli et B.,Sagot, « Speech Sequence Embeddings using Nearest Neighbors Contrastive Learning », INTERSPEECH, 2022, arXiv preprint arXiv:2204.05148.
• Avec M. de Seyssel, M. Lavechin, Y. Adi et G. Wisniewski, « Probing phoneme, language and speaker information in unsupervised speech representations », INTERSPEECH, 2022, https://arxiv.org/abs/2203.16193
• Avec M. de Seyssel, G. Wisniewski et B. Ludusan, «  Investigating the usefulness of i-vectors for automatic language characterization », Proc. Speech Prosody, 2022, p. 460-464.
• Avec M. Rita, F., Strub, J.-B. Grill et O. Pietquin, « On the role of population heterogeneity in emergent communication », Proceedings of ICLR, 2022.
• Avec E. Kharitonov, A. Lee, A. Polyak, Y. Adi, J. Copet, K. Lakhotia, T.-A. Nguyen, M. Rivière, A. Mohamed et W.-N. Hsu, « Text-Free Prosody-Aware Generative Spoken Language Modeling », Proceedings of ACL, 2022.
• Avec C. Wang, M. Rivière, A. Lee, A. Wu, C. Talnikar, D. Haziza, M. Williamson et J.,Pino, « VoxPopuli: A Large-Scale Multilingual Speech Corpus for Representation Learning, Semi-Supervised Learning and Interpretation », Proceedings of ACL, 2021, p 993-1003.
• Avec A. Polyak, Y. Adi, J. Copet, E. Kharitonov, K. Lakhotia, W.-N. Hsu et A. Mohamed, « Speech Resynthesis from Discrete Disentangled Self-Supervised Representations », INTERSPEECH-2021, 2021, p 3615-3619.
• Avec  E. Dunbar, M. Bernard, N. Hamilakis, T.-A. Nguyen, M. de Seyssel, P. Rozé, M. Rivière et E. Kharitonov, « The Interspeech Zero Resource Speech Challenge 2021: Spoken language modelling », INTERSPEECH-2021, 2021, p 1574-1578.