Quelle transcription multimodale adopter pour rendre l’interaction avec un robot ? : Le cas de l’apprentissage de l’anglais à l’aide du robot NAO Elias
Vahter-Kojo, Minna (2020-02-04)
Quelle transcription multimodale adopter pour rendre l’interaction avec un robot ? : Le cas de l’apprentissage de l’anglais à l’aide du robot NAO Elias
(04.02.2020)
Julkaisu on tekijänoikeussäännösten alainen. Teosta voi lukea ja tulostaa henkilökohtaista käyttöä varten. Käyttö kaupallisiin tarkoituksiin on kielletty.
suljettu
Julkaisun pysyvä osoite on:
https://urn.fi/URN:NBN:fi-fe202003117959
https://urn.fi/URN:NBN:fi-fe202003117959
Tiivistelmä
Ce mémoire se concentre sur les transcriptions multimodales dans le contexte d’enseignement d’anglais à l’aide du robot. Pour commencer, nous avons regardé les vidéos et choisi six séquences courtes parmi ceux du projet RoboLang pour nos transcriptions, sur la base de l’occurrence des sourires et des mouvements de main. La tâche des élèves était d’apprendre des mots et des phrases en anglais à l’aide du robot et ils l’ont répété après le robot. Après, deux captures d’écran ont été effectués à l’aide de l’application Premiere Pro et nous avons transcrit les quatre séquences de vidéo selon les conventions de Mondada (2008) et Norris (2004).
Nous nous sommes intéressés à voir comment les conventions rendent visibles un sourire et un mouvement de la main qui sont souvent utilisés en tant qu’indices visuels dans le discours et dans ce contexte surtout, entre le robot et les élèves. Nous nous sommes également intéressés à voir quelles sont les différences entre les systèmes de transcription de Mondada et Norris et le but de cette étude est de tester l’aptitude de ces conventions.
Notre cadre théorique concerne de l’analyse multimodale du discours et l’enseignement de la communication orale est considéré comme une action institutionnelle multimodale. Les transcriptions sont une façon d’analyser l’interaction qui est toujours multimodal et qui consiste par exemple, les paroles, les gestes, les expressions et le corps. L’enseignement numérique et oral et en plus, RALL (Robot assisted language learning) sont traités dans notre étude. Dans cette étude, le type de robot est NAO et il est constitué du robot interactif et de l’application Elias par une entreprise finlandaise : Utelias Technologies Oy, pour l’enseignement oral des langues. Le robot parle plus de 20 langues et il a sa propre intelligence artificielle.
Dans l’interaction multimodale de cette étude, les gestes iconiques, emblèmes et déictiques ont été utilisés dans les quatre séquences. En ce qui concerne la compréhension des gestes, il est plus facile de les distinguer dans les images isolées au milieu du texte comme c’est le cas dans la transcription de Mondada. En plus, ll est ressorti de l’analyse que le sourire et le mouvement de la main sont visibles dans les deux transcriptions et que les différences entre les transcriptions multimodales de Mondada et Norris se trouvent surtout au niveau de la présentation. La combinaison de ces transcriptions nous apparaît le plus lisible et clair.
Nous nous sommes intéressés à voir comment les conventions rendent visibles un sourire et un mouvement de la main qui sont souvent utilisés en tant qu’indices visuels dans le discours et dans ce contexte surtout, entre le robot et les élèves. Nous nous sommes également intéressés à voir quelles sont les différences entre les systèmes de transcription de Mondada et Norris et le but de cette étude est de tester l’aptitude de ces conventions.
Notre cadre théorique concerne de l’analyse multimodale du discours et l’enseignement de la communication orale est considéré comme une action institutionnelle multimodale. Les transcriptions sont une façon d’analyser l’interaction qui est toujours multimodal et qui consiste par exemple, les paroles, les gestes, les expressions et le corps. L’enseignement numérique et oral et en plus, RALL (Robot assisted language learning) sont traités dans notre étude. Dans cette étude, le type de robot est NAO et il est constitué du robot interactif et de l’application Elias par une entreprise finlandaise : Utelias Technologies Oy, pour l’enseignement oral des langues. Le robot parle plus de 20 langues et il a sa propre intelligence artificielle.
Dans l’interaction multimodale de cette étude, les gestes iconiques, emblèmes et déictiques ont été utilisés dans les quatre séquences. En ce qui concerne la compréhension des gestes, il est plus facile de les distinguer dans les images isolées au milieu du texte comme c’est le cas dans la transcription de Mondada. En plus, ll est ressorti de l’analyse que le sourire et le mouvement de la main sont visibles dans les deux transcriptions et que les différences entre les transcriptions multimodales de Mondada et Norris se trouvent surtout au niveau de la présentation. La combinaison de ces transcriptions nous apparaît le plus lisible et clair.