Interaction naturelle et entièrement multimodale avec le véhicule et son environnement. BMW Group présente BMW Natural Interaction pour la première fois au Mobile World Congress 2019.

Munich/Barcelone. Une fois encore, BMW Group révolutionne la façon dont les conducteurs interagissent avec leur véhicule. A l’occasion du Mobile World Congress 2019, qui se tient à Barcelone du 25 au 28 février 2019, l’entreprise présente BMW Natural Interaction. Ce nouveau système combine la technologie de commande vocale la plus avancée du marché avec un contrôle gestuel étendu et une reconnaissance du regard pour permettre, pour la première fois, un véritable fonctionnement multimodal. Les premières fonctions BMW Natural Interaction seront disponibles dans la BMW iNEXT à partir de 2021.

Tout comme dans un dialogue entre deux personnes, BMW Natural Interaction permet au conducteur d'utiliser en même temps sa voix, ses gestes et son regard dans différentes combinaisons pour interagir avec son véhicule. Le mode de fonctionnement préféré peut être choisi intuitivement, en fonction de la situation et du contexte. Les commandes vocales, les gestes et la direction du regard sont détectés et combinés de manière fiable par le véhicule, permettant l’exécution de l'opération souhaitée. Cette interaction libre et multimodale est rendue possible grâce à la reconnaissance vocale, à une technologie de capteurs optimisée et à une analyse contextuelle des gestes. Grâce à la détection précise des mouvements des mains et des doigts, la direction du geste - en plus du type de geste - est également enregistrée pour la première fois dans un espace d'interaction étendu qui englobe l'ensemble de l'environnement du conducteur. Les instructions orales sont enregistrées et traitées à l'aide de la compréhension du langage naturel. Un algorithme d'apprentissage intelligent, constamment affiné, combine et interprète les informations complexes afin que le véhicule puisse réagir en conséquence. Cela crée une expérience interactive multimodale adaptée aux souhaits du conducteur.

En combinant différents modes, les fonctions du véhicule peuvent être initiées de différentes façons. Le conducteur décide de la manière dont il veut interagir, en fonction de ses préférences personnelles, de ses habitudes ou de la situation actuelle. Ainsi, lorsque le conducteur est engagé dans une conversation, il choisira probablement le contrôle par les gestes et le regard ; lorsque ses yeux sont sur la route, il aura plutôt recours à la parole et aux gestes. Ces modes de contrôle permettent, par exemple, d’ouvrir ou de fermer les vitres ou le toit ouvrant de la voiture, d’ajuster les aérations ou de sélectionner une fonction sur l'écran de contrôle. Si le conducteur veut en savoir davantage sur les fonctions du véhicule, il peut également pointer du doigt les boutons et demander à quoi ils servent.

Grâce à une meilleure reconnaissance des gestes et au haut niveau de connectivité de la voiture, l'espace d'interaction n'est plus confiné à l'intérieur. Pour la première fois, les occupants pourront interagir avec leur environnement direct, comme les bâtiments ou les parkings. Même les questions complexes pourront être traitées rapidement et facilement en pointant du doigt et en émettant une commande vocale : « Quel est ce bâtiment ? », « Depuis combien de temps cette entreprise existe-t-elle ? », « Comment s'appelle ce restaurant ? », « Puis-je me garer ici et combien cela coûte ? ».

« Les clients doivent pouvoir communiquer avec leur véhicule intelligent connecté d'une manière totalement naturelle », explique Christoph Grote, Senior Vice President BMW Group Electronics. « Les gens ne doivent pas avoir à réfléchir au mode de commande à utiliser pour obtenir ce qu'ils veulent. Ils doivent toujours pouvoir décider librement - et la voiture doit toujours les comprendre. BMW Natural Interaction constitue aussi une étape importante pour l'avenir des véhicules autonomes, lorsque les habitacles ne seront plus uniquement orientés vers la position du conducteur et que les occupants auront plus de liberté. »

BMW Natural Interaction : la prochaine étape pour un fonctionnement naturel.

BMW a toujours joué un rôle de pionnier dans le développement de systèmes favorisant une utilisation intuitive. En 2001, BMW Group a été le premier constructeur automobile au monde à introduire un nouveau système de commande pour les véhicules, avec le contrôleur iDrive. La combinaison d'une molette installée sur la console centrale et d'un écran de contrôle multifonctions a remplacé une variété d'interrupteurs, de boutons et de manettes - et est toujours considérée comme une innovation majeure dans l'industrie automobile. Depuis 2015, grâce à l'utilisation d'une caméra 3D, la commande gestuelle BMW permet d'utiliser facilement et sans contact différentes fonctions du véhicule. Avec le lancement du système d'exploitation BMW 7.0 en 2018, la personnalisation des commandes a encore atteint un autre niveau, grâce à des affichages entièrement digitaux, une reconnaissance vocale optimisée et une commande gestuelle aux fonctionnalités étendues. En fonction de ses préférences et de la situation de conduite, le conducteur peut choisir d’utiliser l’iDrive, les touches multifonctions sur le volant, l'écran tactile, la commande vocale ou la commande gestuelle. L'importance de la commande vocale comme forme d'interaction la plus naturelle est encore soulignée par l'assistant personnel intelligent BMW. Cet assistant digital assiste le conducteur dans diverses situations, apprend ses habitudes et usages à chaque commande vocale, facilitant ainsi l'utilisation du véhicule et l'accès par la voix aux fonctions et aux informations. Comme le prochain développement logique, BMW Natural Interaction offre également la possibilité d'utiliser des gestes pour apporter pour la première fois en pointant du doigt des informations directionnelles et locales dans le système.

Technologie de détection optimisée, évaluation précise grâce à l'intelligence artificielle.

Les progrès en matière de reconnaissance et d'évaluation des commandes vocales, des gestes et du regard, nécessaires à l'interaction naturelle entre le conducteur et le véhicule, sont obtenus grâce à l’optimisation des capteurs et des technologies d'analyse. Grâce à un signal lumineux infrarouge, la caméra gestuelle peut désormais capturer les mouvements des mains et des doigts en trois dimensions dans tout l'environnement du conducteur et déterminer un vecteur directionnel précis. Par exemple, pointer un index sur l'écran de contrôle et énoncer une commande suffit pour lancer l'opération souhaitée sans toucher l'écran. La caméra haute définition, intégrée à l’instrumentation derrière le volant, enregistre également la direction de la tête et des yeux du conducteur. La technologie de caméra embarquée évalue les images et les utilise pour calculer les données vectorielles nécessaires, qui sont ensuite traitées dans le véhicule. Pour interpréter les instructions vocales rapidement et de manière fiable en plus des gestes, les informations transmises par le conducteur au véhicule de manière multimodale sont combinées et évaluées à l'aide de l'intelligence artificielle. L'algorithme responsable de l'interprétation des données embarquées est optimisé et affiné en permanence grâce au « machine learning » et à l'évaluation de différents scénarios.

Au-delà du véhicule : l'interaction avec l’environnement grâce à la connectivité.

Grâce à une mise en relation intelligente, le champ d’action de BMW Natural Interaction s'étend au-delà de l'habitacle du véhicule. Par exemple, le conducteur peut pointer du doigt des objets se trouvant dans son champ de vision et énoncer des commandes vocales relatives à ces objets, comme demander des informations sur les horaires d'ouverture ou les évaluations des clients, ou réserver une table dans un restaurant. Grâce à la connectivité étendue du véhicule, aux nombreuses données disponibles sur l’environnement et à l'intelligence artificielle, BMW Natural Interaction transforme le véhicule en un passager bien informé et utile. En intégrant les services digitaux, il sera possible à l'avenir d'élargir la portée de l'interaction. Par exemple, lorsque le conducteur repèrera une place de stationnement, il pourra facilement savoir s'il est autorisé à s'y garer et combien cela coûte, puis réserver et payer directement sans jamais appuyer sur un bouton.

Des bénéfices client qui se concrétisent dans une expérience de réalité mixte.

Dans le cadre d'une installation élaborée de réalité mixte, BMW plonge les visiteurs du Mobile World Congress 2019 dans des scénarios d'application où ils pourront expérimenter concrètement les avantages de BMW Natural Interaction. Un concept d’espace spécialement conçu et des lunettes de réalité virtuelle sont utilisés pour créer une expérience tout à fait réaliste qui met en valeur les nouvelles possibilités offertes par BMW Natural Interaction lors d'un tour virtuel à bord de la BMW Vision iNEXT. Le visiteur découvre la liberté procurée par la commande gestuelle dans une dimension jusqu’alors inconnue, puisque la zone détectée par la caméra gestuelle s'étend sur toute la largeur de l'habitacle à l’avant du véhicule. Dans un premier temps, en mode apprentissage, la détection directionnelle du geste de pointage est visualisée par une impulsion lumineuse dynamique qui suit la direction. Les objets avec lesquels le pilote peut interagir via le pointage sont alors mis en surbrillance. Le caractère naturel de cette interaction se manifeste dans la simple combinaison du geste et du langage. Par exemple, si le conducteur pointe le doigt vers une fenêtre latérale, celle-ci est mise en évidence visuellement par un cadre lumineux et la commande vocale "Ouvrir" ouvre alors la fenêtre choisie. Ces possibilités d'interaction totalement nouvelles avec l'environnement immédiat sont mises en évidence au cours d'un voyage en mode autonome à travers une ville futuriste avec laquelle le conducteur n’est pas familier. Le véhicule se charge de la conduite et le visiteur embarque pour une visite touristique d'un tout autre genre - il suffit de pointer les bâtiments du doigt pour obtenir toutes les informations dont il a besoin sur les événements et expositions qui y sont proposés. Vers la fin du voyage, l'utilisateur réserve des billets pour un cinéma qu’il a croisé sur son itinéraire et visionne la bande-annonce du film directement dans le véhicule. 

Premières fonctions à bord de la BMW iNEXT et perspectives de développement.

BMW Natural Interaction ouvre la voie à la prochaine étape du fonctionnement naturel à bord du véhicule et au-delà. La combinaison libre des commandes vocales, des gestes et du regard crée une interaction multimodale, basée sur la communication interpersonnelle. Les premières fonctions BMW Natural Interaction seront disponibles dans la BMW iNEXT dès 2021.

Le développement de l'interaction conducteur-véhicule permettra de réaliser d'autres progrès en parallèle. À l'avenir, avec l'aide de l'intelligence artificielle, le système continuera d'apprendre et la technologie améliorée des capteurs sera en mesure de prendre en compte les émotions des occupants et de les intégrer de façon significative dans l'interaction. De cette façon, l'interaction entre le conducteur et le véhicule sera encore plus personnalisée et adaptée à la situation. Sur la base de son expérience et en fonction de la situation et de l'humeur du conducteur, l'assistant intelligent sera alors en mesure de décider s'il doit attendre des instructions ou faire des suggestions proactives.

À découvrir également à Barcelone : la BMW Vision iNEXT et la Nouvelle BMW Série 3 Berline équipée de l’assistant personnel intelligent BMW.

Parmi les autres points d’intérêt du stand BMW Group au Mobile World Congress 2019, citons la BMW Vision iNEXT, qui donne un aperçu de l'avenir du plaisir de conduire, et la Nouvelle BMW Série 3 Berline équipée de l'assistant personnel intelligent BMW. En tant que concept-car « Vision », la BMW Vision iNEXT présente de toutes nouvelles façons d’appréhender la conduite. Avec la taille et les proportions d'un SAV (Sports Activity Vehicle) moderne, elle combine un design innovant aux dimensions Conduite Automatisée, Connectivité, Electrification et Services (D + ACES) définis dans la stratégie Number ONE>NEXT de BMW Group, en répondant à la question : « A quoi ressembleront les voitures quand elles n'auront plus à être conduites par une personne, mais pourront toutefois toujours l’être ? ». Parmi les caractéristiques uniques de l'habitacle de la BMW Vision iNEXT se trouve le principe de design appelé "Shy Tech", selon lequel les commandes sont discrètement intégrées aux surfaces intérieures et ne deviennent visibles que lorsque les occupants veulent les utiliser. A l'avenir, il sera possible d'utiliser les fonctions via des surfaces en bois ou en tissu. Les matériaux sont réveillés d'un simple effleurement - par exemple, pour contrôler la lecture de la musique.

Avec plus de 15 millions de véhicules vendus, la BMW Série 3 Berline est le modèle Premium le plus vendu au monde et le cœur de la marque BMW. Depuis plus de 40 ans, la BMW Série 3 Berline incarne le plaisir de conduire sportif sur le segment des berlines de taille moyenne. Avec son design dynamique, son comportement agile, son efficience exemplaire et ses fonctions innovantes dans les domaines de l'assistance au conducteur, de l’ergonomie et de la connectivité, elle incarne sous forme concentrée les caractéristiques typiques de la marque BMW.

A bord de la Nouvelle BMW Série 3 Berline, les visiteurs du Mobile World Congress 2019 pourront découvrir l'assistant personnel intelligent BMW, disponible à partir de mars 2019 sur les nouveaux modèles de la marque. L'assistant personnel intelligent est familier avec toutes les fonctions du véhicule et peut les utiliser selon les besoins. Il apprend également les habitudes et usages afin de pouvoir les appliquer ensuite dans le contexte approprié. Unique parmi les assistants digitaux, on peut également lui donner un nom. Il obéit non seulement aux instructions données par le conducteur, mais il est aussi toujours à portée de main même si ce n'est que pour une conversation décontractée. À chaque commande vocale, question ou réglage, l'assistant personnel intelligent BMW s'améliore et apprend continuellement les préférences de réglage.

BMW i Ventures présente un éventail de sociétés spécialisées dans les domaines de la micro-mobilité, de l'intelligence artificielle, de la cartographie et de la sécurité d'entreprise.

BMW i Ventures est la branche de capital-risque de BMW Group, qui investit dans des solutions de pointe axées sur les activités actuelles et futures de l'entreprise dans les domaines de la technologie, des services et de l'écosystème client. BMW i Ventures opère à partir de ses bureaux à Mountain View, San Francisco et Munich. Les quatre sociétés du portefeuille de BMW i Ventures présenteront leurs activités sur le stand BMW au Mobile World Congress 2019 les 26 et 27 février.

Lime assure une micro-mobilité sans émission dans les zones urbaines. Les options comprennent le partage de vélos, de vélos électriques et de scooters électriques dans plus de 100 marchés dans le monde, dont 15 pays en Europe. Contact : emeline.chicha@li.me

Le Graphcore Intelligence Processing Unit (IPU) est spécialement conçu pour l'intelligence machine. Les UPI permettent aux chercheurs en intelligence artificielle d'entreprendre des travaux tout à fait nouveaux, impossibles avec les technologies actuelles, pour réaliser les prochaines grandes percées dans le domaine de l'intelligence artificielle. Contact : press@graphcore.ai

Mapillary est une plate-forme d'imagerie au niveau de la rue qui utilise des algorithmes de vision par ordinateur pour évaluer les scènes de rue. Il en résulte des cartes mises à jour enrichies d'informations numériques qui peuvent être utilisées pour des systèmes autonomes. Contact : sandy@mapillary.com

Vera permet aux entreprises de sécuriser et de suivre facilement les informations digitales sur toutes les plates-formes et tous les périphériques. Contact : Vera@w2comm.com

Vous trouverez BMW Group au Mobile World Congress dans le Hall 5, stand 5A40.