Apple Intelligence, ChatGPT, iOS 18... Toutes les nouveautés IA de la WWDC d'Apple
Il était temps. Après, Google, Meta (Facebook), et Microsoft, c'est au tour d'Apple de présenter sa stratégie en matière d'intelligence artificielle. La firme de Cupertino tenait ce lundi 10 juin sa conférence annuelle dédiée aux développeurs (WWDC). Une édition 2024 sous le signe de l'IA. Avec quelques mois de retard, la marque à la pomme a dévoilé les prochaines nouveautés basées sur l'IA générative on-device (directement sur ses appareils) et cloud. De l'iPhone en passant par l'iPad jusqu'au Mac, l'ensemble de l'écosystème Apple va voir, dans les prochains mois, sa couche logicielle évoluer avec de nouvelles fonctionnalités intelligentes.
Apple Intelligence, l'intelligence artificielle personnelle
Pour marquer l'arrivée de l'IA générative au sein de son écosystème, Apple se permet une petite boutade et présente Apple Intelligence (diminutif AI comme Artificial Intelligence). Apple Intelligence est le système d'IA sur lequel repose l'ensemble des nouvelles fonctionnalités de gen AI. L'IA d'Apple se base sur une savante orchestration de modèle on-device et dans le cloud. L'intentionnalité de la requête utilisateur est analysée pour l'adresser au meilleur modèle. Le traitement on-device est rendu possible par les puces Apple Silicon avancées (A17 et famille M).
Apple Intelligence s'appuie également sur un index sémantique on-device permettant d'organiser et de faire ressortir les informations pertinentes provenant des différentes apps lorsque l'utilisateur fait une requête. L'index sémantique identifie les données personnelles pertinentes et les transmet aux modèles génératifs pour leur donner le contexte nécessaire pour assister au mieux l'utilisateur, comme c'est le cas classiquement avec un système de RAG. Quand la capacité de calcul on-device est insuffisante, Apple Intelligence peut accéder à des modèles serveurs plus grands via un cloud privé. Les serveurs du cloud privé utilisent des puces Apple Silicon dédiées qui offrent la même sécurité matérielle que l'iPhone.
Siri devient plus intelligent, grâce à Apple Intelligence
Apple Intelligence est majoritairement utilisé via Siri, l'assistant IA d'Apple présent sur l'ensemble des devices. Siri franchit un cap majeur et devient un véritable assistant personnel, capable de comprendre le contexte et de réaliser des actions complexes pour simplifier le quotidien des utilisateurs. Avec une interface repensée, Siri peut désormais interagir de façon plus naturelle, en gardant le fil de la conversation et en s'adaptant au mode de communication préféré de l'utilisateur, que ce soit à l'oral ou à l'écrit (avec le clavier). Il est par exemple possible de l'interroger sur une scène filmée il y a plusieurs mois et grâce à Apple Intelligence, Siri retrouvera la scène exacte dans la photothèque de l'appareil.
Grâce à l'index sémantique on-device, l'IA peut accéder à l'ensemble des informations de l'utilisateur. Le modèle est capable d'organiser et de faire ressortir les informations pertinentes provenant de diverses sources telles que les photos, les événements du calendrier, les fichiers, et même les bribes d'informations mentionnées dans les messages et les emails, comme une réservation d'hôtel ou les billets d'un concert partagés par un ami.
Un copilot pour assister la rédaction et un générateur d'images
Accessibles de façon unifiée dans toutes les apps, de Mail à Notes en passant par Safari, Pages ou même dans des apps tierces, Apple Intelligence permet de réécrire un passage, de corriger l'orthographe, la grammaire et le style, ou encore de résumer un long texte en quelques lignes. En parallèle la fonctionnalité "Compose" permet de de générer des contenus originaux à partir de simples instructions, que ce soit un conte personnalisé pour son enfant ou un email percutant pour un client important. C'est véritablement l'équivalent de Microsoft Copilot au sein de l'écosystème Apple.
Parallèlement à la prise en charge du texte, Apple Intelligence se base sur des modèles diffusion pour créer de nouvelles images. Dans Messages, les Emoji prennent une nouvelle dimension avec les "Gemoji" : il suffit de décrire l'émotion souhaitée pour voir apparaître une illustration parfaitement adaptée, qu'on peut même personnaliser avec son propre visage ou celui de ses amis. Une nouvelle application devrait voir le jour : Image Playground. Cette expérience, intégrée dans les apps native d'Apple, permet de combiner des concepts visuels (un lieu, un objet, un style) pour générer des illustrations originales sans aucun prompt. On peut même partir d'un simple croquis dans Notes pour obtenir une image époustouflante. C'est toute la force d'Apple : intégrer l'intelligence artificielle de façon fluide, sans exiger des compétences techniques, en l'occurrence ici le prompting.
L'IA générative au service de l'intelligence
Apple infuse l'IA dans l'ensemble de sa couche software et les résultats semblent prometteurs. L'IA arrive à rendre l'utilisation d'un device plus intelligente. Fini les interruptions intempestives et la chasse aux informations importantes noyées dans un océan de notifications : le nouvel OS intègre un résumé intelligent des notifications qui permet de saisir l'essentiel d'un coup d'œil, tandis qu'un nouveau mode "Priorité" filtre les alertes pour ne laisser passer que les plus urgentes. L'IA comprend véritablement quels sont les messages les plus urgents, promet Apple. La boîte mail profite elle aussi des capacités d'analyse d'Apple Intelligence avec un classement automatique des messages les plus importants, des résumés de mails directement visibles dans la liste, et des suggestions de réponses contextuelles.
Apple n'oublie pas pour autant les expériences plus classiques et continue d'intégrer des modèles de machine learning on-device pour fluidifier l'expérience utilisateur. Transformation d'une image 2D en 3D avec le Vision Pro, amélioration des dialogues sur l'Apple TV, analyse automatisée des métriques de santé de l'utilisateur... Le ML est encore bel et bien présent dans la couche software.
ChatGPT intégré nativement
Grâce à un partenariat avec OpenAI, Apple offre désormais la possibilité d'accéder à l'expertise de ChatGPT depuis Siri ou depuis les outils d'écriture, et ce gratuitement et sans compte additionnel. Le modèle d'OpenAI (version exacte non précisée) est appelé automatiquement grâce à l'orchestration poussée d'Apple Intelligence. Concrètement, les utilisateurs pourront poser des questions à ChatGPT via Siri en quelques clics, que ce soit pour obtenir des conseils de décoration à partir d'une photo ou pour trouver la parfaite recette à base d'ingrédients de saison. Les abonnés à ChatGPT pourront même connecter leur compte pour accéder aux fonctionnalités payantes directement dans l'interface d'Apple Intelligence. D'autres modèles devraient également être intégrés au fil des prochains mois, tease déjà Apple.
Apple Intelligence sera disponible gratuitement dans les nouvelles versions des systèmes d'exploitation Apple : iOS 18, iPadOS 18 et macOS Sequoia. Cependant, pour profiter pleinement de ces fonctionnalités intelligentes (on-device très certainement), les utilisateurs devront disposer d'un appareil récent, à savoir un iPhone 15 Pro ou un iPad / Mac équipé d'une puce Apple Silicon (M1 ou ultérieure). Les premières préversions d'Apple Intelligence seront proposées dès cet été en anglais (US), avant une sortie en version bêta publique à l'automne avec iOS 18, iPadOS 18 et macOS Sequoia. Certaines fonctionnalités plus avancées et des langues additionnelles seront ajoutées progressivement au fil des mois. Quant à l'intégration de ChatGPT, elle est prévue pour plus tard dans l'année, sans date précise annoncée pour le moment.