La sensibilisation à l'écran de Siri est prévue l'année prochaine, mais vous pouvez déjà l'utiliser

Résumé

• Siri peut extraire des informations de l'écran à l'aide de ChatGPT avec les iPhones pris en charge.
• Vous pouvez utiliser Siri pour obtenir des informations à partir de pages Web, de photos et du flux de caméra en direct.
• Une véritable sensibilisation à l'écran apportera plus de fonctionnalités et d'opérabilité inter-applications, mais la méthode ChatGPT actuelle reste très utile.

La détection à l'écran est une fonctionnalité à venir qui vous permettra de demander à Siri des informations sur ce qui est actuellement affiché sur l'écran de votre iPhone. Cependant, si votre iPhone prend en charge Apple Intelligence, vous pouvez déjà faire exactement cela.

Qu'est-ce que la sensibilisation à l'écran pour Siri ?

Lorsque Apple a présenté ce qui serait présenté dans iOS 18, l'une des mises à niveau annoncées pour Siri était l'ajout d'une sensibilisation à l'écran. Selon Apple, Siri sera capable d'effectuer des actions en fonction des informations actuellement affichées sur l'écran de votre iPhone.

L'exemple donné par Apple était que si un ami vous envoyait un message avec votre nouvelle adresse, vous pouviez dire à Siri « Ajouter cette adresse à sa carte de contact » et Siri serait en mesure d'extraire les informations d'adresse de l'écran et de les ajouter à la carte de contact. contact pertinent.

Ce processus comporte deux parties. L'une d'entre elles est la possibilité pour Siri d'effectuer des actions dans plusieurs applications en prenant le texte des messages et en le transmettant aux contacts. C'est quelque chose qui n'est pas encore possible et qui devrait arriver l'année prochaine dans le cadre d'iOS 18.4.

L'autre partie du processus est que Siri puisse accéder aux informations actuellement affichées sur votre écran. Cette fonctionnalité devrait arriver dans iOS 18.4, mais si votre iPhone prend en charge Apple Intelligence, vous pouvez déjà utiliser Siri pour extraire des informations de ce qui est affiché sur votre écran.

Comment obtenir une notoriété à l'écran avec Siri

Pour obtenir des informations sur votre écran, vous devez utiliser un iPhone prenant en charge Apple Intelligence. En effet, Siri ne peut pas extraire lui-même les informations de votre écran ; il doit se tourner vers ChatGPT pour obtenir de l'aide. Avec la sortie d'iOS 18.2, ChatGPT est désormais intégré à Siri pour les iPhones prenant en charge Apple Intelligence, qui ne concerne actuellement que les modèles iPhone 15 Pro, iPhone 15 Pro Max et iPhone 16.

Si votre iPhone est pris en charge, tout ce que vous avez à faire est d'utiliser quelque chose dans votre demande Siri qui indique que vous souhaitez obtenir des informations à partir de l'écran actuel. Par exemple, vous pouvez dire « Résumer les informations sur cet écran » ou « Décrire ce que vous pouvez voir sur l'écran de mon iPhone ». Si vous avez du mal à le faire fonctionner, ajouter « Ask ChatGPT » au début de votre requête peut vous aider.

Siri devrait alors vous demander si vous souhaitez envoyer une capture d'écran de votre écran à ChatGPT. Appuyez sur "Envoyer" et l'image de votre écran sera analysée par ChatGPT et une réponse à votre demande sera générée.

Le processus est encore plus impressionnant lorsqu’une image s’affiche sur votre écran. Dans ce cas, vous n’avez même pas besoin de vous référer à votre écran. Si votre iPhone affiche l'image d'un animal, par exemple, vous pouvez simplement demander « De quel animal s'agit-il ? et Siri vous demandera si vous souhaitez envoyer une capture d'écran à ChatGPT.

Les requêtes ChatGPT sont traitées dans le cloud, vous devez donc vous méfier de cette méthode si l'écran de votre iPhone affiche des informations sensibles.

Demander à Siri des informations à partir d'une page Web

Utiliser cette astuce peut être très utile, et le meilleur, c'est que ChatGPT peut extraire des informations non seulement du texte d'une page Web visible à l'écran, mais aussi de la page entière, y compris le texte que vous devrez faire défiler vers le haut ou vers le bas. voir.

Si vous avez besoin d'obtenir les informations de contact à partir d'une page Web, par exemple, les informations n'ont pas besoin d'être affichées sur votre écran, tant qu'elles se trouvent quelque part sur la page.

Ouvrez une page Web dont vous souhaitez extraire des informations. Dans cet exemple, je souhaite connaître les heures d'ouverture d'un restaurant. Le service au volant dure 24 heures, mais les heures d'ouverture du restaurant indiquées ci-dessous ne sont pas visibles sans faire défiler vers le bas. Siri pourra extraire ces informations avec l'aide de ChatGPT même si les heures ne s'affichent pas actuellement sur l'écran de l'iPhone.

Activez Siri en appuyant longuement sur le bouton latéral ou en disant « Siri » ou « Hey Siri ». Demandez quelque chose comme « Obtenir les heures d'ouverture de l'entreprise affichées sur mon écran ».

Lorsque Siri vous demande si vous souhaitez envoyer la capture d'écran à ChatGPT, appuyez sur « Capture d'écran » et sélectionnez « Contenu complet ». Cela inclura toutes les informations de la page Web, y compris le contenu qui n'est pas visible à l'écran.

Appuyez sur « Envoyer » et la capture d'écran sera envoyée à ChatGPT. Après quelques instants, votre réponse apparaîtra et Siri la lira à haute voix.

Demander à Siri des informations sur une photo

Vous pouvez également demander à Siri d'utiliser ChatGPT pour analyser les photos affichées sur votre écran. Par exemple, si vous avez pris une photo de pingouins au zoo, vous voudrez peut-être savoir de quel type de pingouin il s'agit. Vous pouvez ouvrir la photo et demander à Siri, et ChatGPT fera le reste.

Ouvrez la photo que vous souhaitez analyser. Dites quelque chose comme « De quelle espèce s'agit-il ? » Siri vous demandera si vous souhaitez envoyer la photo à ChatGPT. Appuyez sur "Envoyer" pour confirmer.

ChatGPT analysera l'image et donnera après un moment une réponse, qui sera lue à haute voix par Siri.

Si vous utilisez cette méthode, votre photo sera envoyée aux serveurs de ChatGPT. Vous devez en tenir compte si vous ne souhaitez pas qu'une photo quitte votre appareil.

Demander à Siri de résumer le texte

Si vous n'avez pas le temps de lire un long mur de texte, vous pouvez utiliser cette méthode pour que Siri le résume pour vous, avec l'aide de ChatGPT. Pour les pages Web, vous pouvez sélectionner l'intégralité du contenu afin d'obtenir un résumé de l'intégralité de la page Web, plutôt que de la seule partie visible, mais cela n'est pas possible avec les fichiers texte. Cependant, il est possible de réduire considérablement la taille de la police avant que ChatGPT ne puisse la lire, ce qui signifie que vous pouvez insérer une grande quantité de texte sur l'écran de votre iPhone.

Ouvrez un document ou une page Web que vous souhaitez résumer. Activez Siri et dites quelque chose comme « Demandez à ChatGPT de résumer ce texte.

Lorsque la fenêtre contextuelle apparaît, si votre texte provient d'une page Web, appuyez sur « Capture d'écran » et sélectionnez « Contenu complet ».

Appuyez sur "Envoyer" et la capture d'écran est envoyée à ChatGPT. Après quelques instants, la réponse devrait apparaître.

Interrogation d'images en direct depuis votre caméra

Si vous possédez un iPhone 16, vous pouvez utiliser le bouton de contrôle de l'appareil photo pour obtenir des informations sur tout ce que vous pouvez voir sur l'écran de votre appareil photo, à l'aide d'une fonctionnalité appelée intelligence visuelle. Cependant, les utilisateurs d’iPhone 15 Pro et d’iPhone 15 Pro Max peuvent vivre une expérience similaire simplement en utilisant l’application Appareil photo pour pointer sur un objet, puis en demandant à Siri des informations à ce sujet.

Si vous ne possédez pas l'un de ces modèles, il existe une autre solution de contournement cela peut vous offrir une expérience similaire à l’intelligence visuelle.

Ouvrez l'application Appareil photo et pointez sur un objet pour qu'il s'affiche dans le viseur. Activez Siri et demandez quelque chose comme « Quel est cet objet ? »

Lorsque la fenêtre contextuelle apparaît, appuyez sur « Envoyer » pour envoyer l'image à ChatGPT pour analyse. Après un moment, ChatGPT répondra et Siri lira la réponse à haute voix.

L'image de votre caméra sera envoyée aux serveurs de ChatGPT, cette méthode n'est donc pas une bonne idée si votre image contient quelque chose de sensible.

Autres façons d'utiliser la sensibilisation à l'écran de Siri

Lorsque la « vraie » prise de conscience à l’écran arrivera dans iOS 18.4, cela devrait rendre le processus encore plus facile. Mais vous pouvez encore faire beaucoup de choses dès maintenant en utilisant cette astuce. Par exemple, vous pouvez afficher une page Web pour un produit et demander des avis ou des suggestions de produits alternatifs. Vous pouvez poser des questions sur un acronyme dans le texte que vous lisez ou obtenir des définitions pour des mots complexes que vous ne savez pas comment prononcer.

Vous pouvez même utiliser cette méthode pour traduire le texte d'une image ou d'une page Web, ou pour demander à ChatGPT de vérifier si l'article que vous lisez est exact.

Ce que Siri ne peut pas faire avant l'arrivée d'une véritable prise de conscience à l'écran

Cette astuce vous offre déjà de nombreuses fonctionnalités de la prochaine fonctionnalité de sensibilisation à l'écran. Cependant, il y a certaines choses que la détection à l'écran pourra faire et que cette méthode ne pourra pas faire.

Par exemple, il n'est pas très simple de copier des informations de votre écran et de les utiliser ailleurs. ChatGPT peut extraire les informations de l'écran, mais vous devez toujours les copier manuellement avant de pouvoir les coller n'importe où. Vous ne pouvez pas non plus interagir avec d'autres applications ; il n'est pas possible de demander d'ajouter une adresse à un contact comme vous pourrez le faire avec une véritable conscience à l'écran. En attendant, cependant, il s’agit d’une fonctionnalité très utile qui peut vous faire gagner beaucoup de temps et d’efforts.

La reconnaissance à l'écran n'est peut-être pas encore là, mais vous pouvez utiliser ChatGPT avec Siri pour obtenir des informations sur tout ce qui est actuellement affiché sur l'écran de votre iPhone. Il existe des moyens très utiles d’utiliser cela jusqu’à ce qu’une véritable prise de conscience à l’écran arrive.