Google Pixel をはじめとする Android スマートフォン搭載の Gemini（ジェミニ）は、モバイルでも便利に利用できる AI アシスタントです¹。

文章や​​画像、​​音声などさまざまな​​情報に​基づいて高度な判断ができ、チャット形式のやり取りで日々のさまざまな疑問や相談に回答。メールの​返信を​考える​とき、旅行の​計画を​立てる​とき、​近くの​飲食店を​探す​ときなど、タスク解決の​サポートや、​アイデアの​ブレインストーミングなどを​通じて、​私たちの​生活を​便利に​してくれます²。

Google Pixel スマホでは、​電源ボタンの​長押しや、​「OK Google」と​話しかけるだけで、​ Gemini を​起動できます。

ただ、​Gemini に​質問や​相談を​する​際に、​文章だけでは​相談内容を​うまく​伝えられない​場合や、​情報を​伝えるのに​時間が​かかることもあるでしょう。

Google Pixel スマホ搭載の​ Gemini なら、​カメラで​目の前の​ものを​撮影したり、​メッセージアプリで​送られてきた​画像を​質問に​追加したり、​ 文書や​表計算ファイルを​添付したりと、​その​場で​手軽に​さまざまな​情報を​入力して​質問できます。

このように​ Gemini は、​文章だけでなく​音声や​画像など、​複数の​形式の​データを​まと​めて​扱う​「マルチモーダル」に​対応しています。​「マルチ」は​「多数の」​「複数の」を​意味する​言葉。​さらに​情報科学の​分野では、​情報の​入力・出力の​形式や​種類を​「モダリティ」と​呼びます。​つまり​マルチモーダル対応の​ Gemini は、​テキスト、​画像、​音声などの​複数の​種類の​情報を、​同時に​処理・理解できる​ AI だと​いう​ことです。

カメラや​マイクを​備えた​スマホなら、​Gemini の​この​マルチモーダルな​性能を​パソコン以上に​スムーズに​活用する​ことが​可能です。​ここからは​音声や​画像を​組み合わせた、​スマホならではの​ Gemini の​便利な​活用術を​紹介します。

例えば、​展示会や​取引先との​打ち合わせなど、​外出先で​配付された​外国語の​紙の​資料。​Google Pixel スマホの​カメラを​向ければ、​その​場でも​翻訳した​文章を​確認できますが、​後で​再度​内容を​確認したい​場合も​あるでしょう。​そんな​ときは、​資料を​ Google Pixel の​カメラで​撮影して​保存して​おきます。​電車での​移動中などの​隙間​時間に、​撮っておいた​写真を​ Gemini に​入力して、​「日本語に​翻訳して、​要点を​まと​めて」と​お願い​すれば、​効率​よく​情報収集できるので​おすすめです。

帰宅後、​夕食に​何を​作るか​悩んだ​ときも、​Gemini の​出番です。​Google Pixel の​カメラで​冷蔵庫の​中を​撮影し、​「この​材料で​作れる​料理を​教えて」と​尋ねれば、​メニューを​提案してくれます。​調理方法を​知りたい​ときは、​さらに​「レシピを​教えて」と​聞けば、​材料の​分量や​調理時間まで​提案してくれます。

部屋が​片付いていない​ときの​急な​来客にも​ Gemini が​頼りに​なります。​部屋の​写真を​撮って​「10 分で​片付けたい。​どこから​手を​つければいい？」と​相談すれば、​限られた​時間で​整理する​ための​ポイントや、​片付けの​手順を​アドバイスしてくれます。

SNS や​ウェブサイトを​チェックしていて、​おいしそうな​ラーメンや、​おしゃれな​カフェの​ドリンクが​目に​留まったら、​メモ代わりに​画面を​スクリーンショットで​保存しておくと​便利です。​画像を​基に、​後から​ Gemini に​いろいろな​質問を​投げかけることができます。​「この​ラーメンを​食べられる​店への​行き方は？」​「この​カフェの​カスタマイズドリンクは、​どう​注文すれば​いい？」などと​聞いてみましょう。​店への​道順や​ドリンクの​注文方法を​ Gemini が​調べてくれます。

スマホ画面に​表示されている​ものに​ついて、​その​場ですぐ​調べるなら、​電源ボタンの​長押しで​ Gemini を​起動して​［画面に​ついて​質問する​］を​タップするか、​スクリーンショットを​撮った​あとに​共有メニューから​ Gemini を​選びましょう。

Gemini は​パソコンの​ブラウザからだけでなく、​モバイルでも​こんなに​活用できます。​カメラや​マイクを​使って​目の前の​情報を​そのまま​伝えられるので、​外出中や​忙しい​ときには​特に​おすすめです。

また、Gemini と音声で会話ができる Gemini Live を利用すれば、まるで友達と話すような自然な会話のラリーで依頼や相談ができます³。

例えば、​オンラインショッピング中に​気に​なる​シャツを​見つけた​ときは、​電源ボタンを​長押し後、​「Live と​画面を​共有」を​タップ。​「この​シャツに​合う​コーディネートを​教えて。​普段は​シンプルな​服が​好みなんだけど」と​話しかければ、​ Gemini Live と​相談しながら​買い物が​できます。​画面共有なら​目に​留まった​服を​次々に​共有できるので、​その​都度​写真を​撮影して​ Gemini  Live に​送信するよりも​便利です。

また Gemini Live では、目の前にあるものをカメラで撮影しながら質問したり、スマホの画面を共有しながら会話を続けたりできるようになりました⁴。この機能については、こちらの記事で詳しく紹介しています。

場所を選ばず、思いついたその場で相談できるのは、スマホで Gemini を活用するメリット。ちょっとした疑問が浮かんだときや、思いついたアイデアを忘れないうちにかたちにしたいとき、誰かに相談したいと感じたときなど、ぜひ Google Pixel スマホで Gemini を使ってみてください。