最近発行したホワイトペーパー「 Towards Industry 5.0: How Converged Experiences Empower the Smart, Connected Worker（インダストリー5.0に向けて ー 融合エクスペリエンスによる作業のスマート化、ネット対応）」でも、空間デザインの重要性について触れています。空間デザインというのは、基本的には、洗練されたユーザーエクスペリエンス（UX）やユーザーインターフェース（UI）などによる融合エクスペリエンスのデザインに使用する方法論や技術であり、空間コンピューティングというのは、融合エクスペリエンスを実現する技術です。このトピックを巡って、当社のUXデザイナーであるアリス・マッカチョンとマット・ローズの2人の対談で、融合エクスペリエンスに向けた空間デザインの使用について、ユースケース、課題、この技術が近い将来もたらすインパクトなどを論じます。

融合エクスペリエンス技術によって、今後5年間で日々の生活にどのような革新が起きると考えていますか？

Alice McCutcheon: アリス・マッカチョン：現在は画面がデジタルの世界への入り口であり、平面のディスプレイに制約されています。空間デザインで作成した融合エクスペリエンスが開く新しい世界では、対話的なキャンバスが各所にあり、画面のサイズに縛られることはありません。ハードウェアの制約がなくなり、こうした技術の採用が加速してゆくと想定すると、カスタマイズされた応答性の 高い体験が生活の中のさまざまな場面に取り入れられていくと想像がつきます。

カスタマイズされた作業空間があるバーチャルオフィスでの勤務、同僚との共同作業、自宅での没入感の高いサッカーの試合観戦など、どのような場合でも、その状況で一番重要な情報を確認して、非常に密度の高い体験が得られるようになるでしょう。

Matt Rose: マット・ローズ：そうですね。すでに融合エクスペリエンスの初期の応用事例で、作業や対話的操作、学習の方法の変化が見られます。たとえば、医療分野では、精密手術の分野でARを使用するメリットが外科医師に認められ、患者の側にもカスタマイズされたリハビリプログラムのようなメリットが生まれます。

教育分野では、3Dの学習コンテンツを生徒が操作することで、複雑な学習内容がなじみやすく、理解しやすくなります。こうした内容はまだ初期の段階にあり、テクノロジーが発展して安価になってくると、融合エクスペリエンスはより広く使用されるようになり、役に立つようになっていくはずです。

新しいテクノロジーの中でどのようなものが融合エクスペリエンスの将来に最も大きなインパクトを与えると考えられますか？

アリス・マッカチョン：人工知能（AI）と機械学習（ML）の発展が、体験の応答性の改善の鍵になるでしょう。AIとMLによって利用者の環境とやりとりについてリアルタイムで理解できて、意図や行動を予測することも可能です。これにより、機械学習モデルで利用者の嗜好や欲求、行動を予測し、体験をより魅力的かつ効率的にすることで、高度にカスタマイズされた体験が可能になります。

また、触覚フィードバック技術では、仮想空間での操作に触覚という次元が追加され、さらに実物に近い感覚になります。たとえば手術の事例では、触覚を追加すると、遠隔での手術や医療訓練で、術者が組織の感触、抵抗、微妙な動きを感じることができます。

マット・ローズ：まず思い浮かぶのは、現在開発が進んでいる新世代のXRデバイスです。現在のデバイスよりも軽量で高性能になり、ユーザーエクスペリエンスが改善します。Unityのようなゲームエンジンがさまざまなアプリを実行するインフラストラクチャになります。

また、NeRF（Neural Radiance Fields）のような3Dデータ取得では非常に興味深いことが起こっていて、かなり限られた画像情報から高品質の3Dモデルを生成できるようになっています。さらには、エッジコンピューティングと低遅延のネットワークが、手術のようなリアルタイムアプリケーションには必須だと考えています。そして、私のお気に入りは人間と機械の相互理解（HMU）で、これは感情のセンサーを統合してシステムがリアルタイムでユーザーに適応できるようにするものです。最高のユーザーエクスペリエンスの作成についていえば、こうした新しいテクノロジーがゲームチェンジャーになり得ます。

建設業や製造業における融合エクスペリエンスの可能性で最も期待できるのはどのようなものですか？

アリス・マッカチョン：たとえば、SF映画のような空想を現実にできます。ARエクスペリエンスをどんどん合理化し直感的にしていくと、完全に生活の中に溶け込むようになります。建設業や製造業についていえば、リアルタイムARの統合によって、既存のワークフローの自然な延長として融合エクスペリエンスが現れる可能性があります。たとえば作業者が設計図や3Dモデルを実空間に重ね合わせて見たり、手順に従って構造物を組み立てる作業の記録を残したりすることもできます。さらに、遠隔地にいる専門家が、作業者の視点で見て状況に沿ったアドバイスを出し、リアルタイムでサポートすることもできるでしょう。

マット・ローズ：空間デザインの大事な点で、融合エクスペリエンスの作成について重要なのは、デジタル情報を実環境に重ね合わせる能力です。アリスが言ったように、これによってSF映画を実現できます。この情報は「状況に沿っている」ので、直感的になり、認知負荷が減少して意思決定と効率が改善されるので、産業分野の作業環境には有効です。

また、リアルタイムのセンサーデータとデジタルツインから得られる情報であるため、保守や問題の解析といった作業が大幅に容易になり、特に視覚的表現とデジタルアセットを共有すると、同じ場所にいても世界に散らばっていてもリアルタイムで複数のユーザーが共同作業できます。

融合エクスペリエンス用に没入環境を作成する場合、空間コンピューティングと空間デザインでの最大の課題は何でしょうか？

アリス・マッカチョン：デザイナーにとって最大の課題になるのは、現実世界の環境とシームレスに統合できるインターフェースを作成することだと思います。そのためには、完全な没入感を与えるため、本物の環境によってできるような影や反射、ユーザーの映り込みなどがあるインターフェースを作成します。

ARの遮蔽効果は、デジタルアセットが実環境を反映しているような感覚を生むので、この課題を解決できる可能性があります。いずれにせよ、状況を反映するコンテンツの作成で、利用者に見せつけることも集中を妨げることもないようにするのは、難しい微妙なバランスです。同様に、さまざまなデバイスやプラットフォームで一貫した体験を作成するのは、複雑な作業になります。

さまざまな性能のヘッドセットがあるため、スケーラブルなデザインが必要で、それはデザイナーの仕事です。最後に、XRのIoTとの統合の進展に伴って、特にヘッドセットにはカメラのデータを取得する機能があるため、安全でプライバシーに配慮したインターフェースをデザインし、データが悪用されないという安心感を利用者に与えることが重要になっています。これは単純な作業ではありませんが、メリットを考慮すると必要な作業だと思われます。

マット・ローズ：デザイナーにとっての最大の課題は、3次元で考えるということです。2次元の画面でのデザインに慣れていると、思考法の転換が絶対的に必要です。

アリスが言ったように、ARにもデザインに期待される新しいことがあります。遠くにあるときに物がどう見えるか、操作したときにどんな音がしてどのように反応するか、といったことです。アプリのデザインよりもずっと複雑ですが、楽しい作業でもあります。

直感的な空間インターフェースをデザインするという課題に、特に融合エクスペリエンスに不慣れ人を対象とするなら、どのようにアプローチしますか？

アリス・マッカチョン：既存のものを確認するところから始めるのが良いと思います。現在のアプリケーションには制約がありますが、今あるものを試してみるだけでも、操作性がよいものだけでなく、うまく機能していないものも直接確認できます。たとえば、特に乗り物酔いがきついアプリケーションであるとか、操作が特に理解しにくいゲームなどはないでしょうか。メモをとって、操作性の良し悪しが何によるものかを理解しておけば、体験を自分でデザインするときに頭に置くと役に立ちます。

ゲームにおけるテクノロジーは特に有用だという期待があり、ゲームの世界にすでに存在する手法や技術には、産業分野や民生用に転用できそうなものが多数あります。非常に没入感の高い360度体験であるXRの世界について考えることからも知見が得られるでしょう。空間の奥行きの把握には空間オーディオが有効でしょうし、被写界深度の扱いもデザインプロセスを理解する上で重要です。そして、Gravity Sketchのようなアプリを使ってラフなデザインから始めるのが、アイデアを3Dに落とし込むのに良い方法です。

マット・ローズ：空間インターフェースに慣れていないユーザー向けにデザインするときには、いくつか考慮すべき点があります。本質的には、わかりやすくシンプルにすることから始めれば間違いありません。わかりやすい視覚表現と使い方のヒントを用意すれば、空間内の要素をいつどのように操作すべきかを理解しやすくなります。基本的な機能、情報、操作から始めて、段階的により複雑な機能を紹介していけば、ユーザーは混乱することなく早く習得できます。

融合エクスペリエンスの将来

遠隔手術から産業用や製造業向けのアプリケーションまで、空間コンピューティングと空間デザインで実現する融合エクスペリエンスによって、私たちをとりまく世界との関わり方が変わります。このトピックについては、最新のホワイトペーパーでさらに詳しく解説しています。融合エクスペリエンスや空間デザインについて検討を希望される方は、ぜひお問い合わせください。

専門家