連結虛擬與現實之間的互動魔術師 — 專訪 Microsoft HoloLens 首席設計師唐聖凱

Jeffrey Hung

2021/4/21

採訪：Jeffrey Hung, Greg Wang

撰稿：Jeffrey Hung

2012 年，Google 創辦人Sergey Brin 戴著 Project Glass 原型產品於慈善晚會中亮相，宣告了穿戴式眼鏡裝置正式走入大眾的視野。

隨後，2015 年，Microsoft 發表了歷經 5 年開發，具有混合實境（Mixed Reality）特點的產品 HoloLens ，並且在同年於美國舉辦的全球最大電子遊戲年度展覽「E3 電子娛樂展」上，演示了使用 HoloLens 玩 Minecraft 的驚人場景。

這套結合虛擬與現實的技術與產品，似乎向我們說明著電影小說中的科幻情節，已經實際來到我們面前；當我們感嘆著電影《鋼鐵人》中高科技的「全息影像介面（Holographic Interface）」，搭配一個看似「只是一個非常智能的系統（Just A Rather Very Intelligent System）」賈維斯，來進行那些玄乎的操作時，HoloLens 好像在告訴我們：那個未來已經來到。

Credit: PERCEPTION

在虛擬空間中能直覺式互動 - MR 最核心的設計原則

混合實境（Mixed Reality, MR）所帶來的應用與想像空間無疑是令人振奮的。MR 對於使用者來說，就好像在我們日常生活中創造出了一個新的認知維度；一個不顯現於現實，卻又真實存在的維度。

在 HoloLens 2 的設計中有一個非常重要的概念，叫做「Instinctual Interaction（本能互動/直覺式互動）」。

這個概念形成的目的，是聖凱與設計團隊為了讓開發者或設計師們，在使用HoloLens 2開發 MR 相關應用時，能更好地掌握開發與設計原則，來確保使用者本能地就可以上手空間互動的相關操作。而這個概念根源於設計大師 Don Norman 基於實體產品所提出的可示性（Affordnace）設計理念，並將其更進一步的延伸，並應用在全息介面與內容（Holographic UIs and content）的設計上。

「使用者可以直接的透過雙手的動作與手勢，對於全息影像直接做觸碰（Touch）、按壓（Press）、拖放（Drag & Drop）與抓取（Grab）等直覺的操控。而這樣的直覺性，取決於設計出符合人們認知的全息介面，藉由全息介面的可示性，來引導使用者操控的意圖（Intent）與手勢（Gesture）。換句話說，按壓一個全息按鈕應該要如按壓一個實體按鈕般的簡單；而抓取一個全息蘋果，要跟抓取一個實體蘋果一樣的直覺。」聖凱很興奮的說著。

Photo Credit：Microsoft HoloLens

這個概念的洗鍊與誕生，我們也能從聖凱過往的經歷看出一二。

探索、思考、轉化

建築系出身，美國卡內基美隆大學設計運算實驗室（CMU COmputational DEsign Lab）接觸人機互動（Human Computer Interaction），而後又在麻省理工學院媒體實驗室（MIT Media Lab）做可觸媒體（Tangible Media）的研究，師承人機互動領域鼎鼎大名的石井裕教授（Prof. Hiroshi Ishii）。

聖凱對設計與互動領域的探討很早就已經開始。

2010 台北國際花卉博覽會中，聖凱與華碩設計中心團隊一同設計並展出《花械花開 Florabot》這個模擬群聚智慧的仿生作品。

「當有 Florabot 偵測到遊客，根據遊客的接近程度，Florabot 頭部中的三色 LED 會更改顏色，並且頭部的拉伸結構會更改其形體。此外，Florabot 通過訊號收發器，將遊客的存在傳播到鄰近的 Florabot，鄰近的 Florabot 進一步對接收到的信息作出反應，並將其傳播到其餘 Florabot，從而引起連鎖反應。」聖凱說。

2011 年台灣設計師週，聖凱特別向公司告假，與 Adaptive Artifact 的夥伴一同展出了《Tangible Pixels》這個基於可適性人造物（Adaptive Artifact）概念的作品。

「可適性人造物的概念是系統自己主動的去觀察使用者的意圖，並改變自己去滿足使用者。」聖凱告訴我們。「例如我需要一把椅子來坐下休息，以前是我主動在環境中尋找椅子，我的大腦就是辨識系統，透過眼睛在混亂場景中，找到一把可坐的椅子，並且走過去坐下。

有了可適性人造物，今天人不用主動去尋找，也不用移動到椅子的位置，只要直覺地做出坐下的動作，椅子自己就會跑過來，或是空間就會從地板長出一張椅子。當人一站起來，坐的需求消失，椅子也會自動歸位，或是降下成為地板的一部分。」

可適性人造物跟 MR 之間有何關聯？聖凱接著說：

「若以 MR 穿戴式裝置為例，就是無時無刻無論走到哪，裝置隨時根據偵測而得的環境資訊與使用者的行為，來學習並預測使用者的意圖與需求，並產生即時的視覺與聽覺回饋，來滿足使用者。

例如我在晚上七點晚餐過後坐在客廳，系統根據我過去的行為，知道我接下來可能會看電視，當我四處張望的同時，系統知道我可能在尋找一把電視遙控器。此時，系統透過電腦視覺在客廳中主動幫我找到這把遙控器，並且透過全息影像記號或是立體鈴聲，將其位置標註出來，導引我方便取得。」

設計媒材、人機互動與工匠精神

從實體的建築到虛擬空間的互動設計，聖凱可以說是橫跨了光譜中兩個極端的設計標的。而這樣的一位設計師，對於設計的操作，也有著自己的理解。

「早期設計領域尚未形成之前，各個行業的匠師同時扮演設計師與生產者的角色，他們得從頭到尾地把產品設計並且製作做出來；到了工業設計時期，為了大量生產的目的，需要有系統地把設計跟製造切開，因此有了設計師這項專業。設計師開始只負責設計產品，並把製造交給機器端來執行。雖有這樣的分工，設計師仍要透過操作實體模型來發展與驗證設計；至今發展至到數位時期，由於電腦的運算能力，數位媒材開始能夠高度模擬真實世界，設計師因此開始用數位媒材來取代實體材料。」

這麼說來，因為科技演進，人機互動的發展是否導致設計的本質也跟著開始改變？我們這麼問聖凱。

「早期設計人造物的時候，會比較重視于設計師跟人造物之間的創造性（Creation）的關係，也就是比較著重在設計意念的詮釋與表達。比如說椅子除了可以坐得舒服外，如何賦予獨特的風格與理念；抑或是建築除了可以居住外，如何反映人文思維與歷史涵構。使用者會在使用的過程中去感受與探索（Exploration）設計的意念。」

Photo Credit: 唐聖凱

「人機互動領域的目的也是在設計人造物，但著重在使用者與人造物之間一來一往的互動關係。設計師會屏除自身主觀的意念，藉由觀察（Observation）與詮釋（Interpretation）來銜接使用者與人造物，人造物本身不再只是反映設計師的主觀意念，而是體現使用者們的集體心智模型。」

Photo Credit: 唐聖凱

「簡言之，早期設計師著重在把自己的意念，藉由人造物設計來讓使用者去使用去感受去發現。近年來，設計師更專注在設計出能高度切合使用者使用意念的人造物。設計師的意念仍然很重要，但設計師必須放更多的關注在使用者身上，畢竟人造物是要被使用的。」

但設計真的變了嗎？聖凱卻不這麼認為。

「設計不在乎你學得是視覺設計、建築設計、工業設計；設計重的是工匠精神，想到什麼就要去設計出來。無論設計領域怎麼分類，不管設計的重心如何的轉移，設計訓練基本上就是一個通則的思考訓練。設計師在做的事情是觀察現象、找到問題、產生想法，並透過在材料上的操作，實踐想法並製造出人造物，這個人造物最後必須來服務使用者。

而工匠精神就是透過反覆的實作來不斷的驗證設計，過去操作的是實體材料，現在則是螢幕裡的像素，未來即將發生的，則是具高度真實感的全息影像。對我而言，設計從以前到現在都是一樣的；有趣的是慢慢隨着對人造物定義不一樣、操作的媒材不同，因而產生了更多新想法與可能性。」

當虛擬能力跨入現實生活

聖凱做為 Microsoft HoloLens and Windows Mixed Reality 部門首席設計師，趁這個機會，我們也興致勃勃地請聖凱好好地跟我們介紹一下 HoloLens 這款產品，以及它如何運作。

「HoloLens 是一個空間運算裝置與平台；HoloLens 的使用情境是擴增實境（AR），或者（更準確地）說：MR。」聖凱神采奕奕地解釋著。

空間運算（Spatial Computing）

空間運算是實現 MR 一項很重要的能力。根據 Simon Greenwold 對於這個概念的描述，空間運算指的是人可以透過機器的運算能力，使機器得以引用現實空間座標以及環境中的真實物件，並加以操作虛擬化的物件。

“Spatial computing is human interaction with a machine in which the machine retains and manipulates referents to real objects and spaces. It is an essential component for making our machines fuller partners in our work and play.” — Simon Greenwold

「舉例來說，HoloLens 配備有深度攝影機，這些攝影機隨時隨地的在掃描使用者所在的實體空間，我們稱之為空間重建（Spatial Reconstruction）。在進行空間重建後，空間運算可以使系統開始理解實體空間的環境資訊；從複雜的網面中，系統會開始分辨地面（Ground）、牆面（Wall）、人（Human）以及各式各樣的物件（Object）。」聖凱停了一下。

「有了這些數位三維資訊，系統就可以開始牢牢的無縫的將全息影像置放在實體空間中。因此，所有衍生而出來的互動行為，就不會再是侷限於二維平面上，被隔絕在二維顯示器中。整個實體的三維世界，都是使用者的數位畫布，並讓使用者可以跟實體空間中的全息影像直接互動。」聖凱指著空間比劃著。

空間重建 Credit：IGN

沈浸式場景與環境式互動：MR 體驗的未來

同樣都可以進行空間運算，HoloLens 和 VIVE、Oculus 仍然有所不同。但究竟是哪裏不同呢？

面對這個我猜被問過不下千遍萬遍的問題，這題的答案對聖凱只是信手拈來。「對比於 HoloLens 的光學透視（Optical See-through）；VIVE 以及 Oculus 需要依賴影像透視（Video See-through）來實現 MR。」

● 光學透視：眼晴直接透過鏡片看到三維的空間中虛擬的圖像

● 影像透視：利用攝影機鏡頭呈現「影像疊加」的效果，在影片上可以看見現實場景以及增加的資訊

「光學透視和影像透視都能達到 MR 的效果，這兩者的差別是感受的問題；真實看到環境與透過一個螢幕來看到，在透視的感受上不同。」聖凱簡單的說。

若說到 VIVE 或 Oculus ，聖凱認為沈浸式的場景創造是它們的優勢。

「影像透視的缺點為需要透過兩片螢幕來呈現真實世界，影像並非由眼睛的視點去擷取，因此容易失真；然而它的優點為沈浸式，它的廣角、大視野以及全渲染的特性，有利於遊戲類的應用，或其他需要沈浸式的內容。例如旅遊，使用者只要按個按鈕，就下一秒可以現身羅馬，漫步在凱旋門下；抑或是移動到美國大峽谷，去身歷其境感受地貌的壯觀；更神奇的是，不用搭乘太空梭，就可以將自己傳輸到火星表面，隨著探測車探索著未知的世界」聖凱閉著眼睛想像。

VR 沈浸式遊戲 Credit：VIVE

「反觀光學透視，它是藉由光導波的技術，將全息影像直接投射在視網膜上，眼睛不會被兩片實體螢幕所遮蔽。因此，它可以將全息影像跟真實環境完全的結合，環境資訊即使很微弱都可以被看到；而它的缺點就是全息影像多少會被環境中的活動所干擾。因此，光學透視的MR裝置，其應用通常為開放的環境式的互動（Contextual Interaction）。

如導航，使用者只要帶著眼鏡，就可以邊走路與身旁的友人邊聊天，但同時也能看到全息影像的導航資訊，甚至在數公里遠的目標，藉由X光的渲染特效，也不會被實體建築物所遮擋。」聖凱張開眼睛若有似無的看著前方。

光學透視達到之AR 或 MR 應用場景 Credit：Microsoft Sweden

「試想未來技術更加的突破，或許不再需要配戴眼鏡，而是改由更小的隱形眼睛取代。閉上眼睛在沒有真實背景的狀態下，就是沉浸的體驗；打開眼睛真實世界立即映入眼簾，此時就是環境式的互動。開眼閉眼讓人遊走在虛擬沉浸跟真實融合之間。」聖凱手指指著不斷開合著的眼睛。

師承大師，風範猶自顯現

有時候細節就是在那麼不經意的一瞬間。時間採訪的那天，我們請聖凱分享他的作品《Tangible Pixels》中關於 tangible 的概念，聖凱很謙遜地說他看到我們本次大會還有邀請他的老師石井裕教授，若由石井裕教授來介紹會講得更好。

當然我們不認為聖凱說得不精采，事實上正相反。但我們仍舊很感佩他的禮讓。或許下一代的大師，也悄悄地在我們面前綻放屬於自己的光芒。

回到文章開頭我們熟悉的 2015 年 E3 電子娛樂展。

在悄悄的埋鍋造飯四年之後，Microsoft 又在巴塞隆納舉行的「2019年世界行動通訊大會」上，展示著硬體外觀上更輕巧舒適的 HoloLens 2，以及透過雙手就可以直接觸碰與操控全息影像的軟體系統。Microsoft 好像試圖要告訴我們，穿戴式 MR 裝置已經邁向主流、是不可逆的趨勢，Microsoft 不只不會缺席，而且要持續引領潮流。