在我的辦公室裡,有一些架子,用來存放我的魔術。它們旁邊是全景窗戶,可以俯瞰巴黎——但事實並非如此。它們是混合實境疊加層,當我佩戴時它們會歡迎我 蘋果的Vision Pro 耳機,映射到我真實的視窗。牆上掛著一個虛擬時鐘。
貨架是真的。巴黎的窗戶和掛鐘不是。但 Siri(我將其視為面前的發光球體)看到了這一切。當我問眼前是什麼時,Siri 的文字方塊會描述這一切。
我戴著 Vision Pro 並試用的最初時刻 AI Siri 能洞悉一切 在其開發者預覽版中 VisionOS 27 這很神奇,但又很熟悉。我內心也有過這樣的時刻 三星 Galaxy XR 手機已經具有 Gemini Live 功能,可識別您的房間以及開啟的虛擬應用程式和視窗。我也有 他戴著很多智慧眼鏡 我要求一個能夠感知相機的人工智慧來告訴我我行走時的世界。
正如我所料蘋果有一個 新的增強 Siri 今年秋天,它將登陸一系列設備,從手錶到 iPhone 和 iPad,並且正在將其視覺智慧功能擴展到 iPhone 之外。然而,Vision Pro 的 Siri 是最令人興奮的,也許也是最雄心勃勃的。它可以按照命令看到您視野中的一切,就像一個感官伴侶。
在這個非常早期的預覽版本中,並非一切都是完美的,幾天前在 蘋果全球開發者大會但它已經運作良好,足以展示接下來會發生什麼。是的,現在完全有可能實現這樣的眼鏡。同時,Vision Pro的輔助功能也將變得相當有趣。
Siri 知道我的架子、我的虛擬巴黎櫥窗和我的虛擬時鐘。
Siri 的發光球體從一開始就可以看到
相比之下 視覺智能 iOS 和 iPadOS 上的功能透過相機應用程式啟動,Vision Pro 的 Siri 可以在您只需說「嘿,Siri」並提出問題時看到東西。
Siri 看起來像 3D 發光球體,像幽靈一樣出現在我的房間。您可以將其拖放到任何地方,但使用 VisionOS 空間圖形引擎在我的桌子上或房間裡看到發光的大理石燈光效果真是太好了。
我可以說:「嘿 Siri,我面前是什麼?」並啟動了光學智能,發出新的鳴叫聲,然後使用眼動追蹤在我的眼睛所注視的區域周圍進行快速光學掃描。她撒下了一張大網:她看到了我面前的書架以及我放在那裡的所有小玩偶和玩具。他給我讀了一些書名,像是《漩渦》和《神奇之書》。
相機拍攝我面前的靜態影像(無論是真實的還是虛擬的)後,人工智慧就會發出回饋。它類似於 Meta 眼鏡或三星 Galaxy XR 中其他基於相機的 AI 的快速響應速度。
但它沒有像這些眼鏡和耳機那樣的即時模式。這是每個請求一次的事件。
Siri 辨識出了我的整個架子。 Siri 的球體也會在現實世界的物體附近發光,並且可以捏和拖曳。
真實與虛擬的識別
在我的辦公室裡,Siri 找到了一個紅色的 VR 頭戴裝置(虛擬男孩)和一個 蒸氣甲板都是真的。之後,我嘗試查看巴黎窗戶、我的掛鐘和充滿魔力的圖書館的虛擬小部件,它也識別了它們。
在這個早期測試版中,Siri 傾向於在特定視圖上停留一段時間並分析該捕獲,除非我關閉 Siri 或移動球體再次嘗試。或者更確切地說,我只是習慣了。
但我已經在想如何利用這種視覺意識來快速處理任務。我讓 Siri 總結一個關於我最近的戲劇的 Notes 應用程序,我只是通過詢問就拉出了它(它總結了要點),我還向她詢問了我通過虛擬顯示器在 MacBook 上打開的瀏覽器窗口。 (它現在告訴我,當我透過 Mac 在 Vision Pro 中處理這個故事時,我打開了一個 Google 文件窗口,我在其中寫道 Siri 可以識別真實和虛擬物件。)
只是好奇 Siri 對我的 Virtual Boy 和 Steam Deck 有何看法。
將自己的照片變成全景 3D 背景
我還嘗試了 VisionOS 27 中新的全景照片轉換效果,它可以將圖庫中的任何全景照片轉換為 3D 環繞背景,供您在工作時使用。
結果並不像 Apple 的沉浸式環境那樣完全 3D,而且它們不會移動或具有環境音效。它們看起來更像是非常大的超包裹 3D 窗口,我的一些桌面在邊緣仍然可見。
它看起來很棒,儘管並非我所有的全景圖都已轉換(現在還為時過早,我確信它會被修復)。疫情期間我去探望媽媽時,我在她的後院拍了一張照片,現在她可以跟我打招呼了,就像我快到了一樣。如果 Vision Pro 像我在 Meta Quest 中那樣從多張照片中添加完全身臨其境的鏡頭,我會很高興。
我不禁想到蘋果預期的智慧眼鏡將如何使用 Siri 來實現輔助目的。但我正在追趕。現在,您需要 3,499 美元的 Vision Pro 來實現這一目標。但當蘋果推出像這樣的 AR 眼鏡時 Google 和 Xreal 的 Project Aura 它們更小、更便宜嗎?其他應用程式何時可以連接到 Siri 上下文?接下來會發生什麼將會令人興奮。我覺得我正在展望未來的事。










