From Transformer to Brain-Computer Interface, Apple's press conference reveals much more than just MR.

被吐槽價格太貴，實用性差，帶着外接電池…但見智研究看來，蘋果昨晚的發佈會，超越預期。

蘋果一直以來引以為傲的並不是炫技，而是把所有黑科技運用於應用，為用户創造最好的交互體驗，這一次在蘋果的 MR 設備 Vision Pro 上，蘋果再次做到了。

無需手柄的空中直接操控，設備間的無縫投屏切換，流暢的 UI 操控實時反饋，3D 攝像機等等，這一切看似簡單的交互組合在一起就不再是簡單，而是真正的軟硬結合的實力。

沒有炫技，卻看到了蘋果把黑科技應用落地

蘋果 WWDC23 大會，沒有主打炫技術，但處處都是黑科技。腦機接口、Transformer AI 模型等應用在了產品的交互體驗中。

其中給見智研究印象最深的要數兩隻手在空中操控而 Vision Pro 得到的及時反饋。有過無線設備使用經驗的朋友一定會對延遲這件事深惡痛絕，但是從蘋果的宣傳中可以看到，這些操作幾乎是完全實時進行。

市場都在認為，這是蘋果在 Vision Pro 前安裝的多顆攝像頭的功勞。

但見智研究從今早蘋果的一位神經功能開發者的推特中獲得了答案，遠不止攝像頭這麼簡單！

根據蘋果神經技術設計師 Sterling Crispin 所述：

這種全新的腦機接口方式已經成為專利技術，對瞳孔變化進行監測，能夠被用來預測之後的行為，並且該技術已經被驗證是有效的，通過這種監測瞳孔的方式來實時進行 UI 創建，這是一種非常酷的體驗。

用户在混合現實或虛擬現實體驗中，AI 模型試圖預測用户是否感到好奇、思維遊離、害怕、注意、回憶過去的經歷，或其他一些認知狀態。

這些可以通過眼球追蹤、大腦中的腦電活動、心臟跳動和節律、肌肉活動、血液密度、血壓、皮膚傳導等測量來推斷，使預判行為成為可能。

與此同時，Sterling Crispin 還提到 Vision Pro 採用了機器學習監測身體和大腦的信號，來預測人類的情緒，從而創建更適合的虛擬環境來增強用户體驗。

由此可見，Vision Pro 的這種腦機預測行為方式，突破了以往交互延遲慢的問題，配合攝像頭，讓 UI 延遲大幅降低，體驗的流暢度達到了全新的高度。

此前 XR 設備的發展路徑一直是拼硬件升級，但最大的問題還是在於交互體驗感、沉浸感難以提高。而蘋果Vision Pro 就很好的解決了這個問題，這正是在此前蘋果硬件規格已經傳遍市場後仍超預期的地方。

蘋果：人與人不應是賽博朋克下的符號

從另外一些細節讓蘋果的理念更加凸顯——不想讓人與人之間變成賽博朋克下的符號。

蘋果創造性的在 Vision Pro 的正面渲染顯示了人的眼睛（一向熱衷黑科技的付鵬老師也在第一時間換了頭像），蘋果強調了在人與人交流時，眼神的互動。

這並不是蘋果第一次強調人與人對話時，眼神交流的重要性。蘋果早在多個版本前的 FaceTime 中，就對視頻時眼球位置進行了 AI 調整，將我們看着屏幕時歪掉的注意力方向調整為注視對方的方向。

而在 Vision Pro 中，蘋果進一步增強了人與人眼神交互，當眼睛和正面走來的人進行交流的時候，透過 MR 設備還能夠直接進行交流，而不需要摘下設備，當瞳孔行為發生變化時，又可再次進入沉浸式虛擬空間。

在使用 Vision Pro 的 FaceTime 功能時，對方會看到一個利用深度學習，渲染出來的實時的你，通過空間操作系統 VisionOS 把數字內容融入真實世界。

蘋果自己的 AI 也來了

市場認為，蘋果此次發佈會沒有任何關於 AI 模型的內容，但這個也是有誤的。

見智研究發現，在最新升級的 iOS17 系統介紹中，蘋果宣佈使用 Transformer 語言模型用於輸入和語音識別文字。

通過 Transformer 模型，蘋果能夠隨着用户每次打字不斷改進體驗與準確度，進行自動語言語法糾正，方便於用户在打字時獲得實時預測文字推薦，只要輕點空格鍵就能添加整個單詞或完成句子，讓文字輸入比以往更加快捷。聽寫功能利用全新語言識別模型，準確度進一步提升。

Transformer 正是 OpenAI 等一系列大模型的基礎。而根據蘋果一向的隱私政策，毫無意外，這項技術也是純本地化運行。

蘋果將語言預測模型引入輸入法和語音傳輸中，是有一次將前沿技術和應用結合的最好案例。Transformer 是人機對話助手最強的底層技術支持，而蘋果是第一個將該技術內嵌在移動端產品系統中的公司，之後 iOS 17 在語音語言輸入體驗上會帶來全新的感受。

同時我們可以期待的是，蘋果明年很可能會給用户帶來本地化 LLM 大模型，本地化的判斷一方面是因為蘋果對用户隱私的關心程度實在太高，另一方面蘋果在處理硬件上已經積累了相當的技術，軟硬一體化的大模型應用會更加有效。

如同 Mac 帶入個人計算時代，iPhone 帶入移動計算，Vision pro 將帶入空間計算時代。

見智研究認為：Vision pro 的出現將真正開啓新的計算時代，而生成式 AI 對蘋果 MR 設備或許也是相互成就，因為此前 MR 的實時渲染對算力的消耗要遠大於生成式 AI。此前我們在AI+XR 將成為下一代移動端戰場一文進行過分析，認為生成式 AI 的快速發展與 MR 的結合將會帶來移動端產品的全面升級，特別是在應用內容創新方面會突破此前的開發方式，極大改善現階段 XR 爆款內容匱乏的問題。

生成式 AI 和蘋果 MR 就是時勢和英雄。

綜上

7 年來，蘋果在用搬山的能力處理 Vision Pro 的每一個細節，這個軟硬結合的能力並不是誰隨便都能模仿的來的；每一個細小的問題都能看出來蘋果是花了非常大的功夫在解決。

這也是發佈會前，即便是蘋果 MR 的硬件 BOM 清單到處流傳，但 Vision Pro 亮相之後還是讓見智研究認為超預期的原因。