微軟專利分享如何透過HoloLens提供心率檢測功能

檢視引用/資訊源請點選：映維網Nweon

為HoloLens帶來心率檢測功能

（映維網Nweon 2022年12月21日）跟著AR/VR裝置的越發流行，廠商正在積極挖掘它的潛能，從而為使用者帶來更多的價值。實際上，諸如蘋果和Magic Leap等都在探索透過AR頭顯來檢測心率、體溫和腦流動等等。

對於日前釋出的“Detecting heart rates using eye-tracking cameras”，微軟同樣在考慮為HoloLens帶來心率檢測功能。這家公司但願眼動追蹤攝像頭可以一物多用，不僅追蹤眼睛運動，並且能夠結合AI模型來檢測使用者的心率。

目前利用光電容積脈搏波描記法（PPG）來檢測心率已經發展成為一項相稱成熟的技術，一系列的可穿著裝置都是透過PPG來丈量心率及其他生物計量指標。簡樸來說，當血流動力發生變化時，例如血脈搏率（心率）或血容積（心輸出量）發生變化時，進入人體的光會發生可預見的散射。PPG則是利用這一原理來計算心率。

對於微軟的方案，團隊主要是利用AI模型，首先從眼動追蹤攝像頭拍攝的圖形中提取PPG波形，然後再根據PPG波形來檢測心率。

在AI模型的練習期間，頭顯可以拍攝使用者眼周皮膚區域的多個系列影象，並將其作為練習資料。然後，將多個影象序列傳送到機器學習網路，從而答應AI模型以特定方式練習機器學習的，使得機器學習的AI模型能夠從眼動攝像頭拍攝的影象中提取PPG波形，並基於PPG波形檢測心率。

圖3A-3B示出了用於練習AI模型370A、370B的實施例300A和300B。參考圖3A或3B，由頭戴式裝置302的一個或多個眼動追蹤攝像頭310天生的資料將用作練習資料。練習資料傳送到機器學習網路360A、360B，以練習AI模型370A。

在一個實施例中，機器學習網路360、360B是機器學習神經網路。在一個實施例中，機器學習網路360A、360B是機器學習卷積神經網路。

在一個實施例中，多個心跳資料集352是在眼動追蹤攝像頭310拍攝多個系列影象312時天生。

值得注意的是，由眼動追蹤攝像頭拍攝的每個影象包括多個畫素，並且多個畫素中的每個由值表示。在一個實施例中，對每個影象中的多個畫素的值進行均勻以天生影象的平均值，並且一系列影象將產生一系列平均值。在一個實施例中，機器學習網路360A、360B配置為基於與多個系列影象312相對應的多個系列均值來識別模式，以練習具有或不具有標記影象資料312的AI模型。

這樣的訓練方法和練習模型370A、370B可以在使用者坐著不動時精彩工作。但使用者移動時可能會引入噪點偽影。

微軟提出了數種不同的解決方案來解決上述題目。參考圖3A，在一個實施例中，與頭部運動324、328、334相關的資料和/或與顯示器340相關的資料同時用於練習AI模型370A。

如圖所示，可以透過慣性丈量單元320獲得與頭部運動相關的資料。加速計322配置為天生第一多個運動資料集324，陀螺儀326配置為產生第二多個運動資料組328，磁強計332配置為形成第三多個運動資料庫334。所述資料用作練習資料，使得AI模型370B能夠消除由頭部運動產生的噪點偽影的至少一部分。

另外，當用戶看片子或玩遊戲時，由頭戴式裝置302的顯示器340天生的影象同樣可能產生噪點偽影。在一個實施例中，與顯示器340相關聯的資料集342同樣可以用於練習AI模型370A，使得AI模型能夠消除顯示器340產生的噪點偽影的至少一部分。

有時候，由頭部運動和/或顯示器340天生的噪點偽影可能太多，導致由眼動追蹤攝像頭310天生的影象無法提取PPG波形，所以不能用於檢測心率。

為了解決上述題目，可以實現噪點檢測器390A，以確定由頭部運動和/或顯示器340產生的噪點偽影是否太多。換言之，系統可以確定眼動追蹤攝像頭310在一段時間內捕捉的影象是否噪點太多。

在一個實施例中，在給定時間段內，計算由慣性丈量單元320和/或顯示器340捕捉的資料集324、328、334和/或342計算，以天生一個或多個標準偏差。當標準偏差中的至少一個大於預定閾值時，噪點檢測器390A確定這個週期噪點太多。

當確定週期噪點太多時，分段所述週期期間天生的資料。在一個實施例中，分段選擇器392實現為分段出在噪點太多的時段期間天生的資料。這樣的資料包括由眼睛跟蹤相機310拍攝的影象312、由慣性丈量單元320天生的資料集324、328、334和/或由顯示器340天生的資料組342。因此，僅把在噪點不多的時段期間天生的資料用於練習AI模型370A。

檢視引用/資訊源請點選：映維網Nweon

為HoloLens帶來心率檢測功能

（映維網Nweon 2022年12月21日）跟著AR/VR裝置的越發流行，廠商正在積極挖掘它的潛能，從而為使用者帶來更多的價值。實際上，諸如蘋果和Magic Leap等都在探索透過AR頭顯來檢測心率、體溫和腦流動等等。

對於日前釋出的“Detecting heart rates using eye-tracking cameras”，微軟同樣在考慮為HoloLens帶來心率檢測功能。這家公司但願眼動追蹤攝像頭可以一物多用，不僅追蹤眼睛運動，並且能夠結合AI模型來檢測使用者的心率。

目前利用光電容積脈搏波描記法（PPG）來檢測心率已經發展成為一項相稱成熟的技術，一系列的可穿著裝置都是透過PPG來丈量心率及其他生物計量指標。簡樸來說，當血流動力發生變化時，例如血脈搏率（心率）或血容積（心輸出量）發生變化時，進入人體的光會發生可預見的散射。PPG則是利用這一原理來計算心率。

對於微軟的方案，團隊主要是利用AI模型，首先從眼動追蹤攝像頭拍攝的圖形中提取PPG波形，然後再根據PPG波形來檢測心率。

在AI模型的練習期間，頭顯可以拍攝使用者眼周皮膚區域的多個系列影象，並將其作為練習資料。然後，將多個影象序列傳送到機器學習網路，從而答應AI模型以特定方式練習機器學習的，使得機器學習的AI模型能夠從眼動攝像頭拍攝的影象中提取PPG波形，並基於PPG波形檢測心率。

圖3A-3B示出了用於練習AI模型370A、370B的實施例300A和300B。參考圖3A或3B，由頭戴式裝置302的一個或多個眼動追蹤攝像頭310天生的資料將用作練習資料。練習資料傳送到機器學習網路360A、360B，以練習AI模型370A。

在一個實施例中，機器學習網路360、360B是機器學習神經網路。在一個實施例中，機器學習網路360A、360B是機器學習卷積神經網路。

在一個實施例中，多個心跳資料集352是在眼動追蹤攝像頭310拍攝多個系列影象312時天生。

值得注意的是，由眼動追蹤攝像頭拍攝的每個影象包括多個畫素，並且多個畫素中的每個由值表示。在一個實施例中，對每個影象中的多個畫素的值進行均勻以天生影象的平均值，並且一系列影象將產生一系列平均值。在一個實施例中，機器學習網路360A、360B配置為基於與多個系列影象312相對應的多個系列均值來識別模式，以練習具有或不具有標記影象資料312的AI模型。

這樣的訓練方法和練習模型370A、370B可以在使用者坐著不動時精彩工作。但使用者移動時可能會引入噪點偽影。

微軟提出了數種不同的解決方案來解決上述題目。參考圖3A，在一個實施例中，與頭部運動324、328、334相關的資料和/或與顯示器340相關的資料同時用於練習AI模型370A。

如圖所示，可以透過慣性丈量單元320獲得與頭部運動相關的資料。加速計322配置為天生第一多個運動資料集324，陀螺儀326配置為產生第二多個運動資料組328，磁強計332配置為形成第三多個運動資料庫334。所述資料用作練習資料，使得AI模型370B能夠消除由頭部運動產生的噪點偽影的至少一部分。

另外，當用戶看片子或玩遊戲時，由頭戴式裝置302的顯示器340天生的影象同樣可能產生噪點偽影。在一個實施例中，與顯示器340相關聯的資料集342同樣可以用於練習AI模型370A，使得AI模型能夠消除顯示器340產生的噪點偽影的至少一部分。

有時候，由頭部運動和/或顯示器340天生的噪點偽影可能太多，導致由眼動追蹤攝像頭310天生的影象無法提取PPG波形，所以不能用於檢測心率。

為了解決上述題目，可以實現噪點檢測器390A，以確定由頭部運動和/或顯示器340產生的噪點偽影是否太多。換言之，系統可以確定眼動追蹤攝像頭310在一段時間內捕捉的影象是否噪點太多。

在一個實施例中，在給定時間段內，計算由慣性丈量單元320和/或顯示器340捕捉的資料集324、328、334和/或342計算，以天生一個或多個標準偏差。當標準偏差中的至少一個大於預定閾值時，噪點檢測器390A確定這個週期噪點太多。

當確定週期噪點太多時，分段所述週期期間天生的資料。在一個實施例中，分段選擇器392實現為分段出在噪點太多的時段期間天生的資料。這樣的資料包括由眼睛跟蹤相機310拍攝的影象312、由慣性丈量單元320天生的資料集324、328、334和/或由顯示器340天生的資料組342。因此，僅把在噪點不多的時段期間天生的資料用於練習AI模型370A。