神經外科的虛擬實境與擴增實境

• Facebook
• Link

虛擬實境、擴增實境、替代實境與混合實境的簡介

自從60年代哈佛大學開發第一代電腦繪圖虛擬原型系統，到70-80年代美國空軍阿姆斯壯實驗室及NASA艾密斯研究中心開始將螢幕上的虛擬實境用於航太駕駛模擬Virtual Reality Simulatior，以及90年代波音公司開發第一套擴增實境Augmented Reality系統，用電腦創造讓眼睛產生錯覺的虛擬物件投射在現實場景。

近年來，由於影像運算晶片的突飛猛進以及運算器體積的逐漸縮小，VR/AR的技術逐漸普及到娛樂領域以及各個行業的模擬與訓練。士兵透過小型無人機的掃瞄可以在自己的螢幕呈現狙擊手的隱藏位置。消防隊員可以預先觀看到失火建築的格局，研判看不見的危險。電腦遊戲玩家帶著頭盔就可以身歷其境在家中傢具之間和虛擬妖精作戰。外科醫師也可以將術前的各種病患影像重組透過手術顯微鏡投射在手術室野內，協助避開危險的結構。甚至近年來同時結合VR以及AR，發展出所謂SR (Substitutional Reality)替代實境或是MR (Mixed Reality)混合實境，同時在現實場景中加入虛擬場景與虛擬物件。    

而VR/AR的產業近十年來在醫療產業中蓬勃發展。在臨床領域中，神經外科是最有需求且最多相關公司投資其中。

主要原因有三: 神經外科手術太過困難，手術失敗代價太高，手術中對於各種細微解剖與有限空間的手術技術需求極高，最需要能夠精確的手術前模擬。原因之二是專業的神經外科醫師，例如顱底專家訓練相當困難，訓練時間十分長久。傳統訓練方法是在屍體上學習解剖，成本很高且成效不齊。因此利用VR/AR作為訓練工具這和航太產業訓練飛行駕駛員的初衷相同。原因之三是近二十年各種功能性影像技術一日千里。這些功能性結構異於眼睛可見的傳統解剖結構，常常是肉眼無法觀察的到。於是透過VR/AR技術投射定位，可以幫助手術具現進行。甚至是結合真實和虛擬世界創造了新的環境和視覺化，一種虛擬實境(VR)加 擴增實境（AR）的合成品混合，我們現在稱之為混合實境(Mixed Reality，簡稱MR）。以下我們從這三方面來討論當前應用與相關產業。

VR/AR在神經外科手術模擬的當前應用與相關產品

好的飛行員出發前會針對當時的各種天候與飛航狀況進行模擬。好的神經外科醫師也會在手術前，針對病患的各種影像資料與病患狀況，甚至手術房條件進行術前模擬。

而VR/AR即結合各種不同特長的影像，例如核磁共振(皮質及腫瘤顯影清晰)、斷層掃描(骨骼影像銳利)、血管造影(血管影像準確)，分別將它們重建3D立體影像並重疊合併成為完整的腦部模型，幫助醫師進行手術模擬。

美國之前最大的VR醫療視覺化平台Surgical Theater公司開發的產品，即可以結合不同影像模式資料，建立綜合解剖虛擬模型，方便醫師做手術規劃流程，規避可能風險，提高手術精確度，以達到更加安全的手術程序。

UCLA以及Stanford的神經外科即利用相關系統，建立各自的Neurosurgical Simulation Lab手術模擬實驗室。不只是針對腦部，脊椎手術也可以進行。甚至除了醫師做術前模擬，也廣泛地使用於病患的手術病情解釋，讓病患一目了然身歷其境地了解外科醫師的手術計劃以及相關風險，達到良好的醫病術前溝通。而團隊中的住院醫師或是年輕醫學生，也可以藉此更具體深入地將各種影像學習立即結合到手術規劃，快速理解手術醫師的術前評估以及各種模擬選擇背後的理由，而更能掌握團隊共同照護病患的一致目標以及可能規避的風險。

2015年宏達電 (HTC)看中了醫療VR的發展潛力，8月30日宣布加碼投資美國VR醫療業者Surgical Theater，一年內就對這家公司投資了1100萬美元（約台幣3.52億），宏達電旗下子公司H.T.C 累積持股Surgical Theater達21.09%。    

國際上相關的公司及產品有Accuray (Radixact)、BrainLab (Curve/Buzz System)、C-RAD、CAE (LapVR Surgical Simulator)、Elekta (Elekta VR)、Hansen Medical (Robotics System)、HumediQ、Immersive Touch (Immersive VR)、Intuitive Surgical、Leica (VR Microsystem)、Mazor Robotics、Medtech (Medtech VR Surgery)、Medtronic、Mentice (MIST-VR)、Mimic　(MimicSimulation)、Ossimtech　(Sim-Ortho)、Philips Healthcare、Scopis (Scopis Holographic Navigation System)、Stryker (Stryker VR)、Surgical Navigation、Surgical Theater、TransEnterix、VR/AR Education、Varian Medical Systems、Virtamed (ArthroS Simulator)、Vision RT (Optical Surface System)、XION (XION VR)、Zspace (Zspace Learning Lab)、3D Systems (3D LAP Mentor and RobotiX Mentor Simulation)。

VR/AR在神經外科教學/訓練的當前應用與相關產品

 VR/AR用視覺模擬將學生帶入虛擬的世界。但是互動性才是VR/AR的精髓。現代軟體技術甚至可以將虛擬影像中的不同結構設定特徵，並結合互動式手臂，給予力量回饋。這種模擬可以在虛擬影像中磨除顱骨，撥開腦皮質，模擬取出腦瘤，甚至傷害到腦血管還可以模擬出血。除了給醫學生利用立體影響學習各種解剖知識外，也可以給外科住院醫師學習各種手術入路。甚至可以像飛行員訓練一樣模擬手術情境，幫助年輕醫師熟悉手術中各種可能面臨的危機，提升心理素質，減少實際手術中面臨的危險。

ＮeuroVR應該是神經外科VR/AR模擬訓練平台最著名的公司。它利用實際互動式器械形狀的回饋裝置，可以實際模擬顯微手術、內視鏡手術、注射式探針，外科手術器械。它內建近四十種手術訓練模擬程式，諸如腦膜瘤切除手術、膠質瘤切除手術、動脈瘤夾閉手術、顱底手術磨除前床突骨、內視鏡三腦室切開手術，內視鏡鼻中膈手術等等。學生手持具有阻力回饋的器械，可以實際感受手術中的手感。手術的互動式影像也會給予各種回饋，讓年輕醫師感受力量技巧角度的各種拿捏。

國際上相關的公司及產品有3D Systems (Simbionix)、CAE、ImmersiveTouch　(Immersive VR)、Mentice　(MIST-VR Simulator)、Mimic Technologies　(MimicSimulation)、NeuroVR、OssimTech　(Sim-Ortho)、Surgical Theater、Virtamed　(ArthroS Simulator)、Zspace (Zspace Learning Lab)。

VR/AR在神經外科各種功能性影像投射定位的應用與產品

目前針對各種不同的手術目的，為了保護腦部具有重要功能的腦區或是腦白質束，或甚至是癲癇網路或是腦瘤惡性組成評估，手術前通常會實行許多進階的術前功能性影像計畫。這包含核磁共振質譜分析、功能性核磁分析、腦白質束顯影等以及正子攝影。

這些功能性影像結構雖然無法在手術顯微鏡下肉眼可見，卻可以進一步協助醫師了解腦瘤的組成成分、鄰近的重要功能區的關係以及四周可能會造成功能傷害的腦白質束及細小的腦血管。而現在透過VR/AR技術，可以將虛擬影像及這些功能性影像所組合成的虛擬物件，透過手術顯微鏡或內視鏡，直接投射在手術視野中。這些虛擬的物件可以增加手術的路徑判斷及對於手術中定位以及風險評估。

國際上重要的手術顯微鏡公司、導航公司、內視鏡公司都有相關的產品。例如Leica、Zeiss、Martin、Nikon、Meiji、Accuscope、BrainLab、Stryker、Medtronic、Synapse、Scopis、Antelope、Philips等。

高雄長庚神經外科莊銘榮醫師團隊目前在VR/AR的發展及應用

根據Klob的學習理論以及Miller的Clinical Skills Assessment，高雄長庚近五年來積極發展所謂的Monitoring and Simulation。

所謂的Monitoring即是術中各種訊號監測，而Simulation即所謂Image guide Virtual Reality。利用各種影像特長，使用工程影像軟體重組虛擬3D影像，可以模擬手術腦皮質表面以及血管，也可以疊加功能性影像，以達到手術前模擬的目的。例如腦血管動脈瘤手術，可以快速重組動脈瘤影像，模擬實際手術視角以及適當閉夾的血管夾。也可以模擬手術程序，移除頭骨，審視顱底手術視角。也可以模擬內視鏡手術，進行虛擬探查。

重組影像更可以進一步結合導航，在手術中進行功能性定位，並搭配Monitoring and Brain Mapping 技術，在手術中定位功能性腦皮質以及白質束，以避免手術誤傷。在神經外科著名的EC-IC Bypass Surgery顱內外血管吻合手術，也可以利用VR影像重組，來事先預設顱內接合血管的位置，減少翻查腦皮層的時間與危險，並將顱骨切開範圍減到最小。

在兒童神經外科與兒童顱顏手術，我們更將VR虛擬顱顏重建影像在術前做3D Printing模型，使VR虛擬影像成為活生生可以觸摸的手術模擬模型。在顱骨成型手術，我們也可以將顱骨缺損區用VR影像輸出成3D Printing，並製外模在手術中灌PMMA製作成型骨。 也由於上述諸多成就，高雄長庚神經外科在2016年成立手術影像術前重建與模擬中心，我們也積極推動外科部準備成立手術3D列印中心。

高雄長庚神經外科在VR/AR未來展望及計劃

高雄長庚期待能夠在下一個五年，能夠進行術中Image assisted Augmented Reality Surgery。我們也希望能夠建立Neurosurgical Simulation Lab做為南台灣住院醫師的訓練平台。同時我們也將擴大VR/AR方式將病患各種醫療資訊給予重建3D立體影像輸出或是3D Printing輸出，作為更精細手術定位以及模擬的工具。我們準備用於癲癇手術以及困難脊柱畸形手術的輔助及模擬。

2016年6月，英國神經外科醫師Shafi Ahmed醫師在倫敦皇家醫院示範第一次公開VR手術。這個VR手術是Robot surgery，也就是醫師沒有在現場，只是透過虛擬影像，遠距超控機器手臂進行遠端系統的操控。Philips公司近年也開發出AR擴增實境脊椎手術引導技術，可以縮小手術傷口，縮短復原時間，提升手術品質。我們認為，好的VR/AR技術，就是要適當地結合其他科技，並思考如何能更聰明更安全地運用在神經外科的各種手術上，這也是我們身為南台灣最大神經外科訓練中心責無旁貸的理念。

Reference:
[1] Chaer RD, Derubertis BG, Lin SC, et al. Simulation improves resident performance in catheter-based intervention: results of a randomized, controlled study. Ann Surg 2006;244:343–52.
[2] Gorman PJ, Meier AH, Krummel TM. Simulation and virtual reality in surgical education: real or unreal? Arch Surg 1999;134:1203–8.
[3] Spicer MA, Apuzzo ML. Virtual reality surgery: neurosurgery and the contemporary landscape. Neurosurgery 2003;52:489–97 [discussion 96–7].
[4] Alaraj A, Lemole MG, Finkle JH, et al. Virtual reality training in neurosurgery: review of current status and future applications. Surg Neurol Int 2011;2:52.
[5] Gallagher AG, Ritter EM, Champion H, et al. Virtual reality simulation for the operating room: proficiency-based training as a paradigm shift in surgical skills training. Ann Surg 2005;241:364–72.
[6] Alaraj A, Charbel FT, Birk D, et al. Role of cranial and spinal virtual and augmented reality simulation using immersive touch modules in neurosurgical training. Neurosurgery 2013;72:115–23.
[7] Robison RA, Liu CY, Apuzzo ML. Man, mind, and machine: the past and future of virtual reality simulation in neurologic surgery. World Neurosurg 2011;76:419–30.
[8] Sekhar LN, Tariq F, Kim LJ, et al. Commentary: virtual reality and robotics in neurosurgery. Neurosurgery 2013;72:1–6.
[9] Kirkman MA, Ahmed M, Albert AF, et al. The use of simulation in neurosurgical education and training. A systematic review. J Neurosurg 2014;121:228–46.
[10] Patel A, Koshy N, Ortega-Barnett J, et al. Neurosurgical tactile discrimination training with haptic-based virtual reality simulation. Neurol Res 2014;36:1035–9.
[11] Thoranaghatte RU, Giraldez JG, Zheng G. Landmark based augmented reality endoscope system for sinus and skull-base surgeries. Conf Proc IEEE Eng Med Biol Soc 2008;2008:74–7.
[12] Alcaniz Raya M, Varvaro Marcinek H, Martinez Saez JM, et al. Mixed reality for neurosurgery: a novel prototype. Stud Health Technol Inform 2003;94:11–5.
[13] Besharati Tabrizi L, Mahvash M. Augmented reality-guided neurosurgery: accuracy and intraoperative application of an image projection technique. J Neurosurg 2015;1–6.
[14] Worn H, Aschke M, Kahrs LA. New augmented reality and robotic based methods for head-surgery. Int J Med Robot 2005;1:49–56. [15] Reznick RK, MacRae H. Teaching surgical skills – changes in the wind. N Engl J Med 2006;355:2664–9.

延伸閱讀 : 顱底神經外科的小確幸: 原發性三叉神經痛的三叉神經顯微血管減壓手術
延伸閱讀 : 神經外科的頂尖高手: 顱底手術與顱底團隊
延伸閱讀 : 功能性保護的開腦新時代-談位於功能區的腦瘤手術
延伸閱讀 : 兒童腦中風的殺手：毛毛樣病
延伸閱讀 : 【聯合報】婦人罹罕病「毛毛樣」查不出 過了30多年麻痺人生
延伸閱讀 : 【聯合報】來台換肝又中風半癱 4歲男童跨海治療兩次手術恢復健康