隨著全球老齡化加劇，腔鏡手術(shù)量年增長(zhǎng)率超18%，外科醫(yī)生面臨巨大操作負(fù)擔(dān)。現(xiàn)有手術(shù)機(jī)器人（如da Vinci）雖能輔助手術(shù)，但任務(wù)自動(dòng)化局限于特定場(chǎng)景（如預(yù)編程動(dòng)作），缺乏跨場(chǎng)景泛化能力。而近期重磅發(fā)表于《Science Robotics》（最新影響因子為27.5，五年影響因子達(dá)32.9）的一項(xiàng)名為“Surgical embodied intelligence for generalized task autonomy in laparoscopic robot-assisted surgery”的研究中提出了基于具身智能的腹腔鏡手術(shù)機(jī)器人通用任務(wù)自主性研究，旨在突破傳統(tǒng)手術(shù)自動(dòng)化方法對(duì)額外傳感器輸入或基于人工預(yù)定義規(guī)則與模型依賴的局限性，通過(guò)視覺(jué)基礎(chǔ)大模型，具身智能控制策略學(xué)習(xí)，首次實(shí)現(xiàn)多任務(wù)、跨場(chǎng)景的自主操作。研究團(tuán)隊(duì)構(gòu)建了包含視覺(jué)解析（Visual Parsing）、感知回歸器（Perceptual Regressor）、策略學(xué)習(xí)（Policy Learning）與視覺(jué)伺服控制（Visual Servoing Controller）的全新VPPV范式，依托團(tuán)隊(duì)自研的開(kāi)源仿真平臺(tái)SurRoL，實(shí)現(xiàn)了通用手術(shù)機(jī)器人的自主操作，并在商業(yè)平臺(tái)Sentire思騰?腔鏡手術(shù)機(jī)器人（以下簡(jiǎn)稱“Sentire思騰?”）上完成活體動(dòng)物體內(nèi)驗(yàn)證1。

研究亮點(diǎn)總結(jié)

全球首例臨床場(chǎng)景下自主手術(shù)活體動(dòng)物驗(yàn)證：在外科醫(yī)生監(jiān)督自主模式下完成活體豬模型3類任務(wù)。

純視覺(jué)人工智能方案，無(wú)需任何額外傳感器：自主操作僅需手術(shù)機(jī)器人視覺(jué)系統(tǒng)輸入，可無(wú)縫部署至真實(shí)臨床場(chǎng)景。

通用性：數(shù)據(jù)驅(qū)動(dòng)的解決方案，可應(yīng)用于多種自主操作任務(wù)。

開(kāi)源仿真平臺(tái)SurRoL的生態(tài)價(jià)值：100%自研具身智能平臺(tái)，涵蓋手術(shù)機(jī)器人交互環(huán)境，多種手術(shù)任務(wù)仿真，強(qiáng)化學(xué)習(xí)訓(xùn)練引擎。

自動(dòng)化“第三只手”，解鎖人機(jī)協(xié)作新范式：機(jī)器人自動(dòng)完成多種輔助操作，有望提升外科醫(yī)生手術(shù)效率。

方法論創(chuàng)新與技術(shù)架構(gòu)

VPPV全流程范式

關(guān)鍵創(chuàng)新：基于視覺(jué)基礎(chǔ)大模型實(shí)現(xiàn)穩(wěn)健場(chǎng)景理解，強(qiáng)化學(xué)習(xí)范式實(shí)現(xiàn)通用的多任務(wù)策略學(xué)習(xí)，AI策略與傳統(tǒng)控制的分層融合架構(gòu)提升自動(dòng)化的穩(wěn)定性，模塊化的設(shè)計(jì)更利于算法的更新與迭代。

實(shí)驗(yàn)驗(yàn)證與關(guān)鍵結(jié)果分析

手術(shù)訓(xùn)練任務(wù)的自動(dòng)化

在SurRoL仿真平臺(tái)上，VPPV完成了7項(xiàng)常見(jiàn)的機(jī)器人腹腔鏡手術(shù)基礎(chǔ)訓(xùn)練任務(wù)的學(xué)習(xí)和自動(dòng)化，包括到達(dá)針抓取點(diǎn) （NeedleReach），針拾取（NeedlePick）、紗布拾?。℅auzeRetrieve）、拾取與放置（PickAndPlace）、樁轉(zhuǎn)移（PegTransfer）、板匹配（MatchBoard）和針重新抓?。∟eedleRegrasp）。令人印象深刻的是，系統(tǒng)在虛擬環(huán)境中的表現(xiàn)出色——例如針頭拾取、紗布拾取的任務(wù)成功率達(dá)到100%，樁轉(zhuǎn)移任務(wù)成功率為98%。更關(guān)鍵的是，當(dāng)這些在"虛擬世界"中訓(xùn)練的AI技能被應(yīng)用到真實(shí)的手術(shù)機(jī)器人上時(shí)，依然保持了良好的表現(xiàn)。在達(dá)芬奇研究平臺(tái)(dVRK)的真機(jī)測(cè)試中，紗布拾取達(dá)到96%，而對(duì)于針頭拾取任務(wù)雖有更好的精度要求，仍能達(dá)到成功率84%，而對(duì)于進(jìn)階手術(shù)訓(xùn)練任務(wù)樁轉(zhuǎn)移，能達(dá)到86%的成功率，證明了VPPV方法良好的仿真-現(xiàn)實(shí)遷移能力。

離體組織實(shí)驗(yàn)（Sentire思騰?）

為了更接近真實(shí)手術(shù)環(huán)境，研究團(tuán)隊(duì)在離體豬胃組織（保留胃網(wǎng)膜動(dòng)靜脈）上進(jìn)行了嚴(yán)格的驗(yàn)證實(shí)驗(yàn)，采用國(guó)產(chǎn)的Sentire思騰?腔鏡手術(shù)機(jī)器人完成5類輔助任務(wù)自動(dòng)化驗(yàn)證，總成功率接近90%。實(shí)驗(yàn)設(shè)置嚴(yán)格模擬真實(shí)手術(shù)場(chǎng)景：組織隨機(jī)旋轉(zhuǎn)（±180°）、平移（±5cm），并引入光照變化、模擬煙霧及呼吸運(yùn)動(dòng)干擾。其中三項(xiàng)關(guān)鍵技術(shù)指標(biāo)表現(xiàn)尤為突出：

內(nèi)窺鏡自主操控：該任務(wù)目標(biāo)為自動(dòng)調(diào)整內(nèi)窺鏡的姿態(tài)，使得手術(shù)器械位于視野中央。通過(guò)視覺(jué)解析實(shí)時(shí)定位器械尖端，DDPG策略驅(qū)動(dòng)內(nèi)窺鏡調(diào)整位姿，使器械穩(wěn)定居中于術(shù)野，成功率達(dá)95%（圖1）；這項(xiàng)技術(shù)可以解放醫(yī)生對(duì)手術(shù)工具和腹腔鏡的操作切換及對(duì)視野的頻繁控制，讓醫(yī)生專注于手術(shù)操作本身。

自動(dòng)紗布精準(zhǔn)拾?。涸撊蝿?wù)目標(biāo)為自動(dòng)拾取紗布并且放置于出血點(diǎn)進(jìn)行止血，該任務(wù)通常為助手醫(yī)生完成。FastSAM分割結(jié)合IGEV深度估計(jì)，定位紗布中心點(diǎn)；RL策略控制器械跡接近目標(biāo)，視覺(jué)伺服執(zhí)行抓取后覆蓋出血點(diǎn)，成功率達(dá)91%（圖2）；

自動(dòng)軟組織牽引：在腹腔鏡手術(shù)中，經(jīng)常需要牽拉組織以獲得更好的手術(shù)視野。MPM軟體仿真訓(xùn)練的策略驅(qū)動(dòng)器械抓取目標(biāo)組織，機(jī)械臂自主牽拉組織暴露術(shù)野，在器械多構(gòu)型（針持、雙極鉗）及煙霧干擾下保持魯棒性，成功率達(dá)91%（圖3），實(shí)驗(yàn)結(jié)果表明該算法學(xué)會(huì)了如何有效地抓取和牽拉軟組織，為主刀醫(yī)生創(chuàng)造理想的操作空間，并成功實(shí)現(xiàn)人機(jī)協(xié)作下的軟組織切割。

圖1 離體實(shí)驗(yàn)中，真實(shí)世界場(chǎng)景的不同設(shè)置對(duì)內(nèi)窺鏡操控的影響

圖2 離體實(shí)驗(yàn)中，真實(shí)世界場(chǎng)景的不同設(shè)置對(duì)紗布拾取的影響

圖3 離體實(shí)驗(yàn)中，真實(shí)世界場(chǎng)景的不同設(shè)置對(duì)軟組織牽引的影響

實(shí)驗(yàn)結(jié)果證明：

平臺(tái)兼容性：VPPV框架無(wú)縫適配Sentire思騰?應(yīng)用程序編程接口（API），控制延遲低于25ms；

環(huán)境魯棒性：在煙霧、光照變化、器械多構(gòu)型下保持高成功率；

操作高效性：（圖4）統(tǒng)計(jì)了機(jī)器人執(zhí)行軌跡的長(zhǎng)度，展示極小的冗余動(dòng)作。

圖4 基于運(yùn)動(dòng)學(xué)數(shù)據(jù)記錄的各任務(wù)機(jī)器人執(zhí)行軌跡長(zhǎng)度結(jié)果

活體動(dòng)物驗(yàn)證（Sentire思騰?+監(jiān)督自主性）

研究團(tuán)隊(duì)在約30公斤活體豬模型上進(jìn)行了最具挑戰(zhàn)性的驗(yàn)證實(shí)驗(yàn)。實(shí)驗(yàn)同樣采用了國(guó)產(chǎn)Sentire思騰?腔鏡手術(shù)機(jī)器人，這項(xiàng)實(shí)驗(yàn)采用了創(chuàng)新的"監(jiān)督自主性（supervised autonomy）"安全模式：由資深胃腸外科醫(yī)生首先在腹腔鏡視野下標(biāo)記安全操作區(qū)域，隨后在醫(yī)生密切監(jiān)督下自主執(zhí)行任務(wù)，醫(yī)生可隨時(shí)接管控制權(quán)，確保手術(shù)安全。實(shí)驗(yàn)在香港中文大學(xué)醫(yī)療機(jī)械人創(chuàng)新技術(shù)中心的混合手術(shù)室內(nèi)進(jìn)行，模擬真實(shí)的機(jī)器人輔助胃部游離手術(shù)環(huán)境。（圖5）：

紗布拾取成功率83%：這看似簡(jiǎn)單的任務(wù)在活體環(huán)境中面臨前所未有的挑戰(zhàn)。血染紗布與周圍軟組織的顏色差異極小，傳統(tǒng)的顏色識(shí)別方法完全失效。VPPV方法創(chuàng)新性地采用視覺(jué)基礎(chǔ)模型，不再依賴單純的顏色特征，而是通過(guò)形狀、紋理、空間和語(yǔ)義的綜合分析來(lái)識(shí)別目標(biāo)，實(shí)現(xiàn)了紗布中心的定位和自動(dòng)抓取和，展示算法在動(dòng)態(tài)復(fù)雜環(huán)境中的適應(yīng)能力；

軟組織牽引成功率 77%：在活體環(huán)境中，軟組織的物理特性與離體組織存在顯著差異——場(chǎng)景更加復(fù)雜多變。研究團(tuán)隊(duì)成功驗(yàn)證了革命性的人機(jī)協(xié)作模式：AI控制的"第三只機(jī)械手"專門負(fù)責(zé)組織牽拉，為手術(shù)視野創(chuàng)造理想空間，而主刀醫(yī)生可以專注于操控其他兩只機(jī)械臂進(jìn)行精細(xì)的腸系膜解剖。這種協(xié)作模式顯著提升了手術(shù)效率，減輕了醫(yī)生的操作負(fù)擔(dān)。

血管夾閉成功率67%：這是技術(shù)難度最高的任務(wù)，需要在直徑僅5毫米的豬右胃網(wǎng)膜動(dòng)脈上精確放置止血夾。而10毫米寬的夾閉器要求控制精度達(dá)到2.5毫米級(jí)別。當(dāng)夾閉器接近血管時(shí)，精密的視覺(jué)伺服控制器自動(dòng)激活，通過(guò)圖像反饋進(jìn)行精準(zhǔn)的血管定位。實(shí)現(xiàn)了成功夾取，代表了毫米級(jí)精度自動(dòng)化的技術(shù)突破。

圖5 在監(jiān)督自主性模式下進(jìn)行的活體動(dòng)物試驗(yàn)驗(yàn)證：（A）活體實(shí)驗(yàn)裝置；（B）自動(dòng)化手術(shù)任務(wù)示意圖，包含紗布拾取、軟組織牽引和血管夾閉。每個(gè)任務(wù)展示兩個(gè)示例場(chǎng)景，包含內(nèi)窺鏡圖像（頂部）、估計(jì)的深度圖（左下方）和目標(biāo)物體分割（右下方）

本研究通過(guò)VPPV范式首次實(shí)現(xiàn)手術(shù)機(jī)器人多任務(wù)零樣本仿真-現(xiàn)實(shí)遷移，其成功源于三層創(chuàng)新架構(gòu)：視覺(jué)解析層（FastSAM+IGEV處理真實(shí)手術(shù)噪聲）、策略抽象層（感知回歸器輸出物理可解釋的9D狀態(tài)向量）、執(zhí)行優(yōu)化層（DDPG規(guī)劃與視覺(jué)伺服閉環(huán)控制）。這一框架在Sentire思騰?腔鏡手術(shù)機(jī)器人上的驗(yàn)證具有里程碑意義，其本質(zhì)在于康諾思騰憑借全棧自研與垂直整合戰(zhàn)略構(gòu)建的技術(shù)平臺(tái)——通過(guò)底層機(jī)電系統(tǒng)（軌跡誤差<3.3mm）、實(shí)時(shí)控制固件（API延遲25ms）與立體視覺(jué)模塊[1080p/60fps雙互補(bǔ)金屬氧化物半導(dǎo)體（CMOS）+現(xiàn)場(chǎng)可編程門陣列（FPGA）加速]的深度耦合，形成獨(dú)特的AI就緒且AI 友好架構(gòu)。該平臺(tái)不僅承載離體組織5類輔助任務(wù)全流程自動(dòng)化（內(nèi)窺鏡操控/紗布拾取/軟組織牽引等），更支撐全球首例活體血管夾閉AI自主操作，其開(kāi)放性接口使VPPV算法與硬件無(wú)縫協(xié)同，MPM軟體仿真參數(shù)反向校準(zhǔn)機(jī)械臂力控模塊（交互力誤差<0.3N），完整實(shí)現(xiàn)從算法到系統(tǒng)的優(yōu)化閉環(huán)。而"監(jiān)督自主性"范式（醫(yī)生標(biāo)記安全區(qū)域+實(shí)時(shí)接管）依托多臂協(xié)同特性，在第三機(jī)械臂自主牽引時(shí)解放外科醫(yī)生雙手，同時(shí)模塊化設(shè)計(jì)預(yù)留語(yǔ)音中斷等擴(kuò)展接口——這種跨平臺(tái)部署能力（dVRK與Sentire思騰?雙驗(yàn)證）推動(dòng)手術(shù)自主性從概念邁向臨床，彰顯垂直整合技術(shù)生態(tài)的產(chǎn)業(yè)化潛力。

技術(shù)泛化性方面，SurRoL開(kāi)源仿真平臺(tái)（集成dVRK數(shù)字孿生、MPM物理引擎、RL/IL算法庫(kù)）已形成社區(qū)生態(tài)，加速算法迭代；而VPPV的模塊化設(shè)計(jì)支持持續(xù)升級(jí)，例如視覺(jué)解析層可嵌入分割一切模型（SAM）等大模型提升分割精度，策略層可融合大型語(yǔ)言模型(LLM)生成高階手術(shù)計(jì)劃。面向未來(lái)，需攻克活體動(dòng)態(tài)補(bǔ)償（如呼吸運(yùn)動(dòng)建模）、長(zhǎng)時(shí)程任務(wù)鏈（如吻合術(shù)）及跨平臺(tái)適配等挑戰(zhàn)，而Sentire思騰?的開(kāi)放式API將在此進(jìn)程中發(fā)揮核心樞紐作用——其已證明的臨床兼容性與安全性，為手術(shù)自主性從L2（工具輔助）向L3（任務(wù)自主）演進(jìn)鋪設(shè)了產(chǎn)業(yè)化通路。

研究團(tuán)隊(duì)