共聚焦内窺鏡（CLE）通過柔性光纖傳輸激光和熒光圖像，可以實現在體的實時診斷性顯微級别成像，能夠觀察到組織細胞結構，已被廣泛應用于包括胃腸道、支氣管、乳腺、腦部以及膽管等多種部位疾病的診斷工作中，尤其在早期癌症的檢測方面展現了高度的特異性和靈敏性。由于CLE圖像形态與電子白光内窺鏡圖像存在較大差異，并且内容具有高度的不确定性，導緻醫生需要針對CLE圖像疾病診斷和分級标準進行學習，增加了學習成本。同時，也發現具有不同經驗的醫生的診斷結果差異較大，需要實現不因診斷環境和人員而變化的一緻性診斷，從而提高患者的醫療質量和安全性，減少不必要的診斷差異。通過人工智能技術增強圖像質量和輔助醫生精确診斷，可以解決創新醫療器械快速臨床應用的痛點。

365英国上市官网在线劉謙教授團隊，在國家十三五重點研發計劃項目的支持下，研制了國産首台醫用共聚焦内窺鏡創新醫療器械并轉化。從 2020 年開始，在國家自然科學基金面上項目的支持下，該團隊以消化道圖像為研究對象，圍繞以輔助醫生提高診斷準确率為中心點，從共聚焦内窺鏡成像方法、病理狀态與醫學圖像特征關系的基本原理出發，研究圖像質量評價、去噪、識别和分割等關鍵技術。近日，由博士生周經俊為第一作者，劉謙教授作為通訊作者，在IEEE Journal of Biomedical and Health Informatics，Computers in Biology and Medicine，Biomedical Optics Express，Physics in Medicine & Biology國際權威期刊發表系列文章，涉及圖像去噪、圖像識别以及高精度圖像分割，旨在解決共聚焦内窺鏡技術在臨床應用中存在的主要挑戰，提高醫學圖像的質量和診斷的準确性。

首先，面對共聚焦内窺鏡成像中由光纖束物理結構限制導緻的噪聲問題，團隊設計了一種新型的自監督去噪模型（Context-aware dynamic filtering network for confocal laser endomicroscopy image denoising，Phys. Med. Biol., 2023, 中科院 2022 年大類2區 top期刊，IF=3.5）。通過上下文感知的核估計和多尺度動态融合，該模型能在沒有清晰參考圖像的情況下，有效地解決了共聚焦内窺鏡圖像中噪聲的非均勻分布問題，顯著提高了消化道腫瘤圖像質量和後續圖像處理的精确性，減少了圖像噪聲導緻的誤診。接着，針對共聚焦内窺鏡領域數據集稀缺和缺乏完善注釋的挑戰，提出了兩種自監督學習方法（Boosting few-shot confocal endomicroscopy image recognition with feature-level MixSiam，Biomed. Opt. Express，2023，中科院 2022 年大類2區期刊，IF=3.4；Clustering-guided Twin Contrastive Learning for Endomicroscopy Image Classification，IEEE J. Biomed. Health. Inf.，2024，中科院 2023 年小類1區Top期刊，IF=7.7），有效提升了圖像的判别性特征學習。這些方法通過增強樣本的類内緊湊性和類間分離性，為識别和分類提供了更為豐富和精确的信息量。這不僅改進了判定可疑病變幀的速度，更在整體上顯著提升了醫學圖像分析的效率和準确性，為醫生提供了更為可靠和高效的診斷依據。針對精确定位可疑病變區域的難題，開發了一種雙分支非對稱編解碼器網絡（A novel Dual-Branch Asymmetric Encoder–Decoder Segmentation Network for accurate colonic crypt segmentation，Comput. Biol. Med.，2024，中科院2023 年小類1區Top期刊，IF=7.7）），通過創新的特征提取和融合技術，為像素級定位結腸隐窩區域設定了新标準。此外，針對共聚焦内窺鏡成像限制所導緻的圖像失真問題，團隊成員還開發了一種創新的非參考共聚焦内窺鏡圖像質量評價算法（No reference image quality assessment for confocal endoscopy images with perceptual local descriptor，J. Biomed. Opt.，2022，中科院2022年大類3區期刊，IF=3.5）。該方法具備自動對共聚焦内窺鏡圖像質量進行精準評級的能力，能夠在檢查過程中迅速識别并剔除低質量無診斷價值圖像，提高了共聚焦内窺鏡的效率，降低了醫療工作者的勞動強度。

這一系列研究進展标志着共聚焦内窺鏡成像技術在臨床應用上的一大飛躍。研究團隊不僅推進了技術層面的創新，還确保了這些先進技術能夠轉化為臨床實踐中的實用工具，為醫生提供了更準确和高效的診斷支持。目前，通過整合這些研究成果，團隊計劃與醫療機構合作開發部署一套全面的共聚焦内窺鏡輔助診斷系統的醫學大模型，來解決該技術在臨床應用中遇到的各種挑戰。這些努力将加速基礎研究成果的實際應用轉化，為患者帶來更優質的治療方案和結果，展現了科研工作在提高醫療服務質量方面的巨大價值和潛力。

[1] 國家重點研發項目(2017YFC0110000)、國家自然科學基金面上項目(81971692)

[2] Zhou J, Dong X, Liu Q. Context-aware dynamic filtering network for confocal laser endomicroscopy image denoising. Physics in Medicine & Biology, 2023, 68(19): 195014. https://doi.org/10.1088/1361-6560/acf558

[3] Zhou J, Dong X, Liu Q. Boosting few-shot confocal endomicroscopy image recognition with feature-level MixSiam. Biomedical Optics Express, 2023, 14(3): 1054-1070. https://doi.org/10.1364/boe.478832

[4] Zhou J, Dong X, Liu Q. Clustering-Guided Twin Contrastive Learning for Endomicroscopy Image Classification. IEEE Journal of Biomedical and Health Informatics, 2024. https://doi.org/10.1109/jbhi.2024.3366223

[5]. Zhou J, Xiong H, Liu Q. A novel Dual-Branch Asymmetric Encoder-Decoder Segmentation Network for accurate colonic crypt segmentation. Computers in Biology and Medicine, 2024: 108354. https://doi.org/10.1016/j.compbiomed.2024.108354

[6] Dong X, Fu L, Liu Q. No-reference image quality assessment for confocal endoscopy images with perceptual local descriptor. Journal of Biomedical Optics, 2022, 27(5): 056503-056503. https://doi.org/10.1117/1.jbo.27.5.056503