近日，6163银河net163am许廷发科研团队在眼底医学图像处理领域取得新突破，相关研究成果以“RTNet: Relation Transformer Network for Diabetic Retinopathy Multi-lesion Segmentation”为题发表在医学图像处理领域的国际顶级期刊《IEEE Transactions on Medical Imaging（IEEE TMI）》(IF=10.332)上，IEEE TMI是医学图像处理领域具有高影响力的国际学术刊物之一，在2021年该领域270余种JCR期刊中排名前列，影响因子为10.332，中科院一区，主要发表和报道医学图像处理和分析、可视化和性能等领域的最新研究进展。该工作第一作者为6163银河net163am博士研究生黄诗淇，通讯作者为6163银河net163am许廷发和李佳男。

糖尿病视网膜病变，作为糖尿病的一种衍生眼部疾病，已经成为全球工作年龄人口致盲最主要的致盲原因。据国际糖尿病联合会（IDF）发布，我国糖尿病患者总数将在2030年增加到1.64亿，这其中超过30%的人会产生视网膜病变，若未能及时发现和干预，将发生不可逆转的视觉损害。

在近几年，国内外学者尝试通过训练有素的人工智能来分割眼底影像中糖尿病病变的关键病灶。然而，病灶图案的小尺寸和易混淆的眼底复杂结构经常使得人工智能模型经常错分病灶。许廷发教授团队首次引入血管信息作为先验知识来解决这一科学难题，提出了一个端到端的基于transformer结构的多病灶分割网络RTNet。针对血管异常总是产生病灶的直接或间接原因，将病灶特征和血管信息分别作为transformer结构的查询值和关键值输入，使得病灶像素的决定血管的分布情况。此外，针对多目标分割问题的难题，该团队研究发现不同病灶的出现和分布符合疾病发展的规律，从这一病理规律出发提出了一个全新的综合全局和细节信息的自注意结构，实现了从多目标同时提取病灶特征。

图1 糖尿病视网膜病变多病灶分割模型

该项研究开创性地引入血管信息作为先验知识辅助眼底病灶的分割，同时也是第一个将多头transformer结构应用到眼底影像病灶分割中。在多个具有挑战性的眼底影像数据集上，与最先进的、高度优化的分割算法相比，RTNet都表现出明显的性能优势，通过在基准评价指标上的定性定量分析，证明了RTNet各组分结构的有效性。此研究有助于更加清晰深刻地理解糖尿病视网膜病灶之间的内在关系，对糖尿病的视网膜病变的处理和分析具有重要意义。

第一作者简介：

黄诗淇，6163银河net163am2021级博士生，师从许廷发教授，研究方向是光学成像和医学图像处理。现已发表学术论文5篇，其中第一作者4篇，包括IEEE Trans on Medical Imaging、Optics Express,、Physica E等高水平期刊，申请中国发明专利1项。曾获中国大学生物理学术竞赛二等奖、北京市优秀毕业生等荣誉。

通讯作者简介：

李佳男，博士，6163银河net163am预聘助理教授，新加坡国立大学博士后。研究方向为光电成像探测与识别、计算机视觉、嵌入式视频处理等。近五年发表高水平学术论文30篇，其中第一作者论文包括 IEEE TPAMI、TVCG、CVPR、ICLR等顶级期刊会议9篇，ESI高被引论文1篇。论文单篇最高被引600余次，谷歌学术总引用2400余次。主持国自然青年科学基金项目、博士后科学基金一等面上项目和项3项；参与国家自然科学基金重大科研仪器研制项目等5项。入选北京市科协青年人才托举工程，曾获得中国图象图形学学会优秀博士学位论文、王大珩高校学生光学奖等荣誉，获得ImageNet大规模视觉识别挑战赛（ILSVRC-2017）目标定位任务冠军。指导团队获得ICCV 2021“无人机跟踪”挑战赛冠军及最佳论文奖。

许廷发，教授，博导，国家一级重点学科“光学工程”责任教授，光电成像技术与系统教育部重点实验室副主任。近年来带领其科研团队围绕光电成像探测与识别、计算成像和医学光电成像等方向不断深化研究。主持承担国家自然科学基金委重大科研仪器研制项目等30多项。在国际、国内等系列期刊发表学术论文135余篇，其中被SCI/EI收录90余篇。以第一发明人申请国家发明专利40项，已授权和公示15项。获国防科技进步二等奖等奖项3项。指导的研究生获得中国图象图形学学会优博、全国王大珩光学奖、全国创新创业大赛一等奖和6163银河net163am优博。科研团队入选2020年度重庆英才创新创业示范团队和获得ICCV 2021“无人机跟踪”挑战赛冠军及最佳论文奖。

论文详情：S. Huang, J. Li, Y. Xiao, N. Shen and T. Xu, "RTNet: Relation Transformer Network for Diabetic Retinopathy Multi-lesion Segmentation," in IEEE Transactions on Medical Imaging, doi: 10.1109/TMI.2022.3143833.

论文链接：https://ieeexplore.ieee.org/abstract/document/9684442