AI医疗新纪元：复旦王烁研究员引领多模态医学人工智能技术革新

在人工智能与医疗健康深度融合的今天,AI技术正以的速度推动着医疗行业的革新与进步。AI医疗不仅提高了医疗服务的精准性和效率,更为患者带来了更加便捷、的诊疗体验。

王烁是复旦大学数字医学研究中心的青年研究员,因其在AI+医疗领域的探索和成果,以“基于飞桨平台的大规模人群心脏数字孪生研究”课题获得2023年CCF-百度松果基金(以下简称“松果基金”)的支持。

松果基金于2020年由百度与中国计算机学会(CCF)共同发起,是目前国内基于中国自主研发、开源开放、功能丰富的产业级深度学习平台飞桨和产业级知识增强大模型文心大模型设立的科研基金。通过为期一年的课题项目,基金为青年学者提供数百万课题基金,以及价值千万的平台、数据、技术等多维度支持,全球 AI 创新人才搭建产教融合及学术交流的平台。

在松果基金的支持下,王烁开展了一系列面向临床诊疗的多模态医学人工智能(AI for Multi-Modal Medicine, AIM3)工作。基于多模态医学大数据,结合生成式人工智能(Generative AI)和科学智能(AI for Science,AI4S),实现了大规模人群的心脏数字孪生,为心脏疾病的早期发现和精准治疗提供有力工具。

与此同时,为提高全社会对于新生儿先天性耳畸形这一疾病的重视,王烁利用百度文心大模型强大的自然语言处理和跨模态信息分析的能力,与复旦大学附属眼耳鼻喉科医院整形外科张天宇、傅窈窈主任团队合作,训练新生儿耳畸形识别模型,研发新生儿耳畸形鉴别与科普问答插件——Fdear。用户通过上传新生儿耳朵图片至Fdear,即可得到耳畸形鉴别结果。Fdear既能精准判断耳朵是否存在畸形,还能初步判断属于哪种畸形。

王烁研究员在2024文心大模型生态大会报告

除此之外,对于耳畸形的治疗,Fdear提供基于大模型的互动式问答科普,给出关于治疗期、手术期的一系列注意事项。该插件不但为需要初步自查的用户提供了便利,将来也可以作为卫生课的教学工具、儿童保健的科普工具等。

王烁研究员在科研工作中

复旦大学数字医学研究中心与百度的深度合作,是对AI在医疗领域应用的一次大胆且富有成效的尝试。事实上,松果基金成立5年以来,已经支持了众多像王烁这样的青年科学家。他们在各自的研究领域内取得了实质性进展。相信在未来,随着更多青年科研人才的崛起和科研成果的转化应用,AI医疗技术将在更多领域发挥重要作用。松果基金将继续发挥其独特作用,为青年学者提供更多元化的支持和帮助,助力他们在AI领域取得更大的科研成果。