北京大学未来技术学院教授席鹏领导的团队,成功研发出一种名为LargePNet的大视野通用型荧光成像复原网络,解决了AI辅助荧光成像中“管中窥豹”的难题。

此前,科学家在利用显微镜观察活细胞时,面临着高光照强度可能损伤细胞,而低光照又导致图像模糊的困境。深度学习技术虽然能够从低光照图像中恢复高清画面,但现有AI模型普遍采用将大于512×512像素的大图分割成小块进行训练的方法,这种方式如同让AI通过“碎照片”学习,每块信息量有限。

席鹏解释道,自然图像因内容丰富且小块间差异明显,适合分割训练。然而,荧光成像不同,重复的细胞器结构在小视野下难以区分“结构”与“噪声”,关键信息往往蕴含在大尺度全局关联中。使用“碎照片”训练的AI,在处理完整大图时,因缺乏全局认知,常导致保真度不足和抗噪性差,无法理解如微管蛋白纤维贯穿整张图像的长程关联。

为应对此挑战,团队提出了LargePNet。其核心在于直接使用大于512×512像素的大视野图像训练AI,使模型在训练阶段就能完整学习细胞结构的上下文关联和全局统计信息。为克服直接处理大图带来的感受野不足和计算量过大的问题,LargePNet巧妙地融合了全局“骨架”与局部“细节”,实现了全面的视野和清晰的成像。

该技术的应用效果显著。在降噪、去模糊等八项典型任务中,LargePNet相较于现有最先进的复原网络,峰值信噪比提升了0.5至2分贝,大图推理效率提高了4至20倍。团队成功实现了长达30小时、分辨率为200纳米的活细胞亚细胞器动态成像,稳定捕捉了细胞骨架的动态变化,并清晰呈现了内质网、线粒体和微管三种细胞器的相互作用。

此外,团队还发现,当小图块与大视图的统计信息偏差越大时,LargePNet的复原优势越明显。这意味着研究者可以根据自身数据的特点,选择是否启用LargePNet。目前,该团队已将所有Python源码、训练数据和模型开源,供全球科研人员使用。