通用型视觉语言模型ALPaCA实现千兆像素全切片病理图像的玻片级问答能力
发布时间:2026-09-23 14:36:10
西安交通大学联合多机构,研发通用型视觉语言模型ALPaCA(Adapting Llama for Pathology Context Analysis),实现千兆像素全切片病理图像的玻片级问答能力。
ALPaCA基于“全景地图+问题驱动显微镜”混合机制:先从不同放大层级提取切片特征并概括全片的代表性形态,形成病理“全景地图”;再根据具体问题,从海量信息中精准检索相关区域。通过融合整体与局部信息,ALPaCA既能把握切片全貌,又能追踪与当前问题相关的关键细节。
在包含337例独立留出病例的内部测试集中,设置2403道封闭式问题和1641道开放式问题。性能最优的ALPaCA在封闭式问答中的总体准确率达91.76%,比通用大视觉语言模型(Gemini-2.0、GPT-4o)基线高28.21个百分点;两名病理专家结合原始切片,对全部道开放式问题进行复核,在可由已有切片回答的1,357道开放式问题中,ALPaCA完全正确或部分正确的回答占70%以上。(信息来源:西安交通大学)
具体内容参见:
http://news.xjtu.edu.cn/info/1004/234358.htm