一种医学知识增强的图文预训练系统及方法

本发明涉及医学人工智能技术领域，具体公开了一种医学知识增强的图文预训练系统及方法，所述系统包括：数据获取模块，用于获取一辆数据中的文本‑图像数据对；三元组化理模块；用于对于数据获取模块的医学文本进行三元组化的预处理，其中三元组包含三个部分：实体名称、实体位置、实体存在与否；多模态融合训练模块，用于对图像进行编码并结合实体描述内容，通过融入编码器。本发明利用医学实体过滤技术重构出的实体层面的全新医疗预训练范式；利用医学描述编码的医学图文预训练的知识融合技术；利用transformer结构实现的预训练系统中较好的病灶定位功能。