时序稀疏与动态反馈的多模态大模型推理方法

本发明公开了一种时序稀疏与动态反馈的多模态大模型推理方法，通过稀疏采样策略与动态反馈推理机制，提升模型分析精度和处理效率，有效解决深海地质视频分析中的关键挑战。该方法包括：通过整合多源海洋数据构建结构化图文数据集，构建三级标注体系；基于多模态大模型架构，采用LoRA技术对Transformer核心模块进行参数优化；设计时序稀疏采样与动态反馈推理机制，通过滑动窗口和双向队列实现上下文帧管理，结合稀疏采样策略降低计算复杂度并利用历史预测结果增强时序推理一致性。本发明通过多模态数据处理、高效模型优化和智能推理机制的协同创新，实现深海地质分析精度与效率的同步提升，为海洋地质研究提供可靠的智能化方案。
之江实验室
李少杰 | 施钧辉 | 郝永富 | 王若凡 | 赵嘉琪