基于Spark云网络的海洋大数据主从索引系统及方法

本发明涉及一种基于Spark云网络的海洋大数据主从索引系统及方法，尤其适用于具有空间自相关性、强相似性、实时等特点的海洋大数据；将大数据时代物联网、云计算等技术应用于分布式索引领域，以物联网作为海洋信息采集的触角，依托聚类思想设计数据划分策略，并将数据分布式部署和存储到各物理云；结合多层主从索引结构实现多源海洋数据快速一站式调用，满足各类海上预警及应急模型中高性能计算、强实时反馈、高频度查询等需求。采用该种结构的基于Spark云网络的海洋大数据主从索引系统及方法，以物理云存储为基础，保证了多源数据毫秒级查询响应需求，从而聚焦快速实时灾害反演及预警，加快了海洋防灾减灾等的数字化和信息化进程。
上海海洋大学
黄冬梅 | 赵丹枫 | 孙乐 | 郑小罗 | 徐慧芳 | 许琼琼