快速迁移多源异构电网大数据到HBase的方法及系统

本发明公开了快速迁移多源异构电网大数据到HBase的方法及系统；包括如下步骤：连接电网数据库与HBase数据平台；电网数据库中的每一条数据均存在唯一的标识ID，电网数据库中的每一条数据均由标识ID+数据内容组成；根据唯一的标识ID建立ID映射表；选定数据源后，读取ID映射表，将ID映射表写入内存，ID映射表常驻内存；将ID映射表中的编码分别进行编码压缩，分别形成数据类ID行键和数据类内部ID行键；将数据类ID行键和数据类内部ID行键转化为字节数组；将数据类ID行键和数据类内部ID行键以及HBase的列名称qualifier按字节形式写入HBase表中。本发明实现了复杂的电力数据格式进行快速迁移。
国网山东省电力公司电力科学研究院 | 上海交通大学 | 国家电网公司
林颖 | 牛进苍 | 苏建军 | 李冬 | 郭志红 | 陈玉峰 | 祝永新 | 盛戈皞 | 李勇 | 吴观斌 | 杨祎 | 朱城铠 | 刘斌 | 王畅 | 马艳 | 李程启 | 耿玉杰 | 白德盟 | 石鑫