一种训练数据的处理方法及装置

摘要

本发明公开了一种训练数据的处理方法及装置，其中该方法包括:获取训练数据，并确定训练数据的原始特征空间，原始特征空间为训练数据原始的特征数据存储结构；对原始特征空间进行扫描统计，并根据统计结果建立全局索引；根据全局索引将训练数据映射到实际特征空间，实际特征空间为根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构；利用实际特征空间的训练数据进行模型训练。本发明实施例通过全局索引将训练数据做一次映射，将稀疏的存储结构转换为稠密的存储结构，不仅大大的减少了存储空间的消耗，还提升了模型的网络传输速度和模型训练更新的速度。

主权项

一种训练数据的处理方法，其特征在于，包括：获取训练数据，并确定所述训练数据的原始特征空间，所述原始特征空间为训练数据原始的特征数据存储结构；对所述原始特征空间进行扫描统计，并根据统计结果建立全局索引；根据所述全局索引将所述训练数据映射到实际特征空间，所述实际特征空间为根据在原始特征空间内实际存储有特征数据的位置而构成的存储结构；利用实际特征空间的训练数据进行模型训练。