中文网页数据编码、解码方法及系统

摘要

本发明提供了一种中文网页数据编码方法，包括：从当前处理的中文网页数据的第一个字符开始，根据预先设置的词库进行分词处理，以确定是否存在与预先设置的词库中的词匹配的以该第一个字符开始的分词；在存在匹配的以该第一个字符开始的分词时，利用与该分词匹配的词的对应Unicode编码替换该分词，或者在不存在匹配的以该第一个字符开始的分词时，利用该第一个字符的Unicode编码替换该第一个字符；以及从当前处理的中文网页数据中去除已经被替换成Unicode编码的部分，作为下一当前处理的中文网页数据，重复执行上述处理，直到中文网页数据被完全替换为Unicode编码流。利用该方法，可以节省编码后的数据流的占用空间，由此减少中文网页数据的存储空间以及数据传输流量。

主权项

一种中文网页数据编码方法，包括：从所获取的要被压缩的中文网页数据的第一个字符开始，重复执行下述过程，直到该所获取的中文网页数据全部替换成Unicode编码为止：从当前处理的中文网页数据的第一个字符开始，根据预先设置的词库，对该中文网页数据进行分词处理，以确定是否存在与预先设置的词库中的词匹配的以该第一个字符开始的分词；在存在与预先设置的词库中的词匹配的以该第一个字符开始的分词时，在当前要被压缩的中文网页数据中，利用与该分词匹配的词的对应Unicode编码替换该分词，或者在不存在与预先设置的词库中的词匹配的以该第一个字符开始的分词时，在当前要被压缩的中文网页数据中，利用该第一个字符的Unicode编码替换该第一个字符；以及从当前处理的中文网页数据中去除已经被替换成Unicode编码的部分，作为下一当前处理的中文网页数据。