一种基于图形处理器GPU的分词方法和装置

摘要

本申请实施例提供了一种基于图形处理器GPU的分词方法，其中，所述的图形处理器GPU包括：内存、多个线程集合；所述的方法包括：将预设的分词词典以及预先获取的待分词文本加载到图形处理器GPU的内存中；确定当前GPU中的可用的线程集合；将所述分词词典，分配到一个或多个可用的线程集合中；采用所述一个或多个可用的线程集合对所述待分词文本进行分词。本申请实施例通过将分词词典加载到GPU中的多个线程集合中，采用多个线程集合对待分词文本进行分词；在每一个线程集合中通过多个可用的线程单元对待分词文本的一部分进行分词；有效利用GPU内存的高带宽以及并行计算能力，提高分词速度。

主权项

一种基于图形处理器GPU的分词方法，其特征在于，所述的图形处理器GPU包括：内存、多个线程集合；所述的方法包括：将预设的分词词典以及预先获取的待分词文本加载到图形处理器GPU的内存中；确定当前GPU中的可用的线程集合；将所述分词词典，分配到一个或多个可用的线程集合中；采用所述一个或多个可用的线程集合对所述待分词文本进行分词。