EduNLP
docs_dev
Introduction
Welcome to EduNLP’s Tutorials and Documentation
Tutorial
Get Started
Standard Item Format
用户指南
入门
标准项目格式
成分分解
语法解析
令牌化
学习路线图
分词
分句
令牌化
向量化
示例
标准项目格式
成分分解
语法解析
令牌化
学习路线图
分词
分句
令牌化
向量化
预训练
API Reference
EduNLP
EduNLP.I2V
EduNLP.SIF
EduNLP.Formula
EduNLP
»
入门
»
令牌化
»
分句
Edit on GitHub
分句
¶
将较长的文档切分成若干句子的过程称为“分句”。每个句子为一个“令牌”(token)(待实现)。