词频分析器
分析最常用词语、总词数、不同词数及占比。浏览器支持时会使用符合当前语言的分词功能。
分析一段文本中每个词出现的频率,并显示总词数、唯一词数、每个词的次数和占比。结果按出现频率从高到低排序,可显示前1到500个词。
如何分析词频
- 粘贴要分析的文本。
- 设置要显示的高频词数量,范围为1到500。
- 运行分析。
- 查看标准化后的词、出现次数和占全部词的百分比。
- 同时查看总词数和唯一词数摘要。
词语如何被识别和统计
如果浏览器支持,分析器会按照当前界面语言使用Intl.Segmenter的word粒度进行分词。被判定为word-like的片段会先按locale转换为小写再计数,因此大小写变体会合并。
如果没有Intl.Segmenter,则使用后备规则识别Unicode字母和数字的连续序列,并允许词内部包含直引号或弯引号。结果先按次数降序排列,次数相同时再按当前locale的字符串排序规则排列。
隐私与限制
文本分析在浏览器本地运行,不会为了分析而有意把原文发送到服务器。词语边界会受到浏览器、locale以及Intl.Segmenter实现的影响,因此可能与专业语言分析工具不同。百分比只以检测到的word-like词元为基础,不包含字符或句子数量。
常见问题
大写和小写会分别统计吗?
不会。统计前会按当前locale转换为小写。
支持中文、日文和韩文吗?
现代浏览器可通过Intl.Segmenter进行locale-aware分词,但具体边界取决于浏览器实现。
最多可以显示多少个词?
界面最多显示前500个词。
百分比如何计算?
用该词出现次数除以检测到的总词元数。
会自动删除停用词吗?
不会。工具会统计检测到的词,不会自动排除常见词。