词频统计与去噪 - 在线文本词频统计与去噪

实时统计词频与占比条、过滤停用词、去标点重复,导出 CSV 与清洗后文本,更省 Token

词频统计与去噪 · 使用说明

词频统计与去噪工具统计文本中每个词或单字的出现次数与占比,按频次排序列出并绘制占比条;可过滤常见中英文停用词、忽略大小写、合并词形,并输出清洗后的文本(去标点、压缩空白、去重复)。适合快速摸清一篇文章或一批评论的重点,也能把长文本压得更紧凑以节省 Token。统计与清洗全部在浏览器本地完成。

示例

输入
the quick brown fox jumps over the lazy dog
输出
quick 1 / brown 1 / fox 1 / jumps 1 / lazy 1 / dog 1(the/over 被过滤)

如何使用

  1. 粘贴任意文本到输入框
  2. 设置「最少出现次数」与「最多展示」条目,勾选过滤停用词 / 忽略大小写
  3. 查看词频表,复制下方的清洗后文本

小贴士

  • 中英文混合文本会智能分词
  • 停用词默认开启,适合中文与英文常用词
  • 清洗后文本更省 Token,适合给 AI 预排版

常见问题

词频统计会上传我的文本吗?

不会。分词与统计全部在浏览器本地完成,文本不会上传任何服务器,与站内 文本去重 等本地工具一致,可放心处理业务或待办明文。

中英文都能统计吗?

都能。英文按单词统计,纯中文按单字统计,中英混合时逐句拆成“单词 + 单字”分别计数,先经 字符统计 可看总字数基准。

“清洗后文本”会删掉原文吗?

不会真的改变你的源文件,它只是生成一份去掉标点、压缩空行、可选去掉停用词的副本,方便直接粘给 AI;对结果不满意可取消勾选“过滤停用词”再生成。

Token 真的会变少吗?

通常会更精通。去掉停用词与多余空白后,重复内容与噪音更少,配合 Token 估算 可先量化再决定要不要精简。

想统计词频又想保留原文?

本工具始终保留输入框原文,只把结果与清洗副本单独展示;需要对比原意与清洗后的差异,可用 文本 Diff 直观对照。

📂

松开以自动格式化

支持 .json / .sql / .csv / .html / .css / .xml / .yaml 文件