Linux 拨号vps windows公众号手机端

Ubuntu如何实现词频统计

lewis 6年前 (2019-11-11) 阅读数 11 #网络运维
文章标签 ubuntu

Ubuntu实现词频统计的示例:

使用shell实现简单的词频统计,例如:统计如下中第二列单词出现的次数。

1,huabingood,100

2,haha,200

3,huabingood,300

4,haha,100

5,haha,200

实现代码命令:

cat a.txt | awk -F "," '{print $2}' | sort | uniq -c | sort -nrk 1

代码解释:

awk -F "," '{print $2}' # 将数据按照逗号进行分割,并取出第二列的内容

sort  # 将取出的内容进行排序。因为uniq统计时,如果重复的数据不连续,就会被认为时两个不同内容的行

uniq -c  # 统计重复行出现的次数

sort -nrk 1  # 按照第一列重复的次数,按照数字顺序进行降序排列

版权声明

本文仅代表作者观点,不代表米安网络立场。

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

热门