上一篇：R语言-分析与绘图（3）：可视化入门

社交媒体的数据虽然大部分以文字形式呈现，但是其中包含的巨量信息在舆情分析、市场调研乃至政治手腕方面都能够发挥巨大的作用，具有深不可测的潜力，我们在本章节将要学习如何挖掘和分析这些数据，主要目的是复习之前学习的知识并新引入一些函数作为实际操作中的tricks，所以不要认为是单纯的复习课而已。

在这一部分我们需要用到一个新的包：jsonlite. 它可以让我们读取json数据并转换成R语言方便处理的格式。json格式可以理解成一种特殊的表格——字典（dict）格式，它的基本表达形式是“key：value”，表达了本条记录中的某个字段的值为某某。

在终端中输入以下命令安装jsonlite：

1
install.packages('jsonlite')

同样地，我们仍然需要用tidyverse处理dataframe数据，所以在教程的最开始我们先导入jsonlite和tidyverse两个包：

1
2
library(jsonlite)
library(tidyverse)

分析懂王的推文

读取json文件并转为dataframe

一切从简，本文主要是为了复习并综合实践前文所述的内容，因此不探讨如何抓取twitter timeline并导出为json格式的文件（假设你有一个助手使用twitterR工具包和twitter的auth key API已经帮你抓好并保存成了json文件，可以在这里下载），我们直接进行读取json文件的操作。

jsonlite包读取json文件的方法如下方代码所示：

1
2
3
# 读取文件DT_tweets.json并且转换为dataframe
Trumptweets <- fromJSON("DT_tweets.json") %>% as.data.frame
head(Trumptweets)

结果如下：

通过字段名称（key）和值（value）可以清晰地看出各列代表的意思，比如前面分别是发送时间、点赞数、粉丝数、推文id、转发数和发送源（设备、客户端或者网站），最右边因为太长了没有显示完整的text <chr>字段，代表的就是每条推文的文本内容：

如果想取出第一行的文本内容和点赞数，按照原来的方法，代码是：

1
Trumptweets[1,c('text', 'favourite_count')]

找出点赞最多的推文

用which.max()函数找出懂王点赞数最多的tweet。

1
2
3
4
5
# 如果这几行看不懂，建议抓紧复习第一篇
idx <- Trumptweets %>%
    summarise(which.max(favourite_count)) %>%
    as.numeric()
Trumptweets[idx, c('favourite_count','retweet_count')]

文本拼接的新方法

之前有学过拼接文本的方法paste()，而在实际应用中用到cat()的次数可能更多些。

cat()的用法其实差不多，区别是可以用sep='separator'定义拼接的方法，也就是定义分隔符是什么。python里学过\n是换行符的意思，所以如果我想用换行的方式拼接文本，就在括号内的最后加一个sep="\n"就可以：

1
cat('If you forgot how to concatenate strings, this may also help you.','The most popular of Trumps tweets is:', Trumptweets[idx, 'text'], sep="\n")

输出：

统计关于字数的信息

先计算每篇推文的字数。tidyverse有一个统计字符串长度的函数叫nchar(string_name)，除此之外，如果第一篇看透了就没啥好讲的哈！直接上代码：

1
2
3
4
5
6
Trumtweets <- Trumptweets %>%	# 定义输入和输出
    mutate(length = nchar(text)) # 新增一列length存储text的长度

Trumptweets %>%	# 只展示，不保存到变量
		select(length) %>%	# 选择要显示的列为新增的length列
    head()	# 显示前6行

接下来计算平均字数，这用到了之前学过的mean()函数，下面的代码计算出来应该是159.3：

1
2
3
# 计算字数这一列的平均值并保留一位小数
avg <- round(mean(Trumptweets$length), 1)
print(avg)

最后计算一下超过140字的推文数量，filter()可以帮助我们按照不等式条件筛选这些推文，而计算数量则可以使用count()函数实现。

1
2
3
4
len140 <- Trumptweets %>%
    filter(length > 140) %>% # 条件筛选
    count() # 计数
print(len140)

可以看到一共有3534条推文长达140字以上。懂王的屁话果然多。

分析关键词信息

我们想找出懂王的twitter中有多少关于“boarder”和“immigration”的推文，毕竟这是他老人家永恒的主题。为了去查找包含这些关键词的推文，我们使用函数str_detect()来进行规则匹配，以我们的任务举例：

1
ind = str_detect(Trumptweets$text,regex("border|immigration", ignore_case = TRUE))

函数的第一部分参数Trumptweets$text指示了我们搜寻的范围，第二部分参数是一个正则表达式语法regex()，在这里面的第一个参数"border | immigration"代表我们想要查找的关键词是“border”或者“immigration”，当然你也可以只写一个词；ignore_case=TRUE/FALSE代表是否忽略大小写规则，因为懂王很喜欢upper-case关键词发推文，所以我们当然要ignore大小写区别。TRUE和FALSE也可以写成T和F。完整代码如下：

1
2
3
4
5
6
7
8
9
# 输出一个代表每行text是否包含border或者immigration关键词的TRUE/FALSE序列
ind <- str_detect(Trumptweets$text,regex("border|immigration", ignore_case = TRUE))
# 打印序列前六个（前六行是否包含这两个关键词）
head(ind)
# 打印ind为TRUE（即包含这两个关键词的）前六个text
head(Trumptweets$text[ind])
# 最后两行对ind为TRUE的条目（包含这两个关键词的推文条目）进行计数
A=Trumptweets$text[ind]
print(length(A))

除了像上述这样处理，我们还可以从整个数据集中生成一些包含某个关键词的子集，使用str_subset()函数可以轻松实现这一点：

1
2
3
4
5
6
# 生成一个关于移民话题的text子集
immigration <- str_subset(Trumptweets$text,"immigration")
# 生成一个关于就业话题的text子集
jobs <- str_subset(Trumptweets$text,"employment")
# 尝试输出jobs子集的前六行
head(jobs)

你可能已经注意到了，上面两种函数str_detect()和str_subset()只能针对一个列Trumptweets$text进行操作，而且输出结果丢失了其他列的所有信息。如果既想进行查找，又想保留其他列的信息，可以把str_detect()函数与filter()函数结合使用，或者直接作为tibble的下标中的row index。

1
2
3
4
5
6
7
# 直接作为行标row index（记！得！留！逗！号！）
immigration_all <- Trumptweets[str_detect(Trumptweets$text,regex("immigration", ignore_case=T)),]
# 或者使用filter()
immigration_all <- Trumptweets %>%
        filter(str_detect(text,regex("immigration", ignore_case=T)))
head(immigration_all)

注意，条件表达式成立的标准是当其输出为TRUE的时候，即“条件 == TRUE”则成立；而在所有编程语言中默认“条件”等价于“条件 == TRUE”，“!条件”等价于“条件 == FALSE”。举例说明：

1
2
3
4
5
6
7
8
9
10
11
12
13
# 比如
immigration_all <- Trumptweets %>%
        filter(str_detect(text,regex("immigration", ignore_case=T)))
# 等价于
immigration_all <- Trumptweets %>%
        filter(str_detect(text,regex("immigration", ignore_case=T)) == TRUE)

# 相反地
immigration_all <- Trumptweets %>%
        filter(!str_detect(text,regex("immigration", ignore_case=T)))
# 等价于
immigration_all <- Trumptweets %>%
        filter(str_detect(text,regex("immigration", ignore_case=T)) == FALSE)

另一个非常有用的函数是str_extract()，它和str_detect()的用法相似，唯一不同就是它输出的序列是包含某些关键词的序列中的每一条究竟包含了哪个关键词。如果理解困难的话可以直接看例子：

1
2
3
4
5
6
# 输出每一行包含了mexico、border、wall三个词当中的哪些，如果均不包含则输出NA
border_wall <- str_extract(Trumptweets$text, regex("mexico|border|wall", ignore_case=T))
# 前几条推文都不包含所以是NA
head(border_wall)
# 用na.omit()去掉不包含这两个关键词的NA条目，就打印出来了包含这些关键词的前几条推文分别包含哪个关键词
head(na.omit(border_wall))

函数str_starts()和str_ends()分别代表寻找以某些关键词开头或结尾的文本，其用法和上面的str_subset()一样，都是输入一列文本+关键词；输出则是一个TRUE或FALSE组成的、和整个数据集等长的序列。

1
2
3
4
5
6
# 检索以“BIG”开头的推文
BIG <- str_starts(Trumptweets$text, "BIG")
# TRUE/FALSE序列的长度就是整个数据集的长度，因为要给每一行一个判定结果（有还是没有）
length(BIG)
# 但是sum函数统计的就是TRUE的数量了，这句话等价于sum(BIG==TRUE)
sum(BIG)

我们发现懂王居然只发了一条BIG开头的推特，非常的鹅妹子嘤。上面这个sum()函数的用法也可以拓展到其他几个字符串判定函数上，我们举几个简单的例子：

1
2
3
4
5
6
7
immigration <- sum(str_detect(Trumptweets$text,regex("immigration", ignore_case=T)))
jobs <- sum(str_detect(Trumptweets$text,regex("employment", ignore_case=T)))
other <- sum(!str_detect(Trumptweets$text,regex("employment|immigration", ignore_case=T)))

paste("the number of tweets about immigration =", immigration)
paste("the number of tweets about employment =", jobs)
paste("the number of tweets NOT about employment or immigration =", other)

这几行我刻意不写注释了。聪明的你，一定知道我在干什么。输出是下面这样……算了输出我也不给了，不如你自己来跑一下。

做了这么多分析，也该给老板贡献一点可视化结果了，我们用上次学的ggplot2画个图。首先计算四个数据：

  • 包含边境、移民关键词的twitter数量
  • 包含工作、失业关键词的twitter数量
  • 不包含上述关键词的twitter数量
  • 懂王推文的总数（使用nrow()函数）
1
2
3
4
5
6
7
8
# 包含边境、移民关键词的twitter数量
number_border <- sum(str_detect(Trumptweets$text,regex("border|immigration|wall", ignore_case=T)))
# 包含工作、失业关键词的twitter数量
number_jobs <- sum(str_detect(Trumptweets$text,regex("job|work|unemployment", ignore_case=T)))
# 不包含上述关键词的twitter数量
number_other <- sum(!str_detect(Trumptweets$text,regex("job|work|unemployment|border|immigration|wall", ignore_case=T)))
# 懂王推文的总数（使用nrow函数）
tot_tweets <- nrow(Trumptweets)

然后分别计算前三个数据占推文总数的百分比，并新建一个data.frame把这三个值放进去以方便画图：

1
2
3
4
5
6
perc_border=(number_border/tot_tweets)*100
perc_jobs=(number_jobs/tot_tweets)*100
perc_other=(number_other/tot_tweets)*100
# 新建一个为了画图的dataframe，抽象理解一下，两行分别是label和perc，三列分别是xxxxx
perc_all = data.frame(labels=c('Border Security','Others', 'Jobs'),
                      percentage=c(perc_border,perc_other,perc_jobs))

最后画图：

1
2
3
4
5
6
7
8
#  先画条形图,记得fill=labels是按照label区分填充色的意思
bp<- ggplot(perc_all, aes(x="",y=percentage, fill=labels))+
  geom_bar(width = 1, stat = "identity") + xlab("")
# 再转成以百分比为轴的饼状图
pie <- bp + coord_polar("y", start=0)
# 调整尺寸
options(repr.plot.width=5, repr.plot.height=5)
print(pie)

分析时间轴信息

这里需要一个叫做lubridate的包，我们已经提前装好了，直接引入即可。

这个包有一个函数ymd_hms()，给它输入一个格式为年-月-日 时:分:秒时间字符串（你说巧不巧我们刚好是这个，其实这是标准时间格式的一种啦），它可以给你输出一个时间对象。这个时间对象和时间字符串长的差不多，但是最大区别是你可以通过某些方法取出它的日期或者小时等数据，比如我们这里只想分析日期，你就可以用date(对象名称)函数从时间对象里取出日期。

1
2
3
4
5
6
7
# 引入lubricate
require(lubridate)

Trumptweets <- Trumptweets %>% 
# 把字符串格式的时间转为时间对象格式
    mutate(Date = ymd_hms(created_at))
head(Trumptweets["Date"])

我们想要按照日期分组，分析每天的点赞和转发数。使用上文说的date(对象名称)函数从时间对象里取出日期，用这玩意做一个group_by()然后用summarize()包裹sum()去求一下点赞和转发各自的数量之和。

1
2
3
4
5
6
7
8
# 我们直接输出一个新表叫grouped_tweets
grouped_tweets <- Trumptweets %>%
                # 用date()可以取日期，类似地还可以用year()取年，用month()取月份之类的，自己试着玩
                    group_by(days=date(Date)) %>%
                    # 计算转发、点赞数
                        summarise(retweets = sum(retweet_count),
                                 Likes = sum(favourite_count))
head(grouped_tweets)

最后，用grouped_tweets这么棒的一个表格画个折线图反应点赞和转发随着日期的变化趋势吧。

1
2
3
4
5
6
7
8
9
# 画个点赞曲线，x轴是日期
pl <- ggplot(grouped_tweets, aes(x=days,y=Likes)) + geom_line(aes(colour="Likes"))
# 再加个转发曲线，x轴还是日期
pl <- pl + geom_line(aes(x=days,y=retweets, colour = "retweets"))
# 手动定义一下颜色（真的脱裤子放屁，为啥不直接在上面写颜色）
pl <- pl + scale_colour_manual(name='', values=c('retweets'='blue', 'Likes'='red'))
# 写一下x轴和y轴标签
pl <- pl + xlab("Date and time") + ylab("Daily retweets, likes and fans")
print(pl)

原来这货真的一直在涨粉吗……？