网站用户行为分析项目之会话切割（二）

最新推荐文章于 2022-02-17 22:51:10 发布

邵奈一

最新推荐文章于 2022-02-17 22:51:10 发布

阅读量1.1k

点赞数 4

CC 4.0 BY-SA版权

分类专栏：大数据项目实战复制粘贴玩大数据系列教程大数据文章标签：会话切割 spark 大数据行为分析

本文链接：https://blog.csdn.net/shaock2018/article/details/100775214

本文是网站用户行为分析项目系列的第二篇，主要介绍如何使用Spark进行会话切割。首先回顾了数据处理流程，然后详细讲解了按照cookie和user进行分组、日志排序、会话切割、生成会话、添加domain_label和cookie_label字段的步骤。通过这些操作，将原始数据转化为结构化的会话信息，并展示了结果。文章结尾还提及了遇到的错误和解决方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

0x00 教程内容

项目分析
编程实现
结果展示

在上一教程：网站用户行为分析项目之会话切割（一）我们已经做了很多准备工作，包括最后一步是实现了过滤不合法的数据，现在先来回顾一下我们的数据变化流程。

0x01 项目分析

1. 项目回顾

数据流程回顾（原始数据 => rawRDD => parsedLogRDD）

a. 原始数据：

#type|server time|cookie|ip|url
pageview|2017-09-04 12:00:00|cookie1|127.0.0.3|https://www.baidu.com
click|2017-09-04 12:00:02|cookie1|127.0.0.3|https://www.baidu.com
pageview|2017-09-04 12:00:01|cookie2|127.0.0.4|https://www.baidu.com
click|2017-09-04 12:00:04|cookie1|127.0.0.3|https://www.baidu.com
pageview|2017-09-04 12:00:02|cookie2|127.0.0.4|http://news.baidu.com
click|2017-09-04 12:00:03|cookie2|127.0.0.4|http://news.baidu.com
pageview|2017-09-04 12:00:04|cookie2|127.0.0.4|http://music.baidu.com/?fr=tieba
pageview|2017-09-04 12:45:01|cookie1|127.0.0.3|https://tieba.baidu.com/index.html
click|2017-09-04 12:45:02|cookie1|127.0.0.3|https://tieba.baidu.com/index.html
click|2017-09-04 12:45:03|cookie1|127.0.0.3|https://tieba.baidu.com/index.html
hhhh|2017-09-04 12:45:03|cookie1|127.0.0.3|https://tieba.baidu.com/index.html
3333ss|2017-09-04 12:45:03|cookie1|127.0.0.3|https://tieba.baidu.com/index.html

b. 加载数据后，生成了rawRDD，接着尝试将RDD转化成了下面的格式：

None
Some({
   
   "log_type": "pageview", "log_server_time": "2017-09-04 12:00:00", "cookie": "cookie1", "ip": "127.0.0.3", "url": "https://www.baidu.com"})
Some({
   
   "log_type": "click", "log_server_time": "2017-09-04 12:00:02", "cookie": "cookie1", "ip": "127.0.0.3", "url": "https://www.baidu.com"})
Some({
   
   "log_type": "pageview", "log_server_time": "2017-09-04 12:00:01", "cookie": "cookie2", "ip": "127.0.0.4", "url": "https://www.baidu.com"})
Some({
   
   "log_type": "click", "log_server_time": "2017-09-04 12:00:04", "cookie": "cookie1", "ip": "127.0.0.3", "url": "https://www.baidu.com"})
Some({
   
   "log_type": "pageview", "log_server_time": "2017-09-04 12:00:02", "cookie": "cookie2", "ip": "127.0.0.4", "url": "http://news.baidu.com"})
Some({
   
   "log_type": "click", "log_server_time": "2017-09-04 12:00:03", "cookie": "cookie2", "ip": "127.0.0.4", "url": "http://news.baidu.com"})
Some({
   
   "log_type": "pageview", "log_server_time": "2017-09-04 12:00:04", "cookie": "cookie2", "ip": "127.0.0.4", "url": "http://music.baidu.com/?fr=tieba"})
Some({
   
   "log_type": "pageview", "log_server_time": "2017-09-04 12:45:01", "cookie": "cookie1", "ip"