匿名互联网用户人口统计属性推断与网络使用会话聚类研究

### 匿名互联网用户人口统计属性推断与网络使用会话聚类研究 #### 1. 匿名互联网用户人口统计属性推断 在对匿名互联网用户进行人口统计属性推断时，首先需要对验证数据进行平衡处理，使其包含所考虑的因变量值的真实比例。例如，在对“性别”这一人口统计变量进行建模时，使用的 20000 条验证观测数据中，包含 9200 条女性观测数据和 10800 条男性观测数据，这是因为相关机构告知 1998 年 7 月互联网用户的真实男女比例为 54/46。 ##### 1.1 模型性能评估 将训练好的模型应用于验证数据集后，会对得到的输出值按降序排序，并将其划分为十个大小相等的组，这就是常见的 10%增益分布。我们将最高增益桶中的提升值作为模型性能的衡量指标。例如，如果发现最高增益桶中 59%的观测数据属于女性互联网用户，而随机情况下该比例仅为 46%，那么模型带来的提升值就是这两个值的差值，即 13%。 同时，增益桶边界对应的神经分数用于为匿名互联网用户分配推断结果和相关的置信度值。例如，若最高增益桶中的 1000 条观测数据中有 750 条属于女性互联网用户，那么对于神经分数处于该最高增益桶的匿名互联网用户，我们会赋予其“女性”的推断结果，并关联 75%的置信度值。为了便于报告，我们允许增益分布的边界浮动，以产生置信度值为 10 的整数倍的结果。 ##### 1.2 实验过程 为了支持既定的科学和技术目标，进行了一系列实验，具体如下： |实验编号|实验内容|实验结果| | ---- | ---- | ---- | |实验 #1|创建基线模型。收集 38833 个热门网页，使用 SMART 进行处理，利用 SVDPACKC 的 las2 实用程序进行奇异值分解，基于 20 天的互联网使用数据为建模数据集创建 LSA 向量。|在对“性别”这一人口统计变量进行建模时，得到的神经模型在最高 10%增益桶中比随机情况提升了 8%。| |实验 #2|评估使用不同文档集合的效果。将文档集合的大小增加到 83196 个文档。|在对“性别”进行建模时，得到的模型在最高 10%增益桶中比随机情况提升了 12%。后续实验切换到更大的文档集合。| |实验 #3|评估改变数据收集周期的效果。将建模周期从 20 天减少到 10 天。|未检测到模型性能有明显差异。| |实验 #4|评估各种词项加权方案的效果。对 SMART 输出进行后处理以实现对数词项加权方案，之后又使用对数 - 熵词项加权方案再次进行实验。|第一次实验未得出结论性结果，第二次实验观察到模型性能略有下降。| |实验 #5|评估改变导出奇异值数量的效果。将奇异值的数量从 182 减少到 100。|观察到模型性能略有下降。| |实验 #6|评估将词项和文档向量归一化为单位长度的效果。|在对“性别”进行建模时，得到的模型在最高 10%增益桶中比随机情况提升了 18%。该模型能为验证数据集中 20%的互联网用户进行性别推断，“女性”推断的置信度为 64%，“男性”推断的置信度为 72%，达到了研究的第一个目标。| |实验 #7|评估将网页向量组合成网站向量的效果。之前的实验中每个文档向量代表一个单独的网页，本实验将与同一网站相关的所有文档向量组合成一个单一的网站向量。|在对“性别”进行建模时，得到的模型在最高 10%增益桶中比随机情况提升了 26%。该模型能为验证数据集中 20%的互联网用户进行性别推断，“女性”推断的置信度为 72%，“男性”推断的置信度为 80%。| 以下是部分实验在最高 10%增益桶中相对于随机情况的百分比提升图： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(实验 #1):::process --> B(8%):::process C(实验 #2):::process --> D(12%):::process E(实验 #6):::process --> F(18%):::process G(实验 #7):::process --> H(26%):::process ``` #### 2. 网络使用会话聚类 随着万维网的快速发展，许多组织将信息发布在网络上并提供基于网络的服务，如在线购物、用户反馈、技术支持等。网络挖掘，即网络知识发现，已成为一个有趣的研究领域。网络挖掘大致可分为网络内容挖掘和网络使用挖掘，其中网络使用挖掘中的一个重要主题是网络使用会话的聚类。 ##### 2.1 网络使用会话聚类的背景和意义 网络使用会话是指网络用户与网络服务器之间的一次交互过程，包括用户在该过程中访问的页面以及在每个页面上花费的时间。由于网络用户数量众多且具有多样性，研究单个会话显然不现实。因此，将会话基于其共同属性进行聚类是网络使用挖掘中的重要步骤。通过分析这些聚类的特征，网站管理员可以更好地理解网络使用情况，并为用户提供更合适、定制化的服务。会话聚类可以为教育和电子商务等许多应用提供非常有用的工具。 ##### 2.2 网络服务器日志 网络服务器日志是几乎所有网络使用挖掘的数据源，它包含用户访问的记录。每条记录代表一个网络用户（客户端）的页面请求，典型的记录包含客户端的 IP 地址、请求接收的日期和时间、请求的页面 URL、请求的协议、服务器指示请求处理状态的返回代码以及请求成功时页面的大小。以下是来自密苏里 - 罗拉大学（UMR）Web 服务器日志的示例： ```plaintext john.cs.umr.edu - - [01/Apr/1997:01:20:01 -0600] "GET /~regwww/ssfs97/fs97.html HTTP/1.0" 200 1094 john.cs.umr.edu - - [01/Apr/1997:01:20:01 -0600] "GET /~regwww/ssfs97/rdball.gif HTTP/1.0" 200 967 john.cs.umr.edu - - [01/Apr/1997:01:20:17 -0600] "GET /~regwww/ssfs97/depf97.html HTTP/1.0" 200 5072 john.cs.umr.edu - - [01/Apr/1997:01:21:08 -0600] "GET /~regwww/ssfs97/ecf97.html HTTP/1.0" 200 12146 ``` ##### 2.3 现有聚类方法及问题 在网络使用会话聚类中，通常从网络服务器日志中提取会话并使用聚类算法进行聚类。目前已经有很多关于聚类的研究，并且开发了大量的算法。最近，数据库领域提出了一种名为 BIRCH（Balanced Iterative Reducing and Clustering using Hierarchies）的算法，它具有一些适合我们需求的特点： - 通常只需对数据集进行一次扫描就能创建良好的聚类，算法复杂度为 O(n log(n))，因此对于非常大的数据集具有良好的扩展性。 - 以层次结构构建聚类，高层聚类可以进一步划分为子聚类等，高层聚类可能代表反映一般共同兴趣的会话，而其子组则代表更具体的共同兴趣。 - 是一种增量算法，当有新数据到来时，聚类可以增量更新，而无需从头开始。 然而，直接将 BIRCH 应用于上述原始用户访问数据效率非常低，并且可能无法找到许多有趣的聚类，原因如下： - 网络服务器通常包含数千甚至数百万个页面，将每个会话表示为一个高维向量（其中每个维度代表一个页面）显然不切实际。稀疏表示会导致聚类的维度动态变化，即当添加新向量时，聚类质心的非稀疏项可能会增加，这会给内存和存储管理以及数据结构处理带来很大的开销。 - 我们的目标是对具有相似访问模式的会话进行聚类，但由于网络用户的多样性，很难找到许多具有共同页面的会话，这将导致要么聚类规模较小，要么聚类之间的相似性较低。实际上，更有可能找到对页面主题有共同兴趣的群体。 基于以上观察，我们提出了一种基于泛化的聚类方法，该方法结合了属性导向归纳和 BIRCH 算法来生成会话的层次聚类。具体步骤如下： 1. **会话识别**：对服务器日志数据进行处理，识别出会话。 2. **会话泛化**：使用属性导向归纳方法，根据页面层次结构（一种基于页面主题组织网页的层次结构）对会话进行泛化，这将大大降低数据的维度。 3. **聚类操作**：使用 BIRCH 算法对泛化后的会话进行聚类。 与之前的网络使用会话聚类方法相比，我们的方法具有以下优势： - 会话的泛化使我们能够找到原始会话中无法找到的聚类，这些额外的聚类代表了更高抽象层次的相似性。同时，对泛化会话的聚类仍然可以找到原始会话中的聚类，因为泛化是根据试图保留页面原始结构的页面层次结构进行的。 - 由于泛化，会话的维度大大降低，这不仅降低了计算复杂度，还放宽了内存要求。实际上，在许多情况下，如果不进行泛化，BIRCH 算法无法运行或无法给出有意义的聚类结果（它会生成单个聚类）。 以下是我们方法的流程示意图： ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(服务器日志数据):::process --> B(会话识别):::process B --> C(会话泛化):::process C --> D(使用 BIRCH 聚类):::process D --> E(得到聚类结果):::process ``` ### 匿名互联网用户人口统计属性推断与网络使用会话聚类研究 #### 3. 人口统计属性推断实验结论 通过一系列实验，我们得出了关于匿名互联网用户人口统计属性推断的重要结论。 首先，研究表明，对于那些无法直接获取人口统计信息的互联网用户，进行人口统计推断是切实可行的。尽管在某些人口统计类别（如 55 岁以上年龄段）的推断结果不佳，但我们已经证实，能够以至少 60%的置信度为一部分互联网用户推断出人口统计事实。这些推断基于在参与网站上收集的（最多）90 天内的使用数据，例如用户输入的搜索词、访问的网页等。 我们还发现，如果某个人口统计变量特定值的真实比例较低（例如低于 30%），则相应的模型无法以高于 60%的置信度对该值进行推断。这是因为校准步骤是使用一个经过平衡处理的样本来进行的，该样本反映了所考虑的因变量值的真实比例，而我们的模型很少能产生 30%以上的提升。 以下是实验 #7 中按置信度值划分的性别推断占验证集中总记录数的百分比情况： |置信度|女性推断占比|男性推断占比| | ---- | ---- | ---- | |80%| - |10%| |70%| - | - | |60%| - | - | ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(80%置信度):::process --> B(男性: 10%):::process A --> C(女性: 无数据):::process D(70%置信度):::process --> E(男性: 无数据):::process D --> F(女性: 无数据):::process G(60%置信度):::process --> H(男性: 无数据):::process G --> I(女性: 无数据):::process ``` 将最佳模型应用于剩余的使用数据后，我们发现能够为一部分网络用户生成经过校准的人口统计推断，这些用户在一个热门网站上的网络流量中占比超过 68%（按交易加权计算，代表超过 4200 万互联网用户），这满足了我们的第二个既定目标。 此外，我们还对互联网用户的个人资料进行了分析，发现不同用户的资料丰富程度差异很大。具体情况如下： |推断数量|用户数量| | ---- | ---- | |至少有一项推断|42,639,375| |至少有两项推断|39,987,205| |至少有三项推断|35,808,547| |至少有四项推断|28,099,348| |至少有五项推断|17,337,169| |六项人口统计推断全有|6,894,786| #### 4. 网络使用会话聚类实验结果 我们将基于泛化的聚类方法应用于一个大型的真实数据集进行实验，结果表明该方法是高效的，并且在数据集中发现了几个有趣的聚类。 在实验过程中，我们严格按照以下步骤进行操作： 1. **数据收集**：获取网络服务器的日志数据，这些数据包含了用户的访问信息。 2. **会话识别**：对服务器日志数据进行处理，识别出用户与服务器之间的交互会话。 3. **会话泛化**：使用属性导向归纳方法，根据页面层次结构对会话进行泛化，降低数据的维度。 4. **聚类操作**：使用 BIRCH 算法对泛化后的会话进行聚类。 通过实验，我们发现一些具有相似访问模式的会话被成功地聚类在一起。例如，有一组用户在浏览“婴儿家具”“婴儿玩具”和“孕妇装”等页面上花费了大量时间，他们的会话被聚类成一个组，这可能代表了“准父母”群体。网站管理员可以根据这些聚类结果，对网页进行合理安排，将相关页面链接在一起，并插入合适的广告。当用户浏览了“婴儿家具”和“婴儿玩具”页面后，还可以动态创建并插入指向“孕妇装”页面的链接。 以下是我们实验中发现的部分聚类示例： |聚类名称|相关页面主题|可能代表的用户群体| | ---- | ---- | ---- | |准父母聚类|婴儿家具、婴儿玩具、孕妇装|准父母| |科技爱好者聚类|电子产品评测、科技新闻、新技术介绍|科技爱好者| |教育资源聚类|在线课程、学习资料、教育资讯|学生或教育工作者| ```mermaid graph LR classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px; A(准父母聚类):::process --> B(婴儿家具):::process A --> C(婴儿玩具):::process A --> D(孕妇装):::process E(科技爱好者聚类):::process --> F(电子产品评测):::process E --> G(科技新闻):::process E --> H(新技术介绍):::process I(教育资源聚类):::process --> J(在线课程):::process I --> K(学习资料):::process I --> L(教育资讯):::process ``` #### 5. 未来研究方向 虽然我们在匿名互联网用户人口统计属性推断和网络使用会话聚类方面取得了一定的成果，但仍有许多工作有待进一步开展。 在人口统计属性推断方面，实现实时推断是一个重要的研究方向。关键在于确保在评分过程中能够获取互联网用户的最新活动信息，这需要在该领域进行更多的研究。此外，我们的实验仅局限于互联网用户输入的搜索词和访问的网页，实际上还有其他类型的互联网使用数据，因此我们的目标是探索如何在未来的实验中利用这些其他形式的互联网使用数据。同时，我们计划尝试更多的词项加权方案，以提高模型的性能。另外，在实验中我们没有尝试改变 SCG 神经网络的架构，未来可以研究不同数量的隐藏神经元是否能产生更好的模型。最后，对于那些在我们的 LSA 空间中没有文档向量表示的网页，我们希望在未来的实验中能够利用其组成词项的 LSA 向量构建伪文档向量，并将其纳入模型。 在网络使用会话聚类方面，我们可以进一步优化基于泛化的聚类方法。例如，可以探索更有效的页面层次结构构建方法，以提高会话泛化的效果。同时，可以研究如何更好地利用聚类结果，为用户提供更加个性化和精准的服务。此外，随着互联网的不断发展，网络使用数据的规模和复杂性也在不断增加，我们需要研究如何使聚类算法能够更好地适应这些变化，提高算法的效率和准确性。 总之，匿名互联网用户人口统计属性推断和网络使用会话聚类是具有重要研究价值和应用前景的领域，未来的研究将有助于我们更好地理解互联网用户的行为和特征，为互联网服务的优化和个性化提供更有力的支持。