weixin_42726068的博客

原创 【代码汇总】

torch_geometric.nn.GCNConvtorch_geometric.nn.RGCNConvBotRGCNLLGC

原创 【基础汇总】

评估分类模型性能的常用指标Inductive Learning 和 Transductive Learning基分解（Basis Decomposition）和块对角分解（Block-Diagonal Decomposition）无监督学习初见Self-Attention（注意力机制）初见Transformer机器学习基础——构建函数、定义损失函数、更新参数深度学习基础——定义网络、定义损失函数、更新参数预测神奇宝贝进化后的CP值——Regression神奇宝贝多分类——Classification：Pro

原创 【文献汇总】

Dispelling the Fake: Social Bot Detection Based on Edge Confidence EvaluationCGNN: A Compatibility-Aware Graph Neural Network for Social Media Bot DetectionFriendship Preference: Scalable and Robust Category of Features for Social Bot DetectionAccou2vec: A

原创 【LY88】ubuntu下的常用操作

扩展中安装：Linux安装anaconda+pytorch+cuda+cudnn+pyg压缩当前目录下的p.py到LY88.tar.gz压缩包解压缩压缩解压缩压缩解压缩

原创 【LY88】双系统指南及避坑

默认情况下，许多 Intel 主板的 BIOS 中，SATA 模式被设置为 RST（RAID On），而不是 AHCI（标准 SATA 模式）。这里需要将目标空闲分区（已在磁盘管理阶段进行了空闲区生成）划分出四个节点，其中efi可使用Windows的efi分区，swap可在后续划分，/根挂载点为必需。在Windows中对ubuntu在物理上前方的盘进行压缩，并重启通过u盘进入ubuntu安装界面，点击试用ubuntu并在临时系统中下载扩容工具进行扩容即可。（若重装了所有盘，则不需要此操作）。

原创 【环境配置】mmcv安装

根据已安装的pytorch和cuda版本进行检索确定最终指令。

原创 【基础解读】重采样技术

通过增加少数类样本数量，使类别分布更均衡。核心方法：生成少数类样本，而非简单重复（避免过拟合）。

原创 【基础解读】损失函数

PyTorch 提供了许多常用的损失函数，例如：实例：torch.nn.CrossEntropyLoss()结合了 LogSoftmax 和 NLLLoss（负对数似然损失）的功能，因此输入可以是未经 Softmax 处理的原始 logits。预测值（logits）真实标签（target）

原创 【绘图】数据可视化（python）

展示数据的分布范围、中位数，以及可能的异常值。

原创 【聚类】主成分分析 和 t-SNE 降维

PCA 是一种线性降维技术，旨在通过选择具有最大方差的特征方向（称为主成分）来压缩数据，同时尽可能减少信息损失。

原创 【聚类】K-Means 聚类（无监督）及K-Means ++

这里只是生成了三个簇的数据，并没有进行k-means聚类，只是用不同颜色对应true_labels。其中0/1/2对应三种不同的簇。

原创 【pandas】常用方法积累

【代码】【pandas】常用方法积累。

原创 【代码解读】torch_geometric.nn.conv.hgt_conv

假设 val 的形状为 (batch_size, 3 * feature_dim)，那么分割后会得到 3 个形状为 (batch_size, feature_dim) 的子张量。调用父类 MessagePassing 的构造函数，初始化图神经网络的消息传递操作，aggr=‘add’ 表示聚合方式使用加法，node_dim=0 表示节点特征的维度为 0（即节点级别）。最终返回的是一个字典 out_dict，其中包含了每种节点类型的最终输出嵌入。，用于计算节点的 K（键）、Q（查询）、V（值）表示。

原创 【基础解读】torch_geometric.nn.dense.linear

"bias"True。

原创 【基础解读】（PYG）Design of Graph Neural Networks——Heterogeneous Graph Learning

PyG提供了用于采样异构图的多种功能，例如标准的torch_geometric.loader.NeighborLoader类或专门的异构图采样器，如torch_geometric.loader.HGTLoader。这是因为在二分图中，自环的概念并不明确（对于源节点类型和目标节点类型不同的边类型，消息传递是不同的），如果不加限制，可能会错误地将边 [(0, 0), (1, 1), …] 添加到二分图中。因此，模型现在需要以包含节点和边类型作为键的字典作为输入，而不是在同质图中使用的单一张量。

原创 【个人记录】screen和tmux

进入会话后可以执行一些长时间运行的命令。当需要退出该会话，将会话放在后台运行时。可以执行 tmux detach 命令，或使用快捷键 Ctrl + B，再按 D 来退出会话。退出会话后底部会话信息会消失，并提示已从会话退出。

原创 【基础解读】CNN

原创 【基础解读】主成分分析和奇异值分解

原创 【基础解读】Word2Vec和GloVe

Word2VecGloVe

原创 【文献阅读】Attention Bottlenecks for Multimodal Fusion

在多模态视频分类中，将各模态的最终表示或预测进行后期融合（“后期融合”）仍然是主流范式。为此，本文提出了一种基于 Transformer 的新型架构，该架构使用“融合瓶颈”在多个层次进行模态融合。与传统的成对自注意力机制相比，该模型强制不同模态之间的信息通过少量的瓶颈潜在变量进行传递，要求模型在每个模态中整理和凝聚相关信息，并共享必要的内容。这种策略在提高融合性能的同时，还减少了计算成本。

原创 【文献阅读】SeGA: Preference-Aware Self-Contrastive Learning with Prompts for Anomalous User Detection

SeGA，一种基于偏好感知的自对比学习方法，用于检测异常用户。该方法通过编码Twitter上各种实体的异构关系。引入了带伪标签的，通过用户对应帖子中的偏好来区分用户之间的细微差异。构建了一个异构信息网络（HIN），其中包含用户和列表等节点类型之间的各种边类型，以建模具有不同活动的用户。为了学习用户之间的差异，预训练策略结合了大语言模型（LLMs）的知识，捕捉用户偏好的话题和情感，利用进行偏好感知的自对比学习。主要贡献：引入了偏好感知的自对比学习，通过相应的帖子学习用户行为。

原创 【文献阅读】AST: Audio Spectrogram Transformer

在过去的十年中，CNN被广泛应用作为端到端音频分类模型的主要构建块，这些模型旨在学习从音频谱图到相应标签的直接映射。为了更好地捕捉长距离的全局上下文，最近的趋势是在 CNN 之上添加自注意力机制，从而形成 CNN-注意力混合模型。然而，目前尚不清楚依赖 CNN 是否是必要的，以及仅基于注意力的神经网络是否足以在音频分类中获得良好的性能。在本文中，我们通过引入Audio Spectrogram Transformer（AST）来回答这一问题，AST 是首个不使用卷积、完全基于注意力的音频分类模型。

原创 【文献阅读】Early Detection and Prevention of Malicious User Behavior on Twitter Using Deep Learning Techs

主张采用前瞻性的方法，利用用户数据预测并减轻潜在威胁提出的技术通过追踪用户嵌入的预期轨迹，在任何恶意行为发生之前预测恶意活动。为验证这一方法，采用了动态有向多重图模型，记录 Twitter 用户之间不断变化的互动。在预测有害用户时的 F 值（F1 分数）上比当今方法高出 40.66%。

原创 【基础解读】FiLM

原创 【基础解读】GAT

原创 【文献阅读】Social Robot Detection Method with Improved Graph Neural Networks

每条推文涉及的行为对应DNA的四个碱基（A, C, G, T）中的一种。初始文本先后通过ALBERT模型、PReLU与全连接来提取文本特征。三种社交关系为：关注、被关注、双向同时关注。字母G来填补其他用户的空缺。A代表用户转发的内容，T代表回复或其他提及，C代表用户的原创文本，

原创 【基础解读】BERT+Roberta-base的下载与使用

【代码】【基础解读】BERT+Roberta-base的下载与使用。

原创 【文献阅读】Unsupervised Machine Learning for Bot Detection on Twitter

引入新特征，并降低所提模型的复杂性，从而提高基于聚类算法的机器人识别准确性。最小化数据集维度和选择重要特征来实现的。实验证明该方法的特征可以与四种不同的聚类技术（agglomerating、k-medoids、DBSCAN 和 K-means）结合使用，以解决由缺失标签和异常值引起的机器人识别问题。通过选择排名靠前的特征并减少维度，达到了 0.99 的准确率。

原创 【基础解读】无监督学习

原创 【文献阅读】TL-PBot: Twitter bot profile detection using transfer learning based on DNN model

TL-PBot ：推特账号的元数据+文本数据（only description 移除了url、mention、表情符号等）迁移学习预训练模型Global Vectors (GloVe)长短期记忆（LSTM）DNN模型层经过训练，预训练模型层的权重被冻结，以应用迁移学习，从而减少训练时间并提高机器人账号检测的准确性。TL-PBot方法实现了98.07%的更高准确率，同时在精确率99%、召回率98%、F1值98.32%和AUC值0.99上表现出色。

原创 【基础解读】GloVe

原创 【代码解读】LLGC

这里通过 induced_distance 方法计算向量 x 和 y 在洛伦兹流形上的距离，这实际上是两点在洛伦兹空间的测地线距离。如果 is_tan_normalize 为真，则对计算得到的切向量 y_tan 进行归一化处理，确保它满足洛伦兹切空间的约束。方法的目的是规范化洛伦兹流形上切向量，使其满足洛伦兹内积 <p, p_tan>_L = 0。对数映射的作用是将洛伦兹流形上的点投影到某个点 x 的切空间中（即欧几里得空间）。总归返回的是，以概率p随机给元素置零之后的输入。拼接结果，恢复到原有的维度。

原创 【文献阅读】Lorentzian Linear Graph Convolutional Networks For Node Classification

大多数现有的线性GCN模型在欧几里得空间中执行神经网络操作，并未明确捕捉到真实世界数据集中以图形式建模的树状层次结构。本文尝试将双曲空间引入线性GCN，并提出了一种新的洛伦兹线性GCN框架。具体而言，将图节点的学习特征映射到双曲空间中，然后执行洛伦兹线性特征转换，以捕捉数据的潜在树状结构。在标准的引用网络数据集上进行半监督学习的实验结果表明，在Citeseer数据集上实现了74.7%的准确率，在PubMed数据集上实现了81.3%的准确率。

原创 【基础解读】Lorentz模型

一、Lorentz Model二、n-dimensional Lorentz Model三、Riemannian流形四、实例对上述文字的解释为：关于如何用负号反映时间维度的特殊性：五、切空间六、指数映射（Exponential Map）和对数映射（Logarithmic Map）七、洛伦兹版本的函数映射

原创 【文献阅读】A Comprehensive Review of Multimodal Large Language Models

MLLMs 的核心原理在于不同模态的整合与交互，这显著提高了模型的有效性。这种多模态方法不仅增强了对单一数据类型的理解，还促进了它们之间的更细致的交互，从而扩大了 AI 应用的范围和精度。

原创 【基础解读】神奇宝贝多分类——Logistic Classification

Classification的三步走交叉熵损失函数逻辑回归与线性回归的三步走对比CE和SE对比Discriminative与Generative对比多分类问题逻辑回顾的限制特征转换

原创 【基础解读】神奇宝贝多分类——Classification：Probabilistic Generative Model

背景问题定义尝试用Regression的方法解决Classification尝试用概率的方式解决Classification求一个个体被选中并来自于某一类的概率——贝叶斯进行Classification结果分析模型调整——共用convariance matrix结果分析总结

原创 【基础解读】预测神奇宝贝进化后的CP值——Regression

正则化中不用考虑bias是因为，正则化的目标是让function变的平滑，而bias只影响上下的平移距离，对平滑没有影响。

原创 【基础解读】深度学习基础——定义网络、定义损失函数、更新参数

整体框架定义一个函数集合——神经网络FC定义损失函数更新参数基于链式法则的梯度下降梯度下降总览

原创 【基础解读】机器学习基础——构建函数、定义损失函数、更新参数

背景实例构建函数定义损失函数更新参数线性模型的局限性引入激活函数后更复杂的Model构建函数定义损失函数更新参数更加优化后的模型