- 博客(44)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 Spark学习（Pyspark）
Spark是一款分布式内存计算的统一分析引擎。其特点就是对任意类型的数据进行自定义计算。Spark可以计算：结构化、半结构化、非结构化等各种类型的数据结构，同时也支持使用Python、Java、Scala、R以及SQL语言去开发应用程序计算数据。Spark的适用面非常广泛，所以，被称之为 统一的（适用面广）的分析引擎（数据处理）RDD 是一种分布式内存抽象，其使得程序员能够在大规模集群中做内存运算，并且有一定的容错方式。而这也是整个 Spark 的核心数据结构，Spark 整个平台都围绕着RDD进行。
2025-08-10 14:02:43
112
原创 Hive学习笔记
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行，这样就避免了直接写MapReduce程序，以下是Hive的架构图：用户写完sql之后，
2025-08-04 01:21:44
499
原创 MYSQL进阶内容
最左前缀法则中指的最左边的列，是指在查询时，联合索引的最左边的字段**(即是第一个字段)必须存在，与我们编写SQL时，条件编写的先后顺序无关**。（7）前缀索引：当字段类型为字符串（varchar，text，longtext等）时，有时候需要索引很长的字符串，这会让索引变得很大，查询时，浪费大量的磁盘IO，④or连接条件：用or分割开的条件， 如果or前的条件中的列有索引，而后面的列中没有索引，那么涉及的索引都不会被用到。（2)范围查询：联合索引中，出现范围查询(>,<)，范围查询右侧的列索引失效。
2025-07-28 18:01:30
638
原创 Redis学习笔记
Redis（Remote Dictionary Server）是一个高性能的开源内存数据库，采用键值对（Key-Value）存储数据，支持多种数据结构，如字符串（String）、哈希（Hash）、列表（List）、集合（Set）、有序集合（Sorted Set）等。它最大的特点是数据主要存储在内存中，因此读写速度极快，通常能达到每秒数十万次操作（QPSRedis 还支持持久化，可以将内存中的数据定期保存到磁盘（RDB 快照或 AOF 日志），确保数据不会因服务重启而丢失。
2025-07-24 00:50:39
308
原创 Git学习笔记
②分布式版本控制工具分布式版本控制系统没有“中央服务器”，个人修改后然后提交到中央版本库。举例：SVN和CVS。①集中式版本控制工具：集中式版本控制工具，
2025-07-20 11:18:49
292
原创 Improving Chinese Spelling Check by Character Pronunciation Prediction
①中文拼写纠错（CSC）是一项基础的自然语言处理（NLP）任务，旨在检测并纠正中文文本中的拼写错误。由于大多数拼写错误是由语音相似性导致的，因此有效建模汉字的发音是 CSC 成败的关键因素之一。本文考虑引入一个辅助任务——中文发音预测（CPP）来提升 CSC 表现，并首次系统性地讨论了该辅助任务的自适应性和细粒度性。一个用于主任务 CSC，另一个用于细粒度的辅助任务 CPP。②同时，我们设计了一种新颖的自适应权重机制来动态平衡这两个任务。
2025-06-07 15:48:40
654
原创 Hadoop学习笔记
Hadoop是一个开源的分布式计算和存储框架，用于处理大规模数据集（大数据）的并行处理。它由Apache基金会开发，核心设计灵感来自Google的MapReduce和Google文件系统（GFS）论文。Hadoop的核心优势在于其高容错性、横向扩展能力（可通过增加普通服务器扩展集群）以及低成本。
2025-06-02 10:47:39
466
原创 LLAMA-ADAPTER: EFFICIENT FINE-TUNING OF LARGE LANGUAGE MODELS WITH ZERO-INITIALIZED ATTENTION
（1）随着大语言模型（LLMs）的迅猛发展，构建通用的指令跟随模型（如 ChatGPT）引起了广泛关注**。为此，我们提出了 LLaMA-Adapter，这是一种用于高效指令微调 LLaMA 的轻量级适配方法。借助 52K 条自我指令数据，LLaMA-Adapter 仅在冻结的 LLaMA 7B 模型上引入了 120 万可学习参数，并且微调时间不超过一小时。具体而言，
2025-05-14 16:19:00
287
原创 KG-Adapter: Enabling Knowledge Graph Integration in Large Language Models through Parameter-Efficien
尽管大语言模型（LLMs）在各种任务中展现出卓越的能力和泛化性，但其缺乏专业知识的特性常受诟病。一种可行的解决方案是将知识图谱（KGs）与LLMs结合，近期研究主要通过基于提示的方法实现KGs与LLMs的融合。然而，这些方法未能利用KGs的结构信息，存在知识冲突问题，且过度依赖超大规模LLMs。为解决这些问题，我们提出KG-Adapter——一种基于参数高效微调（PEFT）的参数级KG融合方法。具体而言，
2025-05-14 13:58:16
949
原创 Java高级特性
在Java当中一个File类对象对应一个任意类型的文件或者一个文件夹，以下是相关API以及测试代码。流的API（下面的四十多个流都是继承自上面四个流的，都有着相似的API（
2025-05-07 21:58:27
337
原创 Rethinking Machine Learning Collective Communication as a Multi-Commodity FlowProblem阅读笔记
最近为机器学习集合通信（ML collectives）提出的通信调度器无法随着更大模型训练带来的问题规模增长而扩展。这些方法往往也会生成次优的调度方案。我们将此问题与交通工程中的类似问题建立了联系，并提出了一种新方法——TE-CCL。该方法能够在更大规模的拓扑上更快地找到更优质的调度方案（例如，更快完成集合通信和/或传输更少的数据量）。我们在多种GPU拓扑结构上进行了实验证明，TE-CCL在性能上显著优于当前最先进的方法。
2025-04-28 11:49:24
895
原创 Linux学习笔记
①Vim 一般模式（Normal Mode）的核心命令:在 Vim 编辑器中，一般模式（Normal Mode）是默认的初始模式，也是 Vim 的核心操作模式。管道（|）是 Linux/Unix 系统中 最强大的功能之一，它允许将一个命令的输出作为另一个命令的输入，实现数据流的串联处理。当物理内存（RAM）不足时，Linux 会将部分不活跃的内存数据临时存储到交换文件中，从而防止系统因内存耗尽而崩溃或杀死进程。②桥接模式：虚拟机的网卡直接“桥接”到宿主机的物理网卡上，③NAT模式：虚拟机通过宿主机的。
2025-04-25 15:56:40
295
原创 Java高级知识
3 java.text.SimpleDateFormat ：SimpleDateFormat 是 Java 中用于格式化和解析日期的类，它属于 java.text 包。4 java.util.Calendar(日历)：Calendar 是 Java 中用于处理日期和时间的抽象类，它提供了比 Date 类更丰富的日期操作功能。其内部的成员变量和成员方法都是 static 的，所以也可以很方便的进行调用。（2）java.lang.Runtime 类是 Java 标准库中的一个重要类，：和①差不多不过是小数。
2025-04-23 17:23:04
696
原创 Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than In-Context Learning
少样本的上下文学习使得预训练语言模型无需任何基于梯度的训练，仅通过将少量训练示例作为输入的一部分，即可执行从未见过的任务。然而，ICL 的计算、内存和存储成本非常高，因为每次进行预测时都必须处理所有训练示例。参数高效微调（如适配器模块、提示调优、稀疏更新方法等）提供了一种替代范式：只需训练一小部分参数，就能使模型完成新任务。本文系统地比较了少样本 ICL 与 PEFT，并证明 PEFT 不仅能获得更好的准确率，还能显著降低计算成本。
2025-04-22 11:57:16
631
原创 MULTIWAY-ADAPTER: ADAPTING MULTIMODAL LARGE LANGUAGE MODELS FOR SCALABLE IMAGE-TEXT RETRIEVAL
随着多模态大语言模型（MLLMs）的规模不断扩大，将其适应到特定任务的难度也越来越大，原因在于高计算和内存需求。事实上，传统的微调方法由于需要进行大规模的、任务特定的训练，成本非常高。尽管有一些高效的适应方法旨在减少这些成本，但在实际应用中，它们通常遭遇到模态间对齐浅显的问题，这严重影响了模型的有效性。为了解决这些计算挑战并改善模态间的对齐问题，我们提出了MultiWay-Adapter（MWA），这是一种新颖的框架，包含了一个“对齐增强器”。
2025-04-17 09:35:39
626
原创 LION : Empowering Multimodal Large Language Model with Dual-Level Visual Knowledge
多模态大语言模型（MLLMs）赋予了大语言模型（LLMs）感知和理解多模态信号的能力。然而，大多数现有的多模态大语言模型主要采用在粗略对齐的图像-文本对上预训练的视觉编码器，导致视觉知识的提取和推理能力不足。为了解决这个问题，我们提出了一种双层次视觉知识增强的多模态大语言模型（LION），通过在两个层次上注入视觉知识来增强MLLM。具体来说：渐进式地融入细粒度空间感知视觉知识。我们设计了一种视觉聚合器，与区域级视觉-语言（VL）任务配合使用，将细粒度的空间感知视觉知识引入到MLLM中。
2025-04-16 11:24:23
932
原创 Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models
近年来，随着对扩展大语言模型（LLMs）多模态能力的兴趣不断增加，例如视觉语言（VL）学习，它被视为人工通用智能的下一个里程碑。**然而，现有的解决方案代价高昂，不仅需要优化过多的参数，还需要在进行VL指令微调之前进行大规模的预训练。本文提出了一种新颖且经济实惠的解决方案，用于有效地适应LLMs的视觉语言任务，称为“模态混合适配（MMA）”。**与其使用大型神经网络连接图像编码器和LLM，MMA采用轻量级模块（如Adapter）来弥合LLM与VL任务之间的差距，同时还可以实现图像模型和语言模型的联合优化。
2025-04-16 10:01:21
21
原创 FashionGPT: LLM instruction fine-tuning with multiple LoRA-adapter fusion
我们提出了FashionGPT，一系列经过微调的大型语言模型（LLMs），它们展现出了卓越的性能，并在HuggingFace Open LLM Leaderboard中两次排名第一。与传统的数据集融合微调方法不同，我们提出了一种新的指令微调范式，称为“多LoRA适配器融合微调”。该范式涉及基于不同数据集对多个独立的LoRA适配器进行微调，随后使用可学习权重将它们融合，从而创建一个多功能的大型语言模型。大量实验表明，采用LoRA适配器融合方法微调的LLM在性能上优于采用数据集融合方法微调的LLM。
2025-04-15 17:44:20
391
原创 LoRA: Low-Rank Adaptation of Large Language Models
自然语言处理的主流范式包括在通用领域数据上进行大规模预训练，并适应特定任务或领域。随着我们预训练更大的模型，传统的微调方法（即重新训练所有模型参数）变得越来越不可行。以 GPT-3 175B 为例，部署多个独立微调的模型实例，每个模型有 175B 参数，成本非常高。我们提出了低秩适应（Low-Rank Adaptation，简称 LoRA），该方法将预训练模型的权重冻结，并在 Transformer 架构的每一层注入可训练的秩分解矩阵，极大地减少了下游任务的可训练参数数量。
2025-04-15 16:12:49
232
原创 Parameter-Efficient Fine-Tuning without Introducing New Latency（把预训练模型的权重或者偏置放进去Adapter）
预训练语言模型的参数高效微调（PEFT）近年来取得了显著的成就，能够在使用远少于全量微调的可训练参数的情况下，有效地匹配全量微调的性能，从而解决了存储和通信的限制。然而，各种PEFT方法受到其固有特点的限制。例如，在稀疏微调的情况下，仅修改一小部分现有参数，微调参数的选择是任务和领域特定的，因此不适用于联邦学习。另一方面，添加新参数的PEFT方法通常会引入额外的推理延迟。本文展示了一种任务无关的稀疏掩码生成方法，其中所有下游任务共享一个通用的掩码。
2025-04-15 15:36:15
648
原创 AdaMergeX: Cross-Lingual Transfer with Large Language Models via Adaptive Adapter Merging
作为直接针对特定语言目标任务进行微调的有效替代方案，跨语言迁移通过分别在源语言的目标任务和目标语言的另一选定任务上进行微调，将"任务能力"与"语言能力"解耦，从而应对训练数据有限的挑战。然而，现有方法未能完全将任务能力与源语言或语言能力与所选任务分离。在本文中，我们承认任务能力与语言能力之间的相互依赖关系，并将注意力转向目标任务上目标语言与源语言之间的差距。由于该差距消除了任务的影响，我们假设它在不同任务间保持一致。
2025-04-14 21:56:15
477
原创 AdaMix: Mixture-of-Adapters for Parameter-efficient Model Tuning
将大规模预训练语言模型微调到下游任务通常需要更新数亿个参数。这不仅导致每个任务都需存储一整套模型权重，从而增加部署成本，还会在少样本任务自适应中表现出不稳定性。为此，研究者提出了参数高效的技术，通过在大模型中注入小型可训练组件（例如 Adapter），在保持大部分模型权重冻结的同时实现微调。目前提升 Adapter 表达能力的常见方法是增加瓶颈维度（bottleneck dimension），但这会显著增加 Adapter 的参数量。
2025-04-14 10:15:11
763
原创 分布式数据库复习
具体来说就是协调者如果向各个参与者发送commit那么各个参与者就在执行commit；：事务执行的结果必须是使数据库从一个一致性状态变化到另一个一致性状态，而。，分布式事务的恢复要比集中式事务复杂的多。（3）若参与者一直收不到协调者的命令，则。：当一个事务提交后，系统保证该事务的。（1）如果在两段提交协议执行的过程中。事务必须保证数据库的一致性，因为。由于子事务的分布式执行，因此保证。因此，在分布式事务执行过程中，，参与者处的子事务将处于等待状态。②事务的准确定义：事务是由。例如，为了保证全局事务的。
2025-01-01 23:37:57
521
原创 Unet源码实现（pytorch）
U-Net 是一种用于生物医学图像分割的卷积神经网络架构。它通过引入一种新颖的网络结构和训练策略解决了传统方法在数据量不足时面临的挑战。U-Net 的主要思想是利用数据增强技术来高效利用有限的标注样本，并通过独特的网络设计来提高分割精度。
2024-10-16 23:45:41
5684
12
原创 图像分割笔记——FCN（全卷积网络）
全卷积网络是Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation一文中提出的用于图像语义分割的一种框架，是深度学习用于语义分割领域的开山之作。FCN将传统CNN后面的全连接层换成了卷积层，这样网络的输出将是热力图而非类别；同时，为解决卷积和池化导致图像尺寸的变小，使用上采样方式对图像尺寸进行恢复。
2024-09-21 15:03:54
871
原创 基于pytorch实现的深层神经网络（DNN）的图像识别
FashionMNIST数据集，作为经典的MNIST数据集的现代替代品的数据集，是衣物分类数据集，由Zalando（一家德国的在线时尚零售商）发布。图片尺寸相同，数据量相同，也同样是10分类，是MNIST的困难版本。DNN可以理解为有多个隐藏层的神经网络，叫做深度神经网络（Deep Neural Network），DNN按不同层的位置划分，内部的神经网络层可以分为三类，输入层、隐藏层和输出层，如下图示例，一般来说第一层是输入层，最后一层是输出层，而中间的层数都是隐藏层。
2024-08-30 19:27:45
498
原创 目标检测学习笔记
计算完一个类别地所有阈值的准确率和召回率以后就可以画一张曲线图，①准确率和召回率：前者是准，后者是全。在目标检测的时候我们会设定一个阈值，，越高证明检测出来的东西越完全。one-stage的方法在于。Precision可以理解为。，two-stage低一些。，那么每一个阈值都可以把。，越高证明准确率越高（Recall可以理解为。
2024-08-13 12:28:43
216
原创 深度学习学习笔记
为隐层，可视为一些特征提取器(feature detectors)，②Output Layer：承载着模型的输出，若为分类模型，这个超平面，根据这个超平面来对测试用例进行分了（例如。倍称为隐藏层，全连接层是可以用矩阵运算来实现的，假设。两个层之间的偏置向量，因此整个DNN可以看作一个。，是深度学习的重要组成部分。，和DNN没有什么非常显著的差别。为可见层，用于表示观测数据，：就是多加几层感知机，并且。：受限玻尔兹曼机（RBM）,感知机的目的就是学习。为两层之间的连接权重。④DNN（如下图所示）
2024-05-30 12:02:57
741
原创 pytorch的学习笔记
一 cuda 2006年，NVIDIA公司发布了CUDA(Compute Unified Device Architecture)，是一种新的操作GPU计算的硬件和软件架构，是建立在NVIDIA的GPUs上的一个通用并行计算平台和编程模型，它提供了GPU编程的简易接口，基于CUDA编程可以构建基于GPU计算的应用程序。 CPU是用于负责逻辑性比较强的计算，GPU专注于执行高度线程化的并行处理任务。所以在GPU执行计算任务的时候GPU和CPU是联合执行任务的，并且GPU是作为CPU的“运算辅助结构”。
2024-05-29 10:56:51
1408
原创 图像分割学习笔记
在分割阶段，我们递归地将区域划分为四个子区域（从整个图像作为一个区域开始），以预期我们的同质性准则在所有子区域中都得到满足。，可以将灰度图像转换为二值图像。：在此方法中，计算了图像中所有像素的直方图。，在水平面浸没地形的过程中，每一个积水盆被筑起的“坝”所包围，这些坝用来防止不同积水盆里的水混合到一起。直方图的峰谷和谷被用来跟踪图像的簇。的方法：水域分割又称Watershed变换，是模仿地图浸没过程的一种。的方法：这种分割方法是基于图像的四分树分割。水域分割的基本思想是基于局部极小值和积水盆的概念。
2024-05-13 14:48:21
286
原创 MySQL学习笔记
③列式数据库：适用于分布式文件系统，例如Hbase，如果用行式数据库的话可能。让数据库适用于检索例如：Elasticsearch。（2）其他几种非关系数据库（专门开发。（1）键值型数据库（这样的，查找速度快）②搜索引擎数据库：在。的数据存储形式，采用。
2024-05-08 11:29:11
277
1
原创 个人毕业设计（优秀毕业设计）
3D坐标和肢体识别结果，可以得到24 个肢体向量。然后通过计算每一张图片中的24 个肢体向量两两之间的夹角的余弦值，可以得到50个长度为276的人体姿态特征向量表示，把他们。(1)特征抽取部分：在每一个人体动作序列中等间距取50张图。最终本论文提出的方法在G3D数据集上的分类准确率为92.3%。，而后将其带入集成学习模型当中进行最终的模型分类预测。(2)模型集成部分：因为logistic回归拟合能力较弱，，最后得到人体动作序列的特征向量表示。，而后再把它和SVM，KNN，随机森。毕设代码github地址。
2024-04-02 23:46:47
274
空空如也
Openpose 3D坐标点提取
2021-04-11
TA创建的收藏夹 TA关注的收藏夹
TA关注的人