自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

Java与大数据相关实践内容分享!

从云服务器到组件安装使用、问题、算法及实践案例分享!

  • 博客(356)
  • 资源 (1)
  • 问答 (1)
  • 收藏
  • 关注

原创 Hive【应用 04】常用DDL操作(数据库操作+创建表+修改表+清空删除表+其他命令)

文章摘要:本文介绍了Hive中常用的DDL操作,包括数据库操作(查看、使用、创建、删除等)和表操作(创建内部表、外部表、分区表、分桶表、倾斜表、临时表等)。详细说明了各种表的创建语法和使用场景,并提供了修改表结构、重命名表、清空表等常见操作的SQL示例。文章内容全面,涵盖了Hive DDL的主要操作要点,适合作为Hive数据定义语言的参考手册。

2025-08-06 23:13:01 486 4

原创 Hive【安装 02】属性配置的三种方式及配置的优先级说明

Hive属性配置的三种方式及优先级:1)配置文件(hive-site.xml等)永久有效;2)命令行启动时--hiveconf参数作用于整个Session;3)交互模式下set命令实时配置。配置优先级从低到高依次为:hive-site.xml → hivemetastore-site.xml → hiveserver2-site.xml → --hiveconf → set命令。set命令还可通过-i参数加载初始化脚本批量配置。具体参数可参考官方文档按需设置。

2025-08-06 23:01:25 395

原创 Hive【应用 03】HiveServer2/beeline 配置使用

HiveServer2 (HS2) 是 Hive 的改进服务,支持多客户端并发访问和身份验证。相比 HiveServer,HS2 基于 Thrift 协议,提供更安全高效的远程连接方式,官方推荐使用其客户端工具 Beeline。配置时需要修改 Hadoop 的 core-site.xml 文件以启用代理用户机制,避免权限异常。启动 HS2 服务后,可通过 Beeline 连接,支持多种参数如用户名、密码、脚本执行等。Beeline 基于 JDBC,功能比传统的 Hive CLI 更强大,已成为 Hive 的

2025-07-29 18:17:56 740 26

原创 Hive【应用 02】多数据源可视化工具 DataGrip 和 DBeaver 连接 Hive 数据库及 Connection refused:connect. 问题处理

本文介绍了Hive多数据源可视化工具DataGrip和DBeaver的使用方法。首先分析了连接报错"Connection refused:connect"的原因是由于未启动HiveServer2服务,并提供了启动方法。随后详细介绍了两种可视化工具的操作流程:DataGrip作为JetBrains产品界面统一,支持快速下载驱动和智能补全;DBeaver作为开源免费工具支持300多种数据库,功能全面但需要多次尝试下载驱动。文章对比了两款工具的优缺点,最终推荐DBeaver,认为其免费、功能强

2025-07-29 11:14:27 1266 10

原创 Hive【应用 01】CLI 命令行工具使用(创建库+创建表+导入数据+执行SQL文件+交互式命令+执行SQL命令+配置Hive变量)

本文介绍了Hive CLI命令行工具的基本使用方法。首先通过创建测试数据库和表,并导入示例数据作为准备工作。然后详细讲解了Hive CLI的各项功能:包括查看帮助信息(-H)、交互式命令行模式、直接执行SQL命令(-e)、执行SQL脚本文件(-f,支持本地和HDFS文件)、配置Hive变量(--hiveconf)以及通过初始化文件配置启动参数。文章通过具体示例展示了每种功能的用法,并验证了操作结果,为Hive CLI的使用提供了实用参考。

2025-07-25 16:26:11 915 12

原创 Hive【安装 01】hive-3.1.2版本安装配置(含 mysql-connector-java-5.1.47.jar 网盘资源)

Hive【安装 01】hive-3.1.2版本安装配置(含 mysql-connector-java-5.1.47.jar 网盘资源)

2025-07-25 15:52:37 871 42

原创 OpenSSH【安装 03】远程代码执行漏洞CVE-2024-6387修复(OpenSSH_9.7p1升级到9.8p1及cp: 无法创建普通文件“/usr/sbin/sshd“:文本文件忙问题处理)

本文介绍了在CentOS 7.7/7.8系统中将OpenSSH从9.7p1升级到9.8p1以修复CVE-2024-6387漏洞的过程。主要内容包括:1)环境准备,确认依赖包已安装;2)详细的升级步骤,包含备份、编译安装、配置文件更新等操作;3)针对"文本文件忙"错误的解决方案,通过编写脚本停止sshd进程完成文件替换。文中提供了完整的操作命令和脚本示例,并特别强调了在远程升级时保持连接的重要性。升级后需验证sshd版本确保漏洞修复成功。

2025-07-12 18:17:09 1062 62

原创 AI【应用 03】Windows环境部署 TTS CosyVoice2.0 详细流程记录(Matcha-TTS、spk2info.pt等文件分享)

AI【应用 03】Windows环境部署 TTS CosyVoice2.0 详细流程记录(Matcha-TTS、spk2info.pt等文件分享)

2025-07-10 16:04:40 1457 42

原创 OpenSSH【安装 02】离线升级异常问题解决、无法升级时的失败恢复

摘要:本文记录了OpenSSL离线升级过程中遇到的常见问题及解决方案。主要包括:1)"Can't locate IPC/Cmd.pm"错误,通过强制安装rpm包解决依赖问题;2)Python版本冲突问题,通过重新安装Python 2.7.5解决依赖关系;3)升级失败后的恢复方法,需重新安装原始版本的openssh相关rpm包。文章还分享了解决问题所需的安装包资源,包括Python依赖文件和SSH恢复文件,存放在百度网盘供下载使用。

2025-06-30 18:05:00 576 12

原创 AI【应用 02】STT 工具 OpenAI Whisper Windows环境安装测试(入门版本)

OpenAI Whisper Windows环境安装测试

2025-06-25 09:07:40 590 38

原创 Milvus【工具 01】milvus_cli和可视化工具attu安装使用

milvus_cli和可视化工具attu安装使用

2025-06-23 11:53:43 616 6

原创 Milvus【部署 03】Linux OpenEuler 环境在线+离线安装及卸载

Linux OpenEuler 环境在线+离线安装及卸载 Milvus

2025-06-23 11:47:57 476 3

原创 Nginx【问题 01】前端出现的 413 错误 Request Entity Too Large 问题解决

摘要: 当Nginx出现"413 Request Entity Too Large"错误时,表明客户端上传的文件大小超过了服务器限制。该问题可通过调整client_max_body_size参数解决,该参数可在http、server、location三个层级配置,作用域逐级缩小。默认值为1M,设置为0则不限制大小。示例中,http全局限制1M,server级限制10M,而特定location(/upload)允许100M上传。通过合理配置该参数,可灵活控制不同层级的文件上传大小限制。

2025-06-11 11:03:25 596 18

原创 AI【应用 01】Trae Agent Gitee自动化辅助神器(使用 MCP tools 创建自定义 Trae Agent 的探索分享)

我用Trae 做了一个有意思的Agent 「Gitee自动化辅助神器」。 点击 [https://s.trae.com.cn/a/b38cc4](https://s.trae.com.cn/a/b38cc4) 立即复刻,一起来玩吧!

2025-06-11 09:09:32 1829 61

原创 Linux【工具 04】Java等常用工具的多版本管理工具SDKMAN安装使用实例

Java等常用工具的多版本管理工具SDKMAN安装使用实例

2025-05-31 23:23:52 1103 10

原创 Django【应用 02】第一个Django应用开发流程图

第一个Django应用开发流程图

2025-05-27 10:05:50 413 2

原创 Ollama【部署 05】Linux环境安装、升级、启动脚本(connection reset by peer异常)

Ollama Linux环境安装、升级、启动脚本(connection reset by peer异常)

2025-05-07 18:31:10 696 10

原创 Node【问题 01】gyp verb `which` failed Error: not found: python2【无法下载win32-x64-83_binding.node问题处理】

摘要:本文针对无法下载win32-x64-83_binding.node的问题提供了三种解决方案。首先检查Node.js与node-sass版本匹配性,尝试通过设置npm国内镜像和安装windows-build-tools解决(方案一)。若失败,可直接下载缺失文件(方案二)或使用淘宝镜像安装(方案三)。其中方案二详细说明了下载地址和安装命令,并提供了网盘资源。最终方案三通过淘宝镜像快速安装成功。三种方法均针对node-sass 4.14.1版本,适用于Node.js 14.17.0环境。

2025-04-25 14:57:54 447 20

原创 Django【应用 01】django-plotly-dash安装及使用

django-plotly-dash安装及使用

2025-04-25 09:04:12 1414 2

原创 Python【代码 01】导出微信通讯录(微信号+昵称+地区+备注+标签+签名+来源)操作说明(可执行文件exe分享)

Pyhton 导出微信通讯录(微信号+昵称+地区+备注+标签+签名+来源)操作说明(可执行文件exe分享)

2025-04-09 12:17:35 933 47

原创 Neo4j【环境部署 03】插件APOC和ALGO配置使用实例分享(网盘分享3.5.5兼容版本插件)

Neo4j 插件APOC和ALGO配置使用实例分享(网盘分享3.5.5兼容版本插件)

2025-03-28 11:55:05 1470 27

原创 Java【代码 20】写入csv文件的字段值含有特殊字符的转义处理

本文介绍了CSV文件中特殊字符的转义处理规范(RFC4180),主要包含:1)每条记录单独占行,以CRLF分隔;2)字段需用双引号包裹的情况(含逗号、双引号或换行符时);3)字段内双引号需转义为两个双引号。文中提供了Java实现代码示例,通过判断字段值是否包含特殊字符来决定是否添加双引号包裹,并对内部双引号进行转义处理。表格清晰展示了常见字段转义前后的对比结果,如"ab"c,d"转义为"ab""c,d"。

2025-03-25 08:56:26 809 20

原创 Ollama【部署 04】Linux环境离线安装Ollama及模型文件(sha256缓存与gguf模型文件)

Linux环境离线安装Ollama及模型文件(sha256缓存与gguf模型文件)

2025-03-18 14:16:54 1009 16

原创 Ollama【部署 03】客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤

Ollama 客户端应用ChatBox、AnythingLLM及OpenWebUI部署使用详细步骤

2025-03-07 21:16:49 2671 14

原创 Ollama【部署 02】Linux本地化部署及SpringBoot2.X集成Ollama(ollama-linux-amd64.tgz最新版本 0.6.2 网盘分享)

Linux本地化部署及SpringBoot2.X集成Ollama(ollama-linux-amd64.tgz最新版本 0.6.2 网盘分享)

2025-02-28 18:33:36 1287 4

原创 Ollama【部署 01】Windows本地化部署及OllamaStep.exe 和 Chatbox-1.9.8-Step.exe 云盘分享(使用Nginx反向代理让大家都用上DeepSeek)

Windows本地化部署及OllamaStep.exe 和 Chatbox-1.9.8-Step.exe 云盘分享(使用Nginx反向代理让大家都用上DeepSeek)

2025-02-12 16:44:53 1461 24

原创 Flume【部署 01】CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证

Flume CentOS Linux release 7.5 安装配置 apache-flume-1.9.0 并验证

2025-01-15 11:21:08 947 25

原创 Flume【基础 01】简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式(一篇即可入门Flume)及自学阶段整理的xmind思维导图分享

Flume 简介 + 基本架构及核心概念 + 架构模式 + Agent内部原理 + 配置格式及自学阶段整理的xmind思维导图分享

2025-01-15 11:18:01 1277 12

原创 NIFI【应用 01】1.28.1版本使用实例分享(InvokeHTTP、PutDatabaseRecord、DBCPConnectionPool)配置使用及模板分享

NIFI 1.28.1版本使用实例分享(InvokeHTTP、PutDatabaseRecord、DBCPConnectionPool)配置使用及模板分享

2025-01-08 16:10:45 3705 42

原创 Kafka【部署 03】Zookeeper与Kafka自动部署脚本(安装、配置、启动、开机自启、服务注册)

Zookeeper与Kafka自动部署脚本(安装、配置、启动、开机自启、服务注册)

2025-01-06 15:04:37 368 12

原创 Kafka【应用 04】Java实现筛选查询Kafka符合条件的最新数据(保证数据最新+修改map对象key的方法+获取指定数量的记录)源码分享粘贴可用

Java实现筛选查询Kafka符合条件的最新数据(保证数据最新+修改map对象key的方法+获取指定数量的记录)

2025-01-06 14:55:56 843

原创 Kafka【应用 03】消费者和消费者群组+创建消费者实例+提交偏移量(自动、手动)+监听分区再平衡+独立的消费者+消费者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka消费者】

Kafka 消费者和消费者群组+创建消费者实例+提交偏移量(自动、手动)+监听分区再平衡+独立的消费者+消费者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka消费者】

2025-01-03 09:18:40 1087 18

原创 Kafka【应用 02】生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】

Kafka 生产者发送消息的过程描述及设计+创建生产者并发送消息(同步、异步)+自定义分区器+自定义序列化器+生产者其他属性说明(实例源码粘贴可用)【一篇学会使用Kafka生产者】

2025-01-03 09:16:24 1075 4

原创 Kafka【基础 02】集群+副本机制+数据请求+物理存储+数据存储设计(图片来源于网络)

Kafka 集群+副本机制+数据请求+物理存储+数据存储设计

2025-01-03 09:09:19 1076

原创 Neo4j【环境部署 02】图形数据库Neo4j在Linux系统ARM架构下的安装使用

图形数据库Neo4j在Linux系统ARM架构下的安装使用

2024-12-17 13:42:47 1563 38

原创 NIFI【应用 02】1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)

NIFI 1.28.1版本使用实例分享(GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6)配置使用及模板分享(txt文件解析)

2024-12-12 10:25:57 1970 63

原创 【其他】十一月总结

这段时间比较忙,项目多还比较着急,最致命的问题是客户需求不明确,改来改去让人焦头烂额。工作的问题加生活的琐事,让我有点儿喘不过气,是那种需要深呼吸才能觉得好些的喘不过气。人无远虑必有近忧,也许在有路可走的时候要多想想如果没路了该怎么办吧。

2024-12-11 12:09:40 311 4

原创 运动【跑步 03】安踏冠军3的10KM和15KM*2体验(对比必迈PURE LIGHT)

安踏冠军3的10KM和15KM*2体验(对比必迈PURE LIGHT)

2024-11-09 16:58:46 2707 49

原创 【1024】总结一下这段时间的收获

【1024】总结一下这段时间的收获

2024-10-24 14:46:35 481 38

原创 Java【代码 19】含有换行符\r\n的字符串匹配(源码分享)处理Word文档里的Excel表格数据

摘要:Java后台读取Word文档中的Excel表格时,字符串匹配因换行符\r\n处理异常导致失败。问题源于yaml配置中的转义差异:直接使用String类型时\r\n被转义为\\r\\n,而debug模式下硬编码的换行符可正常匹配。解决方案是将配置字段改为Object类型并通过toString()获取值,避免转义问题。关键发现是String类型会强制转义反斜杠,而toString()能保留原始换行符的ASCII值(13/10),确保内容匹配成功。

2024-10-17 16:21:11 685 24

智能AI开源模型与大模型接口整理

8个开源模型(可本地部署)+7个大模型接口 1.说明 1.1 开源模型 1.2 大模型接口 2.开源模型整理 2.1 ChatGLM 2.2 Baichuan 2.3 Qwen 2.4 Yi 2.5 XVERSE 2.6 MOSS 2.7 ChatRWKV 2.8 GPT4All 3.大模型接口整理 3.1 百度千帆大模型 3.2 阿里模型服务灵积 3.3 腾讯混元大模型 3.4 科大讯飞星火大模型 3.5 清华智谱清言 3.6 昆仑万维天工AI 3.7 OpenAIGPT ———————————————— 数据主要来源于 【数据学习】的整理和汇总。 https://www.datalearner.com/ai-models/llm-evaluation https://www.datalearner.com/ai-models/llm-coding-evaluation https://www.datalearner.com/blog/105169

2024-01-29

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除