- 博客(89)
- 收藏
- 关注
RSS订阅原创 【部署】mysql Ver 8.0.31-0ubuntu0.22.04.1 for Linux on x86_64 ((Ubuntu)) 安装指南
mysql linux ubuntu 部署
2023-01-13 16:12:49
461
原创 【部署】Apache DolphinScheduler 伪集群部署
DolphinScheduler 伪集群部署 单机部署 Ubuntu Linux Java Mysql Zookeeper 2.0.5 apache
2023-01-13 14:49:13
2079
原创 不断点击你的电脑
num_seconds = 2 # 将鼠标移动到指定坐标的间隔时间。x, y = 302, 534 # 鼠标需要移动到的位置。time.sleep(8) # 延迟8秒。time.sleep(3) # 延迟3秒。print(“第 “+str©+” 次”)
2023-01-06 17:21:30
117
原创 Mysql索引失效的操作
Mysql索引失效的几种操作简单说一下我所知道的索引失效的6种情况1 查询NULL值因为索引中不存储NULL值,所以查询时查不到.2 模糊查询首位为百分号例如:select * from table1 where age like '%生';3 字段类型为字符串,查询的时候没有带单引号例如: 有个字段month的值是202101 ,字段类型是varchar(8)seelct * from table2 where month = 202101 -- 这种是不使用索引的seelct *
2022-02-09 11:05:42
343
原创 埋点设计初实践
埋点设计初实践数据模型比较常用的5类:QQ模型、AARRR海盗模型/用户生命周期、用户行为模型、RFM（用户价值）模型/分类精细化运营、人货场模型。QQ模型数量（Quantity）绝对数指标，例如收入、用户数、渠道数、GDP、人口数质量（Quality）相对数指标，例如利润率、留存率、覆盖率、人均GDP、人均消费AARRR海盗模型又叫用户生命周期Acquisition新增Activation留存Retention活跃Revenue收入/付费Refer推荐/传播用户行
2021-12-01 16:34:20
1578
原创 Python爬虫入门级（九）
Python爬虫入门级（九）Xpath实战 ：猪八戒网重点： 点击页面——》右键检查——》点击代码右键——》copy xpath！！！！#In[]####Xpath实战 ：猪八戒网## 1、拿到页面源代码## 2、提取和解析数据import requestsfrom lxml import etreeurl = "https://beijing.zbj.com/search/f/?type=new&kw=saas"resp = requests.get(url)# p
2021-11-24 22:51:34
458
原创 Python爬虫入门（八）
Python爬虫入门（七）讲解Xpath常用代码，无任何实例：· 读取xml节点内容（多个，单个）· xpath读取heml文件· 读取指定节点，条件筛选，循环读取####XPath解析from lxml import etreexml = """<book> <id>l</id> <name>野花贬低向</name> <nick>臭豆腐</nick> &l
2021-11-23 23:19:08
654
原创 Python爬虫入门（七）
Python爬虫入门（七）使用bs4爬取子连接的图片####爬取图片## 1、 拿取主页面的源代码，找到子链接href## 2、 从子链接中找到下载地址下载图片import requests,timefrom bs4 import BeautifulSoupurl = "https://umei.cc/bizhitupian/weimeibizhi/"resq = requests.get(url)resq.encoding = 'utf-8'resq.text##将源代码交给
2021-11-22 23:24:21
313
原创 Python自动建表脚本
Python自动建表脚本功能实现：· 字段类型转换· 主键和联合主键· 索引· 是否为空· 单列索引# -*- coding=utf-8 -*-#coding=utf-8import xlrd,osdef convert_type(data_type): """Normalize MySQL `data_type`""" if 'CHAR' == data_type or 'CLNT' == data_type or 'QUAN' == data_type or 'CU
2021-11-22 10:58:20
1073
原创 Python爬虫入门级（六）
Python爬虫入门级（六）使用bs4解析页面源代码数据爬取北京新发地（旧网址数据）网页解析的第二种方式HTML解析1、安装bs4pip install bs4正式代码1、拿到页面源代码2、使用bs4解析，拿到数据####网页解析的第二种方式HTML解析### 1、安装bs4#正是代码# 1、拿到页面源代码# 2、使用bs4解析，拿到数据import requests,pandas as pdfrom bs4 import BeautifulSoupdf = pd.Da
2021-11-21 23:34:22
498
原创 Linux（Ubuntu） 安装 NUShell
Linux（Ubuntu） 安装 NUShell1、 安装依赖2、下载二进制文档3、安装4、使用安装依赖sudo apt updatesudo apt install pkg-config libssl-dev -ysudo apt install libxcb-composite0-dev libx11-dev -y下载二进制文档mkdir nushellcd nushellcurl -s https://api.github.com/repos/nushell/nus
2021-11-19 17:30:35
1553
原创 爬虫入门级（五）
Python爬虫入门级（五）实现两个小案例：1> 爬取豆瓣电影的TOP2502> 爬取电影的资源下载地址爬取豆瓣电影的TOP2501、分页爬取数据2、csv数据加载到本地####抓取豆瓣电影排行#1、判断页面元代满是否有数据#2、有数据之后通过re获取页面源代码，通过正则获取到我们需要的数据import requests,re,csvf = open("C:\\Users\\Desktop\\tmp\\data.csv",mode="w")csvw = cs
2021-11-18 23:48:07
614
原创 Datax定时增量读取MongoDB到本地配置文件
Datax定时增量读取MongoDB到本地配置文件功能 1> DataX实现读取MongDB 2> 按照时间增量读取 3> 定时执行代码{ "job": { "content": [ { "reader": { "name": "mongodbreader", "parameter": {
2021-11-18 13:53:38
2140
原创 Unknown panel type: bargauge
Grafana 问题 Unknown panel type: bargauge问题 :Unknown panel type: bargauge原因:版本低于6方案:卸载升级
2021-11-16 21:11:45
411
原创 爬虫入门级（四）
###爬虫入门级##爬虫入门级（正则匹配数据获取）主要讲解正则匹配规则，爬虫常用的正则# %%####正则表达式""" \W 匹配非字母或数字或下划线 \w 匹配字母或数字或下划线 \d 匹配数字 \D 匹配非数字 \S 匹配非空白符 \s 匹配空白符 ^ 开始 $ 结束 .* 贪婪匹配 .*? 惰性匹配 * 0次到无数次 + 1次到无数次"""import re### \d+obj = re.compile(r"\d+")s =
2021-11-12 07:12:45
597
原创 Python爬虫入门级（三）
Python爬虫入门级手动看一下get和post的区别# Create Time : Nov 11 08 14:27:00#In[]#没啥用的练习from urllib.request import urlopenurl = 'http://www.baidu.com'resq = urlopen(url)# print(resq.read().decode('utf-8'))with open("mbaidu.html",mode='w') as f: f.write(res
2021-11-11 06:47:30
928
原创 Python爬虫入门级（二）
Python爬虫入门级Python爬虫（二）获取商品关键信息遍历获取每一页数据写入到磁盘中Python爬虫（二）从京东商城爬取数据，写入到本地的text文件中获取商品关键信息获取商品评论的最大页数，商品id，商品评论数量等等，虽然这些不一定用到，但是万一以后用到呢import requests,json,openpyxl,time,pandas as pdprint("开始时间 >>>>>>>> :" + time.strftime("%Y-%
2021-11-02 23:40:57
165
原创 Linux入门
Linux装机Ubuntu安装shh链接工具使用Ubuntu安装传送门： https://www.jianshu.com/p/54d9a3a695ccshh链接工具传送门： https://jingyan.baidu.com/article/359911f5a5b74857fe0306c4.html使用传送门：https://www.runoob.com/linux/linux-tutorial.html...
2021-10-21 18:42:38
101
原创 Python 爬虫入门级（一）
Python 爬虫入门级Python 爬虫 （一）查找网址安装包编程导入包获取数据打印数据完整内容问题Python 爬虫 （一）你好！ 这是最最最入门级别的爬虫内容。慎入！！！！！！！查找网址找到网页，右键点击检查，会出现以下的这种选框。点击红圈圈出来的内容，找到请求url复制。安装包命令行数据pip install requestsps: 环境不同，命令不同。若不适用自行查找编程首先分为三大步：导入需要的程序包->获取网址内容->打印查看在编译器中输入以下内容导入
2021-10-21 01:41:36
213
原创 python dataframe 和 函数
python dataframe函数来说一下经常用的dataframe函数，至于什么是dataframe，请自行百度。Merge合并，将两个dataframe进行合并相当于sql中的表连接（left join ,inner join ,right join等）df = pd.merge(df1, df2, how='left', on=['id'])ps : pd.merge 函数名字 df1、df2 dataframe how
2021-07-04 23:22:51
5516
原创 python参数设置和读取
python参数设置和读取配置参数分为两种，一种是通过配置文件，一种是通过命令行输入。这边一个脚本两种方式都说。首先写一个python脚本 test.py#!/usr/bin/env python# coding: utf-8# -*- coding: utf-8 -*-import configparserimport osimport sysimport pymysqlimport pandas as pdimport numpy as npfrom collections i
2021-07-04 23:22:18
674
原创 python读写mysql
python读写mysql用python读写mysql也有很多种，我这边给大家介绍的是pymysql。如果报错可能是你的组件没有下载，按照错误自行百度。#!/usr/bin/env python# coding: utf-8import configparserimport osimport sysimport pymysqlimport pandas as pdimport numpy as npfrom collections import Counterimport refr
2021-07-04 23:21:33
634
原创 python入门，下载和安装
python入门 各位亲爱的开发者们，为了给大家分享更多精彩的技术干货，给大家创造更加纯净的开发者交流环境，请移步至我的博客哦，点击传送门关注：https://blog.csdn.net/weixin_43681796?spm=1001.2101.3001.5343&type=blog 我理解的语言的入门就是下载、安装、hello world，接下来会给大家一一讲解。下载Python 打开官网/http://www.python.org，选择Downloads
2021-07-04 23:20:05
359
4
转载 ssh 连接 docker容器
请看原文 ： https://blog.csdn.net/y6300023290/article/details/83582675
2021-06-18 06:14:17
248
原创 JAR包缺少依赖，无法在Linux系统中运行？看我一步到胃
分化不多说直接上内容，在pom文件中加入以下内容完美解决这个问题<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.
2021-04-08 19:38:41
648
原创 ClassNotFoundException: org.apache.htrace.core.HTraceConfiguration 和 TableInputFormatBase
问题背景Apache Spark2 整合 Hbase2 的时候报错.问题内容出现两次错误第一个： Exception in thread “main” java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/mapreduce/TableInputFormatBase----------------------------------分割线---------------------------------------
2021-04-02 22:25:09
854
原创 不限速下载
不限速下载注：本文所有资源均在GitHub中：https://github.com/Damon20190111/BDP/tree/main/0105BaiduHigthLevelDownload/06software浏览器插件插件（又译外挂，英文为Plug-in、Plugin、add-in、addin、add-on、addon或extension）是一种电脑程序，透过和应用程序（例如网页浏览器，电子邮件客户端）的互动，用来替应用程序增加一些所需要的特定的功能。最常见的有游戏、网页浏览器的插件和媒体播放
2021-03-02 17:33:54
1554
原创 Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to ...........
问题背景:DBeaver连接phoenix之后给hbase建索引出错错误内容：org.jkiss.dbeaver.model.sql.DBSQLException: SQL 错误 [1029] [42Y88]: ERROR 1029 (42Y88): Mutable secondary indexes must have the hbase.regionserver.wal.codec property set to org.apache.hadoop.hbase.regionserver.wal.I
2021-01-12 01:25:42
686
原创 Mysql8搭建和问题
MysqlMysql下载下载网址https://downloads.mysql.com/archives/community/版本选择Mysql安装上传解压使用FTP工具将window本地的文件上传到Linux系统后进行解压：tar -xvf mysql-8.0.18-1.el7.x86_64.rpm-bundle.tar卸载mariadb获取maridb的版本信息rpm -qa | grep mariadb卸载上一步查询出来的maridb结果rpm -e --nodeps
2020-12-24 08:53:19
405
原创 HQL使用小问题汇总（更新中）
CASE WHEN1.不能直接判断区间，需要加and错误示范：会报错SQL 错误 [40000] [42000]: Error while compiling statement: FAILED: ParseException line 8:20 cannot recognize input near '>=' '-' '9' in expression specificationselect t.user_id, t.buy_mount, t.day, t
2020-12-08 09:02:52
409
原创 Error:(292, 40) java: -source 1.5 中不支持 diamond 运算符 (请使用 -source 7 或更高版本以启用 diamond 运算符) & ........
背景：偶尔一次使用idea2020运行项目，这个项目之前跑过很多次都没有问题。问题：Error:(292, 40) java: -source 1.5 中不支持 diamond 运算符 (请使用 -source 7 或更高版本以启用 diamond 运算符)点击运行之后，出现两行错误。问题分析：因为我idea用的不多，这个错误上网找也找不到。所以直接找了一个java的同事，瞬间解决。解决方案：修改source下的信息按照以下图片步骤，一步一步的点击，点开下拉框。（熟手不要在意）在下拉框
2020-11-17 13:51:20
196
原创 Error: attempt to setup a Window for datatype VARCHAR 和 Hive Runtime Error while processing row (ta
环境：这个问题在我使用CDH搭建的集群上遇到的，主要是建表的时候统一用的VARCHAR类型，不要问为什么，我也不太清楚，总之生产上就是这么做的就是了。然后执行聚合函数的窗口函数的时候报的这个错误。之前也有过这种类似的操作，但是还是第一次碰见这种错误，在我解决这个问题的过程中，出现了两种错误，我都记录了，但是不保证都是因为我说的这个原因。问题内容：第一个错误Vertex failed, vertexName=Reducer 2, vertexId=vertex_1604444511298_001
2020-11-06 14:14:44
985
原创 oozie.action.hadoop.LauncherException: IO error Connection timed out: no further information
org.apache.oozie.action.hadoop.LauncherException: IO errorat org.apache.oozie.action.hadoop.LauncherAM.setRecoveryId(LauncherAM.java:487)at org.apache.oozie.action.hadoop.LauncherAM.runActionMain(LauncherAM.java:403)at org.apache.oozie.action.hadoop.Lau
2020-10-15 15:17:51
887
4
原创 Sqoop导出的时候一直卡在map100%
最近最近使用sqoop导出的时候也就是export的时候，主要作用是用sqoop将hive中的数据导出到MySQL中。实际上就是将hdfs的数据导出到mysql中。就是这么一个小操作就一直卡在map的100%，就很难受。卡在map的百分之百就上网找，各种各样的，但是还是不对，太难受了。经过漫长的挣扎，总算找到了问题所在。而且还是一个非常小的问题，可能写出来，大家都觉得很白痴的一错误，就很难受哟。先来引用几个我找到的，写的比较好的博客，但是不是我的错误的博客。=====================
2020-09-28 11:57:53
1218
原创 协调组件
此文意在解释一下协调组件，在看之前建议先看一下数据一致性。我理解的就是我们在分布式应用开发中，为了协调分布式系统中各个机器协同运行而使用到的“公共组件”。比如Zookeeper、Redis等，都可以看作是“分布式协调组件”分布式协调要考虑的东西有很多，主要是数据一致性，数据可用性，容错性。举几个例子来说一下什么是协调： 1）比如说交警，红绿灯。这些就负责着协调交通，让道路不阻塞，但是这些都不会自己下去开这些车。 2）再比如在公司的项目经理，让一个任务来的时候，他需要分配任务到下边的开发人员，还
2020-09-05 17:28:34
183
原创 Zoomit默认快捷键
屏幕缩放 Ctrl + 1 1.1 Ctrl + 1 : 屏幕缩放 通过Ctrl + 1快捷键可以放大屏幕。此时屏幕默认放大2倍，视野中显示屏幕的1/4。屏幕画笔 Ctrl + 2 2.1 选择画笔颜色： B蓝色，Y黄色，R红色，O橘色，G绿色，P粉色2.2 选择画笔形状： Shift 直线 Ctrl 长方形 Tab 椭圆形 Shift + Ctrl 箭头2.3 画笔粗细 Ctrl + 鼠标滚轮 改变笔的粗细2.4 画板 ..
2020-08-18 17:11:27
5182
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人