weixin_43977307的博客

特点Requests主要功能解析HTML和XML文档，提取数据发送HTTP请求，处理响应用途网页解析、数据抽取和处理向服务器发起HTTP请求、处理响应，获取网络数据关注重点文档解析、数据提取HTTP请求和响应的处理主要特点- 提供多种解析器 - 方便的API来遍历文档树、搜索元素、提取数据 - 修复HTML不完整标签- 提供简洁的API - 支持多种HTTP方法 - 处理认证、Cookie、SSL验证等适用场景从网页中提取特定数据、数据清洗、提取链接等。

json_serde库提供了一种在Hive中直接将JSON格式的数据解析成表的方式，可简化处理流程。现在希望建立一张表，使得表可以直接映射上数据文件hive中建表age int,将json文件上传至建表对应hdfs路径# 也可以通过hive的sql命令行直接load数据文件查看表数据验证可以看到数据文件8行记录，成功映射对应了hive中wangt_666_json表的8条数据。

窗口函数（Window Function）是一种在关系型数据库中执行聚合、分析和排序操作的高级工具。与常规的聚合函数（如SUM、AVG、COUNT等）不同，窗口函数允许在结果集中的每一行上进行计算，而不需要将数据分组。窗口函数提供了对每一行的子集（称为窗口）执行计算的能力，同时保留原始数据行的上下文信息。想象一家咖啡馆，里面有一堵特殊的墙，我们称之为“洞察之墙”。这堵墙背后有一个魔法窗户，这就是窗口函数。

由于集群运行后很难发现内部的实际状况，跑得慢或快，是否异常等，开发人员无法实时查看所有的 Task 日志，比如作业很大或者有很多作业的情况下，该如何处理？此时 Metrics 可以很好的帮助开发人员了解作业的当前状况。Flink 提供的 Metrics 可以在 Flink 内部收集一些指标，通过这些指标让开发人员更好地理解作业或集群的状态。

在开发过程中，如果遇到需要下发/广播配置、规则等低吞吐事件流到下游所有 task 时，就可以使用 Broadcast State。Broadcast State 是 Flink 1.5 引入的新特性。下游的 task 接收这些配置、规则并保存为 BroadcastState, 将这些配置应用到另一个数据流的计算中场景举例动态更新计算规则: 如事件流需要根据最新的规则进行计算，则可将规则作为广播状态广播到下游Task中。

在大数据的实时处理中，实时的大屏展示已经成了一个很重要的展示项，比如最有名的双十一大屏实时销售总价展示。除了这个，还有一些其他场景的应用，比如我们在我们的后台系统实时的展示我们网站当前的pv、首先我们通过自定义source 模拟订单的生成，生成了一个Tuple2,第一个元素是分类，第二个元素表示这个分类下产生的订单金额，金额我们通过随机生成.在电商领域会有这么一个场景，如果用户买了商品，在订单完成之后，一定时间之内没有做出评价，系统自动给与五星好评，用Flink的定时器来简单实现这一功能。

实际开发中我们希望基于事件时间来处理数据，但因为数据可能因为网络延迟等原因，出现了乱序或延迟到达，那么可能处理的结果不是我们想要的甚至出现数据丢失的情况，所以需要一种机制来解决一定程度上的数据乱序或延迟到底的问题！Watermaker水印机制/水位线机制可以解决这样的乱序情况。Watermaker就是给数据再额外的加的一个时间列，也就是Watermaker是个时间戳概念Flink为了方便不同分类的State的存储和管理,提供了如下的API/数据结构来存储State。

flink1.12.0学习笔记第 2 篇-流批一体API日常工作中，我们一般会先把数据存储在表，然后对表的数据进行加工、分析。既然先存储在表中，那就会涉及到时效性概念。如果我们处理以年，月为单位的级别的数据处理，进行统计分析，个性化推荐，那么数据的的最新日期离当前有几个甚至上月都没有问题。但是如果我们处理的是以天为级别，或者一小时甚至更小粒度的数据处理，那么就要求数据的时效性更高了。比如：对网站的实时监控、对异常日志的监控，这些场景需要工作人员立即响应，这样的场景下，传统的统一收集数据，再存到数据库中，再取

flink1.12.0学习笔记（1）-部署与入门Flink 诞生于欧洲的一个大数据研究项目 StratoSphere。该项目是柏林工业大学的一个研究性项目。早期， Flink 是做 Batch 计算的，但在 2014 年， StratoSphere 里面的核心成员孵化出 Flink，同年将 Flink 捐赠 Apache，并在后来成为 Apache 的顶级大数据项目，同时 Flink 计算的主流方向被定位为 Streaming， 即用流式计算来做所有大数据的计算，这就是 Flink 技术诞生的背景。​ 2

Zabbix 是一款可监控网络的众多参数以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康状况和完整性。Zabbix 使用灵活的通知机制，允许用户为几乎任何事件配置基于电子邮件的警报。这允许对服务器问题做出快速反应。Zabbix 基于存储的数据提供报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。Zabbix是一款能够监控各种网络参数以及服务器健康性和完整性的软件。Zabbix使用灵活的通知机制，允许用户为几乎任何事件配置基于邮件的告警。这样可以快速反馈服务器的问题。

CentOS提供了丰富的命令行工具来管理系统各个方面。上述命令仅是冰山一角，实际应用中还有更多高级命令和技巧等待探索。熟练掌握这些基础命令，能极大提高工作效率。随着经验积累，您还可以深入学习如防火墙配置（iptables）、日志分析、性能调优等相关命令和技能，进一步提升系统管理能力。

Apache Kylin 凭借其预计算模型、灵活的数据源集成、直观的 Web UI 和强大的 API 支持，为大规模数据分析提供了高效稳定的解决方案。在实际使用过程中，充分理解并运用 Kylin 的核心特性和最佳实践，结合业务需求进行合理配置与优化，能够充分发挥其在大数据 OLAP 领域的优势，助力企业实现数据驱动决策。

score s join (select course_id from course where tea_id in (select tea_id from teacher where tea_name=‘李体音’)) t on s.course_id=t.course_id。(select course_id from course where tea_id in (select tea_id from teacher where tea_name=‘李体音’)) t。)) 对数组中的元素进行升序排序。

最终结果，会把这个请求交给得出运算结果最小的服务器。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多服务器进行分发。和TUN模式一样，LVS只是分发请求，应答包通过单独的路由返回给客户端，与TUN相比这种方式不需要隧道结构，可以兼容大多数的操作系统，同时统一路由可以隐藏真实的物理服务器。轮询（Round Robin 简写’rr’）：轮询算法假设所有的服务器处理请求的能力都一样的，调度器会把所有的请求平均分配给每个真实服务器。

实现步骤：在 Docker 安装 Jenkins，配置 Jenkins 基本信息，利用 Dockerfile 和 Shell 脚本实现项目自动拉取打包并运行。因为项目和 Jenkins 在同一台服务器，所以我们用 Shell 脚本运行项目，原理既是通过 Dockerfile 打包镜像，然后 docker 运行即可。上图用了 docker logs -f 是为了方便看日志，真实环境不要用，因为会一直等待日志，构建任务会失败；如果使用 Gitee 码云，安装插件Gitee（自带 Git 不用单独安装）

shell中的参数 package-name，activeProfile，boot-main 都是由mvn中profiles的properties中提供，是可变的参数，脚本代码本身不需要人工去修改，只需要变的是mvn的参数即可；注：这里第一次执行./shenniu_publish.sh脚本时候，提示了错误信息；filtered节点： 脚本中参数变量为pom的profiles中properties的值(该配置，是把mvn中属性值映射生成到sh文件中，如：${package-name})

Shell 是指一种应用程序，它是用户使用 Linux 的桥梁，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。Shell 脚本（shell script），是一种为 shell 编写的脚本程序。Shell 编程只要有一个能编写代码的文本编辑器和一个能解释执行的脚本解释器就可以。Linux 的 Shell 种类众多，目前最为常用的就是。脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本：JavaScript。