- 博客(24)
- 收藏
- 关注
RSS订阅原创 Netty基本原理
Netty是一个高性能、异步、高可靠性，基于事件驱动的网络应用程序框架和工具，用于快速开发可维护的高性能和高可扩展性的协议服务器和客户端，换句话说，Netty是一个基于NIO客户端服务器框架，它简化Java 原生NIO开发难度，是目前最流行的NIO框架，Netty在互联网应用领域、游戏领域、大数据分布式计算领域都有广泛的应用，比如分布式服务框架Dobbo，分布式检索引擎ElasticSearch，大数据计算引擎Spark、Flink等都采用Netty作为网络通信的框架。
2024-11-26 23:09:12
1185
原创 ssh隧道代理访问内网应用
因为是在本机的18080端口开启的隧道，所以在代理服务器配置代理协议为SOCKS5，代理服务器为localhost，端口为18080，然后开启proxy，这样就可以在本机访问内网的web应用了。手动将本机的公钥文件的公钥文件内容copy，登录到目标服务器，在authorized_keys文件的最后追加一行公钥的内容。：用户可以在此文件中设置全局的 SSH 客户端配置，但通常不建议修改此文件，而是使用 ~/.ssh/config 文件。：存储已知的远程主机的公钥，用于主机验证。
2024-11-19 20:04:01
1345
原创 深度了解flink(十一) 心跳机制详解
在Flink的各个服务组件中，ResourceManager、JobMaster、TaskExecutor三者之间存在相互检测的心跳机制：ResourceManager会主动发送心跳请求探测JobMaster、TaskExecutor是否存活；JobMaster也会主动发送心跳请求探测TaskExecutor是否存活，以便进行任务重启或者失败处理。
2024-11-12 14:38:54
905
原创 深度了解flink(八) JobManager(2)initializeServices剖析
上篇文章梳理了Flink 集群的模式以及通过源码分析了JobManager的启动流程，这篇文章更加细粒度的分析JobManger启动流程初始的服务。initializeServices剖析.map(value ->() ->LOG.debug(//创建工作目录//创建rpcSystem//创建RpcServicerpcSystem,//根据配置实例化JMX，默认关闭。通过JMX收集Flink的监控信息//创建了一个固定大小的线程池,也可以理解为执行器。
2024-10-29 20:32:50
1255
原创 深度了解flink(七) JobManager(1) 组件启动流程分析
JobManager是Flink的核心进程，主要负责Flink集群的启动和初始化，包含多个重要的组件(JboMaster，Dispatcher，WebEndpoint等)，本篇文章会基于源码分析JobManagr的启动流程，对其各个组件进行介绍，希望对JobManager有一个更全面的了解。本篇文章分享了Flink任务的集群模式，通过源码的方式分析了JobManger的启动流程，后续会对JobManger相关的服务和组件进行更详细的分析。
2024-10-29 15:11:00
1318
原创 深度了解flink Flink 本地运行Standalone模式
然后就等待install结束，最后每个模块都是success，则install成功，就会出现flink的bin包，包含flink的lib和conf等。点击File—> Project Structure—>Project设置Jdk版本（如下图），jdk版本设置1.8或者1.8之后的版本。flink tag出来的分支是release出来的版本，本次使用flink 1.19.1的tag，查看所有tag。如果能访问github，下载github的源码(flink的代码托管网站)6.启动TaskManagr。
2024-10-28 16:46:28
1618
原创 Pandas行转列与列装行
实际上，两种操作的核心代码确实非常相似，因为它们都涉及到将 JSON 数据解析并进行拆分。所以，尽管代码实现上看起来非常相似，但是操作的顺序和处理的对象是有区别的。在一列转多列的情况下，我们是将每个 JSON 对象中的键值对转换为多列；而在一行转多行的情况下，我们是将每个 JSON 数组中的元素转换为多行，然后再将每行的 JSON 数据拆分为多列。
2024-10-27 22:41:16
487
原创 DFA -自动机
我们的程序在每个时刻有一个状态 s，每次从序列中输入一个字符 c，并根据字符 c 转移到下一个状态 s'。这样，我们只需要建立一个覆盖所有情况的从 s 与 c 映射到 s' 的表格即可解决题目中的问题。字符串处理的题目往往涉及复杂的流程以及条件情况，如果直接上手写程序，一不小心就会写出极其臃肿的代码。
2024-10-27 22:39:05
310
原创 pip包管理工具
Python包罗万象的第三库是它被⼈喜爱的⼀个重要原因，官⽅的⽹址：https://pypi.org/ ， 在这⾥⼏乎可以找到你能想象的任何功能的包。
2024-10-25 22:47:53
174
原创 深度了解flink 运行时架构
Flink 架构Flink是目前算是实时计算的事实标准，背靠Apache活跃的社区和国内阿里技术团队的支持，社区生态十分丰富，本篇文章主要介绍flink的结构，对flink的各个组件有个更清晰的认识。flink官网对flink的架构有很清晰的介绍，强烈推荐刚接触或者想对flink有深入了解的同学学习flink，我会在官网介绍的基础上补充自己对flink运行时架构的理解。Flink Program：用户代码所在的应用程序JobManager：Master角色 负责集群和作业管理。
2024-10-25 21:56:05
1447
原创 Spark原理
根据以上的方法执行栈可以得出：SparkContext初始化的过程中完成了TaskScheduler，SchedulerBackend，DAGScheduler三个组件的初始化，在初始化的过程中会向master发送注册消息，Driver会周期性的给自己发送消息，调度底层的资源，将集群中的资源以offer的形式发给TaskSchedulerImpl，TaskSchedulerImpl拿到DAGScheduler分配的TaskSet，给task分配资源。表示一个消息通信体，可以接收、发送、处理消息。
2024-10-24 23:14:07
1222
2
原创 Docker 部署MongoDb
-replSet 选项用于指定副本集名称为 rs0，--bind_ip_all 确保 MongoDB 绑定到所有 IP 地址。本地27017端口映射到容器内部27017端口，把容器内部的/data/db目录挂载当前目录下的mongo_db目录，并且初始化了mongo的管理员用户和密码。可以通过mongo客户端或者Docker命令登陆，这里选择使用MongoDb自带的图形化工具进行登录。1.首次启动容器后，需要初始化 MongoDB 副本集。就可以使用新创建的用户进行登录MongoDb了。
2024-10-24 20:41:07
2105
原创 深度了解flink rpc机制(四) 组件启动流程源码分析
目前已发布了3篇关于Flink RPC相关的文章，分别从底层通信系统akka/Pekko，RPC实现方式动态代理以及Flink RPC相关的组件做了介绍深度了解flink rpc机制（一）-Akka/Pekko_flink pekko akka-CSDN博客深度了解flink rpc机制（二）-动态代理-CSDN博客深度了解flink rpc机制（三）-组件以及交互-CSDN博客这篇文章通过分析源码，对以上知识进行验证并串联加深印象，更深入的了解Flink RPC的实现原理。
2024-10-23 22:36:16
1635
原创 动态规划(二)
动态规划还是很抽象的，刚开始接触还是很不容易理解，一定要按照解动态规划的步骤来思考，多多思考，接下来还会分享关于使用动态规划解决。问题的一种常用策略，相对于贪心策略（每一步都选择最优，但是不能不能保证全局最优），动态规划能够保证全局最优。这道题我使用的是二维数组保存状态值，还可以使用一维数组解题，减少了空间复杂度，大家有兴趣自己接下。，希望大家多多关注，一起进步。假设 dp(i, j) 是【a前 i 个元素】与【b前 j 个元素】的最长公共子。dp(i, 0)、dp(0, j) 初始值均为 0。
2024-10-22 21:27:19
1079
原创 动态规划(一)
代码1和代码2都是自顶向下通过递归求出最优解，代码2使用了数组实现了记忆化，减少了重复的栈开销。这样从1分算到41分，是哟个数组保存到每一分的最小值，最后得到最优解。使用备忘录的方式优化找零钱问题，也可以称为记忆化。现在在使用正向的解法，自下而上，通过公式推导。1、将复杂的原问题拆解成若干个简单的子问题。2、每个子问题仅仅解决1次，并保存它们的解。3、最后推导出原问题的解。动态规划，简称为DP。这个是使用递归的方式。
2024-10-22 21:26:13
386
原创 深度了解flink rpc机制（三）-组件以及交互
Flink集群内部通信框架的最低层依赖Akka/Pekko，定义了不同类型的消息，并且设计了通用的RPC通信组件，使用了动态代理进行接口管理，利于扩展维护。
2024-10-21 22:36:17
1057
原创 位运算技巧
1、交换律 a ^ b = c ===> a ^ c = b , b ^ c = a。2、结合律 即 (a ^ b) ^ c == a ^ (b ^ c)3、对于任何数x，都有x ^ x = 0，x ^ 0 = x。4、自反性: a ^ b ^ b = a ^ 0 = a;0异或任何数等于该数本身。
2024-10-21 20:49:32
145
原创 深度了解flink rpc机制（二）-动态代理
Flink底层通信大量使用了Java的动态代理，动态代理是一种设计模式，它允许在运行时创建代理对象，并将方法重定向到不同的实际对象，它使我们能在不修改代码的情况下增加或改变某个对象的行为。
2024-10-20 10:32:15
372
原创 深度了解flink rpc机制（一）-Akka/Pekko
在RPC中，客户机和服务器位于不同的机器上，客户端通过网络调用在服务器端运行的过程，并将结果发送回客户机。创建两个Actor用于模拟Actor的通信，只是为了演示发送和接受，其实每个Actor都可以发送和接受，只要在同一个ActorSystem里，除了和外部Actor通信也可以和自身通信。当使用tell方式的时候，表示仅仅使用异步的方式与Actor进行通信，无需等待Actor的响应结果，并且也不会阻塞后续代码的运行。在Akka中，创建的Actor都有自己的路径，该路径遵循ActorSystem的层级路径，
2024-10-20 10:19:28
1069
原创 Spring Security安全框架
Spring Security:Spring Security是一个能够为基于spring的企业级应用系统提供声明式的安全访问控制解决方案的安全框架，它提供了一组可以在spring应用上下文中配置bean，充分利用了spring ioc，DI和AOP功能，为应用系统提供声明式的安全访问控制功能，减少了为企业系统安全控制编写大量重复的代码。Maven项目引入1.使用spring securi...
2019-06-11 21:45:09
166
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人