一 flink的伪分布式搭建

1.1 执行架构图

    1.Flink 程序需要提交给 Job Client
    2. Job Client 将作业提交给 Job Manager
    3. Job Manager 负责协调资源分配和作业执行。 资源分配完成后，任务将提交给相应的 Task Manage。
   4.Task Manager 启动一个线程以开始执行。 Task Manager 会向 Job Manager 报告状态更改。例如开始执行，正在进行或已完成。
   5.作业执行完成后，结果将发送回客户端（ Job Client ）

1.2 操作步骤

1.2.1 将flink安装包上传到服务器

1.2.2  解压

 1.2.3 启动

[root@localhost flink-1.6.1]# ./bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host localhost.localdomain.
Starting taskexecutor daemon on host localhost.localdomain.

1.2.4  查看进程

 1.2.5 页面访问

http://192.168.1.37:8081/

slot 在flink里面可以认为是资源组，Flink是通过将任务分成子任务并且将这些子任务分配到slot来并行执行程序。

1.2.6 测试

1.创建一个读取的文件

root@localhost servers]# touch flink_test
[root@localhost servers]# vi flink_test
[root@localhost servers]# 
2.编辑内容

 3.开始统计

[root@localhost flink-1.6.1]# bin/flink run  /root/export/servers/flink-1.6.1/examples/batch/WordCount.jar  --input /root/export/servers/flink_test        --output /root/export/servers/flink_data2
Starting execution of program
Program execution finished
Job with JobID 88bfa737c790bb730eb3b36c53ccfe91 has finished.
Job Runtime: 1604 ms
[root@localhost flink-1.6.1]# 
 

其中： flink_test 为输入的文件；flink_data2为输出的结果文件

4.页面查看

 点进去，可以查看详情信息

 查看flink_data2的输出结果：

 

# 分布式 # flink # 大数据
Logo
深开鸿 技术专区

更多推荐

cover

【ShiMetaPi M4-R1】上手：RK3568B2 |开源鸿蒙（OpenHarmony) 开发板上手指南

avatar 深开鸿 技术专区
cover

波音787项目：AR技术重塑航空制造的数字化转型

avatar 深开鸿 技术专区

三、计算机网络与分布式系统（上）

本文系统介绍了计算机网络基础知识与协议体系。第一部分讲解数据通信基础，包括信道特性、数据编码方式和差错控制技术（奇偶校验、海明码、CRC）。第二部分详细解析网络体系结构，重点对比OSI七层模型与TCP/IP协议簇，涵盖IP、TCP、UDP等核心协议的工作原理及特点。第三部分深入探讨网络地址管理，包括IPv4分类、子网划分、超网构造技术（CIDR）以及IPv6的优势与过渡方案。全文通过理论阐述与实例

avatar 深开鸿 技术专区