Apache Flink 是一個(gè)分布式大數(shù)據(jù)計(jì)算引擎,專為處理無(wú)界和有界數(shù)據(jù)流上的有狀態(tài)計(jì)算而設(shè)計(jì),以其高吞吐量、低延遲和高性能在實(shí)時(shí)流處理和批量計(jì)算領(lǐng)域脫穎而出,F(xiàn)link 支持批流一體化,即能夠同時(shí)處理實(shí)時(shí)數(shù)據(jù)流和靜態(tài)數(shù)據(jù)集,使得數(shù)據(jù)處理更加靈活高效

華為云端口放行

??服務(wù)器放行對(duì)應(yīng)端口 8082

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

Docker 安裝并配置鏡像加速

1、購(gòu)買華為云 Flexus X 實(shí)例

Flexus云服務(wù)器X實(shí)例-華為云 (huaweicloud.com)

2、docker 安裝

yum?install -y?docker-ce

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

3、驗(yàn)證 Docker 是否安裝成功,啟動(dòng) docker 服務(wù)并設(shè)置開(kāi)機(jī)自啟動(dòng),且查看 docker 狀態(tài)

docker --versionsystemctl enable dockersystemctl start dockersystemctl status docker

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

4、docker-ce 下載

wget?-O?/etc/yum.repos.d/docker-ce.repo https://mirrors.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

5、路徑/etc/yum.repos.d 修改配置文件

[docker-ce-stable]name=Docker CE?Stable -?$basearchbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/$basearch/stableenabled=1gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-stable-debuginfo]name=Docker CE?Stable -?Debuginfo $basearchbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/debug-$basearch/stableenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-stable-source]name=Docker CE?Stable -?Sourcesbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/source/stableenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-test]name=Docker CE?Test -?$basearchbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/$basearch/testenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-test-debuginfo]name=Docker CE?Test -?Debuginfo $basearchbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/debug-$basearch/testenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-test-source]name=Docker CE?Test -?Sourcesbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/source/testenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-nightly]name=Docker CE?Nightly -?$basearchbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/$basearch/nightlyenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-nightly-debuginfo]name=Docker CE?Nightly -?Debuginfo $basearchbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/debug-$basearch/nightlyenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg[docker-ce-nightly-source]name=Docker CE?Nightly -?Sourcesbaseurl=https://repo.huaweicloud.com/docker-ce/linux/centos/9.9/source/nightlyenabled=0gpgcheck=1gpgkey=https://repo.huaweicloud.com/docker-ce/linux/centos/gpg

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

6、清除和構(gòu)建緩存

yum?clean allyum?makecache

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

7、docker 配置鏡像加速(在華為云鏡像中心可獲取自己的鏡像加速配置)

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

8、創(chuàng)建鏡像加速配置文件

vim?/etc/docker/daemon.json

{"registry-mirrors":?[ "https://fd0cfec0ac0d446db7fd9d27e92d4a8e.mirror.swr.myhuaweicloud.com"?]}

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

9、重新加載配置文件,重新啟動(dòng) docker,查看是否配置成功

systemctl?daemon-reloadsystemctl?restart docker.service

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

10、docker info 查看配置信息,是否配置成功鏡像加速

docker?info

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

搭建 Flink

1、創(chuàng)建文件夾

mkdir /flink

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

2、編寫 docker-compose.yml 文件

vim docker-compose.yml

version:?"2.2"services:jobmanager:?image:?flink:1.14.4-scala_2.11?ports:??????-?"8082:8082"????command:?jobmanager????environment:??????-?|????????FLINK_proPERTIES=????????jobmanager.rpc.address:?jobmanager ?????????taskmanager:????image:?flink:1.14.4-scala_2.11????depends_on:??????-?jobmanager????command:?taskmanager????scale:?1????environment:??????-?|????????FLINK_PROPERTIES=????????jobmanager.rpc.address:?jobmanager????????taskmanager.numberOfTaskSlots:?2

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

3、運(yùn)行 docker-compose.yml 文件

docker-compose?up -d

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

4、關(guān)閉服務(wù)器防火墻

systemctl?stop firewalldsystemctl?status firewalld

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

5、瀏覽器地址訪問(wèn)公網(wǎng) IP:8082

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

總結(jié)

云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink

 

華為云服務(wù)器 Flexus X 實(shí)例,Docker 集成搭建搭建 Flink,F(xiàn)link 能夠同時(shí)處理實(shí)時(shí)數(shù)據(jù)流和靜態(tài)數(shù)據(jù)集,使得數(shù)據(jù)處理更加靈活高效,歡迎搭建一起購(gòu)買華為云服務(wù)器搭建,目前服務(wù)器正在大力促銷優(yōu)惠,有需要的小伙伴可以購(gòu)買!

華為云828 Flexus X實(shí)例

,

聲明:本站所有文章,如無(wú)特殊說(shuō)明或標(biāo)注,均為本站原創(chuàng)發(fā)布。任何個(gè)人或組織,在未征得本站同意時(shí),禁止復(fù)制、盜用、采集、發(fā)布本站內(nèi)容到任何網(wǎng)站、書籍等各類媒體平臺(tái)。如若本站內(nèi)容侵犯了原著者的合法權(quán)益,可聯(lián)系我們進(jìn)行處理。