kafka-docker上使用+常用指令
Docker常用命令大全啟動停止的容器(還是運行之前給定的命令)。刪除指定的容器。--force 選項可以強制性刪除運行的容器。在容器和主機之間拷貝文件、目錄。
docker exec -it zookeeper /bin/sh 這時查看zk節點只有一個zookeeper docker退出當前容器 快捷鍵:第一次嘗試啟動容器是用的第一種方式,后面發現在容器外面連接不了kafka,可能是因為生成的kafka地址是容器內地址。
按照菜鳥的步驟,使用yum安裝即可。常用指令如下圖,直白用法點我, 介紹點擊我備注:RUN命令在image文件的構建階段執行,執行結果都會打包進入image文件;CMD命令則是在容器啟動后執行。
本文操作基于 Docker comopose構建的本地kafka集群 開啟一個生產者 查看myConsumerGroup的信息,此時消費者組中只有一個消費者,它一個消費所有分區。
三、Kafaka的基本操作
新建文件 StreamDataSparkDemo.scala 以上,我們從Kafaka服務器讀取一個 topic 為 spark 的流,然后進行展示。運行程序,輸出如下:取出數據之后,就可以用于實時分析了。
操作系統本身有一層緩存,叫做 Page Cache,當往磁盤文件寫入的時候,系統會先將數據流寫入緩存中。 Kafka 收到消息后也會先存儲在也緩存中(Page Cache)中,之后由操作系統根據自己的策略進行刷盤或者通過 fsync 命令強制刷盤。
第一步:走出舒適區 第二步:尋找導師 第三步:刻意練習 Java程序員學習要求:分布式、Spring MVC、Spring Boot、Spring Cloud、ZooKeeper、Kafaka、Redis、MQ。
數據結果展現(反饋)1)數據采集階段,目前典型的處理處理策略:數據的產生系統一般出自頁面打點和解析DB的log,流計算將數據采集中消息隊列(比如kafaka,metaQ,timetunle)等。
Kafka常用命令(v3.1.0)
1、bin/kafka-console-producer.sh --broker-list localhost:9092 --topic topicName 生產者命令行客戶端需要兩個主要參數:代理列表(broker-list): 要發送郵件的代理列表。 這種情況下,只有一個代理。
2、Kafka創建topic命令很簡單,一條命令足矣:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 3 --topic test 。
3、sh kafka-consumer-groups.sh --bootstrap-server ip:端口,ip:端口,ip:端口 --group 訂閱組 --describe 我在本地idea起了兩個進程 那么CONSUMER-ID會有兩個,但是CLIENT-ID依舊是一個。
4、每個kafka broker中配置文件server.properties默認必須配置的屬性如下:唯一標識在集群中的ID,要求是正數。