先介绍下我们的druid集群配置
Overload 1台
Coordinator 1台
Middle manager 3台
Broker 3台
Historical一共12台，其中cold 6台，hot 6台
druid版本：0.10, 0.9之后即可支持Kafka indexing service
目前的druid主要用来做批量灌入，包括天级，小时级，五分钟级
由于这个五分钟是一个小时前的五分钟，实时性不能满足需求，无法指导广告主实时投放
需要引入分钟级的实时数据，即广告主在投放一分钟之后就能看到投放的展现点击等指标数据，从而指导广告主投放
业务维度字段主要有
uid campaign_id plan_id mid posid
指标字段主要有
impressions clicks installs revenue
由于transqulity有数据丢失风险，所以我们拟采用kafka indexing service
1.打开druid的extensions目录，这个插件已经自带
2.在overload和middleManager上配置loadList，注意overload节点和middleManager节点都要配置，其他节点不需要
名称千万不能写错 "druid-kafka-indexing-service"
3.重启overload和middleManager
关闭服务
ps -ef |grep druid
kill -9 pid
打开服务
nohup java `cat conf/druid/overlord/jvm.config | xargs` -cp "conf/druid/_common:conf/druid/overlord:lib/*" io.druid.cli.Main server overlord > /new_orion/druid/druid_start_log/ip/overlord/overlord.out &
把这行命令存成一个脚本，每次打开服务用这个脚本
4.配置supervisor.json
灌库用的tsv文件，下面给出一个json范例
{ "type": "kafka", "dataSchema": { "dataSource": "realtime_detail_min", "parser": { "type": "string", "parseSpec": { "format": "tsv", "delimiter": "\t", "timestampSpec": { "column": "timestamp", "format": "auto" }, "columns": [ "timestamp", "pkgname", "country", "impressions", "clicks" ], "dimensionsSpec": { "dimensions": [ "pkgname", "country" ], "dimensionExclusions": [] } } }, "metricsSpec": [ { "type": "longSum", "name": "impressions", "fieldName": "impressions" }, { "type": "longSum", "name": "clicks", "fieldName": "clicks" } ], "granularitySpec": { "type": "uniform", "segmentGranularity": "HOUR", "queryGranularity": "MINUTE" } }, "tuningConfig": { "type": "kafka", "maxRowsPerSegment": 5000000 }, "ioConfig": { "topic": "druid_detail_time_minute", "consumerProperties": { "bootstrap.servers": "ip:9092", "group.id": "consumer_druid" }, "taskCount": 1, "replicas": 1, "taskDuration": "PT1H" } }注意：
1.如果用的tsv或者csv文件，一定要设置columns，灌数字段顺序要和这个完全一致
2.segmentGranularity表示落盘成数据段的单位，这个一般不要设置太小，一个小时或者一天
queryGranularity表示查询的最小维度
3.maxRowsPerSegment 表示一个segment最大数据行数，taskDuration表示多久持久化一次数据
比如我想一个小时落盘一次数据，但是一个小时我们能生成800万行数据，那就把maxRowsPerSegment赋值为1000万
4.taskCount replicas这两个字段也很重要，参照官网，如果阅读英文费劲，可以参考阿里云官网
5.启动superviosr
curl -X POST -H 'Content-Type: application/json' -d @supervisor-spec.json http://localhost:8090/druid/indexer/v1/supervisor
6.访问overload控制台如下
点击status查看所有分区的消费进度
注意在启动supervisor消费之前，一定要保证overload机器和middleManager节点一定能访问kafka
我们还有一套阿里云的druid, 但我们的kafka是腾讯的，用阿里云的druid消费腾讯的kafka
一切正常就是不消费，lag一直在堆积，后来阿里云同学说你们买的druid只能访问你们买的其他几台内网地址，如果想要访问外网地址，需要配置vpn，然后我问为啥latesetOffset一直增加呢，回答overload节点能访问kafka，但是middleManager真正做消费的访问不到，所以不确定overload和middleManager能否访问kafka的情况下，就在这些机器上装个单机版的kafka，用命令行消费一下
./kafka-console-consumer --bootstrap-server ckafka.com:6170 --group consumer_druid --topic druid_detail_time_minute
注意执行这条命令不需要配置和启动kafka，进入bin目录直接执行即可
附上下载kafka的命令
wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
7.在coordinator页面观察数据是否正确生成
一定要设置rules，数据才能正常展示
