Linux ·

Apache Kylin部署手册PDF

1. 安装准备
1、操作系统 CentOS 6.x
2、时间问题
集群内所有节点时间一定要同步。
NTP、Chrony
3、用户
创建Hadoop组和hadoop用户,并做ssh免密码登录
4、Hadoop HA集群
Hadoop2.5
5、HBase
hbase 1.1.3及以上
6、Hive
hive 1.2.1 或者2.0 ,使用 mysql 存放元数据
7、准备目录
# cd /opt
# mkdir /opt/sxt
# chown -R hadoop:hadoop /opt/sxt
8、kylin
kylin 1.5.1 这个版本支持hbase1.1.3及以上版本
apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
$ tar xf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz -C /opt/sxt
$ cd /opt/sxt
$ mv apache-kylin-1.5.1-bin/kylin
#代表在root用户下
$代表普通用户

2. 环境变量
部署每个节点
hadoop用户的.bashrc
export HADOOPROOT=/opt
export HADOOP_HOME=$HADOOPROOT/hadoop
export ZOOKEEPER_HOME=$HADOOPROOT/zookeeper
export HBASE_HOME=$HADOOPROOT/hbase
export HIVE_HOME=$HADOOPROOT/hive12
export HCAT_HOME=$HIVE_HOME/hcatalog
export KYLIN_HOME=$HADOOPROOT/kylin
export CATALINA_HOME=$KYLIN_HOME/tomcat
export hive_dependency=HIVE_HOME/conf:HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.1.jar
PATH=PATH:HOME/bin:HADOOP_HOME/bin:HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin
PATH=PATH:HBASE_HOME/bin:FLUME_HOME/bin:HIVE_HOME/bin:$HCAT_HOME/bin
PATH=PATH:CATALINA_HOME/bin:$KYLIN_HOME/bin
export PATH

基本的配置已经做好了,安装从以下步骤开始
3. 配置kylin
修改bin/kylin.sh
export KYLIN_HOME=/opt/sxt/kylin
export HBASE_CLASSPATH_PREFIX={tomcat_root}/bin/bootstrap.jar:{tomcat_root}/bin/tomcat-juli.jar:{tomcat_root}/lib/*:hive_dependency:$HBASE_CLASSPATH_PREFIX

压缩问题
关于压缩的问题
本次不是用snappy,如果需要事先重新编译Hadoop源码,使得native库支持snappy
使用snappy能够实现一个适合的压缩比,使得这个运算的中间结果和最终结果都能占用较小的存储空间
1、kylin.properties
1)设置Rest Server
kylin.rest.servers=192.168.56.201:7070
默认为PST,修改为中国时间
kylin.rest.timezone=GMT+8
2)不启用压缩,注释即可
#kylin.hbase.default.compression.codec=snappy
3)定义kylin用于MR jobs的job.jar包和hbase的协处理jar包,用于提升性能。
kylin.job.jar=/opt/sxt/kylin/lib/kylin-job-1.5.1.jar
kylin.coprocessor.local.jar=/opt/sxt/kylin/lib/kylin-coprocessor-1.5.1.jar

2、kylin_job_conf.xml
不使用压缩
mapred.compress.map.output设置为false
mapred.output.compress 设置为false

3、kylin_hive_conf.xml
不使用压缩
hive.exec.compress.output 设置为false

完整PDF文档可以到Linux公社资源站下载:

------------------------------------------分割线------------------------------------------

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是www.linuxidc.com

具体下载目录在 /2017年资料/6月/18日/Apache Kylin部署手册PDF/

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

------------------------------------------分割线------------------------------------------

参与评论