StreamSets的安装总体来说比较简单,只要解压后修改一下最大打开文件数量即可。
前置准备
JDK: 8u181_Linux-x64(JDK8均可)
在官网下载并解压压缩包 streamsets-datacollector-all-3.6.1.tgz
修改最大打开文件数量
设置最大打开文件数量:
方法一(临时修改):
ulimit -n 65536
方法二(永久修改):
1.vi /etc/security/limits.conf
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
2.修改系统总限制:
修改 /etc/sysctl.conf, 加入
fs.file-max = 6553560
3.需重启linux系统
执行 ulimit -n可以显示目前可打开文件的数量
显示65536则设置成功
进入安装目录中的bin文件夹,
使用 ./streamsets dc 启动StreamSets服务
注意:后台运行配置。
方法一:
vi streamsets
37行,改为:exec $/libexec/_sdc & "$@"
方法二:
通过命令nohup ./streamsets dc >/dev/null 2>&1 &
来启动
关于nohup [command] &
可以参考另一篇文章
Linux中的nohup与&说明
通过ip:18630访问即可,默认用户名和密码均为admin
注意事项:
第一次用到jdbc连接的驱动包时,可能需在管道内Rules下面将对应的数据库驱动包上传,然后重启StreamSets
参考:https://blog.csdn.net/u012551524/article/details/78492939