写BUG的派大星

Patrick Star

  • 首页
  • 归档

  • 搜索
设计模式 Gis Kafka Druid 微信小程序 Java 开源项目源码 物体识别 机器学习 Mybatis 微服务 Feign OpenVPN CSS Streamsets CDH SpringCloud SpringBoot maven 分布式 Shell Tree Linux js WebSocket 多线程 集群 Hadoop 大数据 JDK ElasticSearch MySQL 数据库 Redis Http Nginx

StreamSets安装(CentOS7)

发表于 2020-06-08 | 分类于 大数据 | 0 | 阅读次数 1133

StreamSets的安装总体来说比较简单,只要解压后修改一下最大打开文件数量即可。

前置准备

JDK: 8u181_Linux-x64(JDK8均可)

在官网下载并解压压缩包 streamsets-datacollector-all-3.6.1.tgz

修改最大打开文件数量

设置最大打开文件数量:

方法一(临时修改):

ulimit -n 65536

方法二(永久修改):

1.vi /etc/security/limits.conf
echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf

2.修改系统总限制:
修改 /etc/sysctl.conf, 加入
fs.file-max = 6553560

3.需重启linux系统
执行 ulimit -n可以显示目前可打开文件的数量
显示65536则设置成功

进入安装目录中的bin文件夹,
使用 ./streamsets dc 启动StreamSets服务

注意:后台运行配置。
方法一:
vi streamsets
37行,改为:exec $
/libexec/_sdc & "$@"
方法二:
通过命令nohup ./streamsets dc >/dev/null 2>&1 &来启动
关于nohup [command] &可以参考另一篇文章
Linux中的nohup与&说明

通过ip:18630访问即可,默认用户名和密码均为admin

注意事项:

第一次用到jdbc连接的驱动包时,可能需在管道内Rules下面将对应的数据库驱动包上传,然后重启StreamSets
参考:https://blog.csdn.net/u012551524/article/details/78492939

官方文档:
https://streamsets.com/documentation/datacollector/3.6.0/help/datacollector/UserGuide/Getting_Started/GettingStarted_Title.html

  • 本文作者: Patrick
  • 本文链接: https://www.write1bug.cn/archives/streamsets安装centos7
  • 版权声明: 本博客所有文章除特别声明外,均采用CC BY-NC-SA 3.0 许可协议。转载请注明出处!
# 设计模式 # Gis # Kafka # Druid # 微信小程序 # Java # 开源项目源码 # 物体识别 # 机器学习 # Mybatis # 微服务 # Feign # OpenVPN # CSS # Streamsets # CDH # SpringCloud # SpringBoot # maven # 分布式 # Shell # Tree # Linux # js # WebSocket # 多线程 # 集群 # Hadoop # 大数据 # JDK # ElasticSearch # MySQL # 数据库 # Redis # Http # Nginx
Cloudera Manager安装与搭建(CentOS7,CDH6.1.0)
Feign请求头设置/传递问题(同步方法设置Header/异步方法设置Header)
  • 文章目录
  • 站点概览
Patrick

Patrick

不是在改BUG,就是在写BUG。

52 日志
9 分类
36 标签
RSS
E-mail
Creative Commons
© 2018 — 2023 Patrick
人生如逆旅|我亦是行人
鲁ICP备18043140号-1