docker-compose搭建大数据环境

之前写过一篇docker-compose一键启停Vue+SpringBoot的前后端项目。最近需要用到hadoop、es、kafka、flink等大数据组件，由于公司测试环境并不满足起这么多服务，加上正好公司分配的电脑主机处于空闲状态，于是想着在主机上用docker搭建大数据环境，供测试与学习使用。

windows docker桌面版安装

电脑主机系统是windows10，安装对应版本的docker，具体安装教程可参考https://runoob.com/docker/windows-docker-install.html。

docker-compose.yml

首先编写docker-compose.yml文件，具体配置解释可以参考https://www.runoob.com/docker/docker-compose.html，本次编写的大数据环境包括hadoop、hive、spark、es、kafka、flink和hbase。具体内容如下：

docker

阅读全文 >>

Mac-docker动态给Container添加端口映射

最近用docker搭建了hadoop、hive、HBase等集群，搭建完成后想要搭建Flink集群，发现无法动态给Container添加端口映射。上网搜寻一番发现解决之法。

解决方法

  1. 通过docker container ls -a查看container id。
    fc2fc56e823aafd859aa5be3c534d253

  2. Mac 下 Docker Containers配置文件在~/Library/Containers/com.docker.docker目录，进入该目录，我们要修改的文件在Data/vms/0下，进入后发现有个tty文件，使用screen tty登录，会进入一个新的screen窗口，如下：
    e3272a5114ab4a4c4cf077ca67710653

docker

阅读全文 >>

Vue+SpringBoot项目docker一键部署

项目编写完了，到了部署这一步发现过程比较繁杂，部署完后端部署前端。为了避免每次更新项目后繁琐的部署流程，选择docker可以一键部署，非常的方便，本文使用docker-compose，编写docker-compose.yml，实现一键部署与起停服务。

Compose 简介

Compose 是用于定义和运行多容器 Docker 应用程序的工具。通过 Compose，您可以使用 YML 文件来配置应用程序需要的所有服务。然后，使用一个命令，就可以从 YML 文件配置中创建并启动所有服务。

本文编写server.Dockerfile和fe.Dockerfile来安装前后端环境和编译项目，其中涉及到的配置文件有settings.xml和ngnix.conf，加上docker-compose.yml共5个文件。

server.Dockerfile

docker

阅读全文 >>

HBase基本知识

数据模型

  1. Name Space

    ​ 命名空间，类似于关系型数据库的 DatabBase 概念，每个命名空间下有多个表。HBase 有两个自带的命名空间，分别是 hbase 和 default，hbase中存放的是 HBase 内置的表， default 表是用户默认使用的命名空间。

  2. Region

hbase

阅读全文 >>

salt-api配置

salt-api配置

一、安装salt-api相关软件

1
2
3
4
5
6
7
8
9
10
yum install salt-minion.noarch -y
yum install salt-master.noarch -y
yum install salt-syndic.noarch -y
yum install salt-api.noarch -y
yum install pyOpenSSL.x86_64 -y 

#设置开机自启动
chkconfig salt-api on
chkconfig salt-master on
chkconfig salt-minion on
SaltStack

阅读全文 >>

,