天天看点

云原生一之Docker篇

微服务虽然具备各种各样的优势,但服务的拆分通用给部署带来了很大的麻烦。

·分布式系统中,依赖的组件非常多,不同组件之间部署时往往会产生一些冲突。

·在数百上千台服务中重复部署,环境不一定一致,会遇到各种问题

应用部署的环境问题

大型项目组件较多,运行环境也较为复杂,部署时会碰到一些问题:

·依赖关系复杂,容易出现兼容性问题

·开发、测试、生产环境有差异

云原生一之Docker篇

例如一个项目中,部署时需要依赖于node.js、Redis、RabbitMQ、MySQL等,这些服务部署时所需要的函数库、依赖项各不相同,甚至会有冲突。给部署带来极大的困难。

Docker解决依赖兼容问题

而Docker确巧妙的解决了这些问题,Docker是如何实现的呢?

Docker为了解决依赖的兼容问题的,采用了两个手段:

·将应用的Libs(函数库)、Deps(依赖)、配置与应用一起打包

·将每个应用放到一个隔离容器去运行,避免互相干扰

云原生一之Docker篇

这样打包好的应用包中,既包含应用本身,也保护应用所需要的Libs、Deps,无需再操作系统上安装这些,自然就不存在不同应用之间的兼容问题了。

Docker解决操作系统环境差异

虽然解决了不同应用的兼容问题,但是开发、测试等环境会存在差异,操作系统版本也会有差异,Docker同样也能解决操作系统环境差异问题。

要解决不同操作系统环境差异问题,必须先了解操作系统结构。以一个Ubuntu操作系统为例,结构如下:

云原生一之Docker篇

结构包括:

·计算机硬件:例如CPU、内存、磁盘等

·系统内核:所有Linux发行版的内核都是Linux,例如CentOS、Ubuntu、Fedora等。内核可以与计算机硬件交互,对外提供内核指令,用于操作计算机硬件。

·系统应用:操作系统本身提供的应用、函数库。这些函数库是对内核指令的封装,使用更加方便。

应用于计算机交互的流程如下:

1)应用调用操作系统应用(函数库),实现各种功能

2)系统函数库是对内核指令集的封装,会调用内核指令

3)内核指令操作计算机硬件

Ubuntu和CentOSpringBoot都是基于Linux内核,无非是系统应用不同,提供的函数库有差异。

此时,如果将一个Ubuntu版本的MySQL应用安装到CentOS系统,MySQL在调用Ubuntu函数库时,会发现找不到或者不匹配,就会报错了

Docker如何解决不同系统环境的问题?

·Docker将用户程序与所需要调用的系统(比如Ubuntu)函数库一起打包

· Docker运行到不同操作系统时,直接基于打包的函数库,借助于操作系统的Linux内核来运行

Docker和虚拟机的区别

Docker可以让一个应用在任何操作系统中非常方便的运行。而以前我们接触的虚拟机,也能在一个操作系统中,运行另外一个操作系统,保护系统中的任何应用。

虚拟机(virtual machine)是在操作系统中模拟硬件设备,然后运行另一个操作系统,比如在 Windows 系统里面运行 Ubuntu 系统,这样就可以运行任意的Ubuntu应用了。

Docker仅仅是封装函数库,并没有模拟完整的操作系统

云原生一之Docker篇

对比来看:

云原生一之Docker篇

·docker是一个系统进程;虚拟机是在操作系统中的操作系统

·docker体积小、启动速度快、性能好;虚拟机体积大、启动速度慢、性能一般

Docker架构

镜像和容器

Docker中有几个重要的概念:

·镜像(Image):Docker将应用程序及其所需的依赖、函数库、环境、配置等文件打包在一起,称为镜像。

·容器(Container):镜像中的应用程序运行后形成的进程就是容器,只是Docker会给容器进程做隔离,对外不可见。

一切应用最终都是代码组成,都是硬盘中的一个个的字节形成的文件。只有运行时,才会加载到内存,形成进程。

镜像,就是把一个应用在硬盘上的文件、及其运行环境、部分系统函数库文件一起打包形成的文件包。这个文件包是只读的。

容器,就是将这些文件中编写的程序、函数加载到内存中允许,形成进程,只不过要隔离起来。因此一个镜像可以启动多次,形成多个容器进程。

云原生一之Docker篇

例如你下载了一个QQ,如果我们将QQ在磁盘上的运行文件及其运行的操作系统依赖打包,形成QQ镜像。然后你可以启动多次,双开、甚至三开QQ。

DockerHub

开源应用程序非常多,打包这些应用往往是重复的劳动。为了避免这些重复劳动,人们就会将自己打包的应用镜像,例如Redis、MySQL镜像放到网络上,共享使用,就像GitHub的代码共享一样。

DockerHub:DockerHub是一个官方的Docker镜像的托管平台。这样的平台称为Docker Registry。

国内也有类似于DockerHub 的公开服务,比如 ​​网易云镜像服务​​、​​阿里云镜像库​​等。

我们一方面可以将自己的镜像共享到DockerHub,另一方面也可以从DockerHub拉取镜像:

云原生一之Docker篇

Docker架构

我们要使用Docker来操作镜像、容器,就必须要安装Docker。

Docker是一个CS架构的程序,由两部分组成:

·服务端(server):Docker守护进程,负责处理Docker指令,管理镜像、容器等。

·客户端(client):通过命令或RestAPI向Docker服务端发送指令。可以在本地或远程向服务端发送指令。

云原生一之Docker篇

Docker的基本操作

镜像操作

首先来看下镜像的名称组成:

·镜名称一般分两部分组成:[repository]:[tag]。

·在没有指定tag时,默认是latest,代表最新版本的镜像

云原生一之Docker篇

这里的mysql就是repository,5.7就是tag,合一起就是镜像名称,代表5.7版本的MySQL镜像。

镜像命令

云原生一之Docker篇

操作案例

云原生一之Docker篇
云原生一之Docker篇
云原生一之Docker篇
云原生一之Docker篇

容器操作

云原生一之Docker篇

容器保护三个状态:

·运行:进程正常运行

·暂停:进程暂停,CPU不再运行,并不释放内存

·停止:进程终止,回收进程占用的内存、CPU等资源

常用操作:

·docker run:创建并运行一个容器,处于运行状态

--name:指定容器名称

-p:指定端口映射

-d:让容器后台运行

·docker pause:让一个运行的容器暂停

·docker unpause:让一个容器从暂停状态恢复运行

·docker stop:停止一个运行的容器

·docker start:让一个停止的容器再次运行

·docker rm:删除一个容器

·docker logs:查看容器日志

-f 持续查看日志

·docker ps:查看容器状态

·docker exec:进入容器内部,执行一个命令

-it : 给当前进入的容器创建一个标准输入、输出终端,允许与容器交互

mn :要进入的容器的名称

bash:进入容器后执行的命令,bash是一个linux终端交互命令

操作案例

容器的运行命令一般会去docker hub上进行搜索查看

云原生一之Docker篇
云原生一之Docker篇
云原生一之Docker篇

数据卷(容器数据管理)

在之前的nginx案例中,修改nginx的html页面时,需要进入nginx内部。并且因为没有编辑器,修改文件也很麻烦。

这就是因为容器与数据(容器内文件)耦合带来的后果。

云原生一之Docker篇

要解决这个问题,必须将数据与容器解耦,这就要用到数据卷了。

什么是数据卷

数据卷(volume)是一个虚拟目录,指向宿主机文件系统中的某个目录。

云原生一之Docker篇

一旦完成数据卷挂载,对容器的一切操作都会作用在数据卷对应的宿主机目录了。

这样,我们操作宿主机的/var/lib/docker/volumes/html目录,就等于操作容器内的/usr/share/nginx/html目录了

数据集操作命令

数据卷操作的基本语法如下:docker volume [COMMAND]

docker volume命令是数据卷操作,根据命令后跟随的command来确定下一步操作:

·create 创建一个volume

·inspect 显示一个或多个volume的信息

·ls 列出所有的volume

·prune 删除未使用的volume

·rm 删除一个或多个指定的volume

创建和查看数据卷

需求:创建一个数据卷,并查看数据卷在宿主机的目录位置

云原生一之Docker篇
云原生一之Docker篇

挂载数据卷

在创建容器时,可以通过 -v 参数来挂载一个数据卷到某个容器内目录,命令格式如下:

云原生一之Docker篇

这里的-v就是挂载数据卷的命令:

·-v html:/root/htm :把html数据卷挂载到容器内的/root/html这个目录中

容器不仅仅可以挂载数据卷,也可以直接挂载到宿主机目录上。关联关系如下:

·带数据卷模式:宿主机目录 --> 数据卷 ---> 容器内目录

·直接挂载模式:宿主机目录 ---> 容器内目录

·数据卷挂载耦合度低,由docker来管理目录,但是目录较深,不好找

·目录挂载耦合度高,需要我们自己管理目录,不过目录容易寻找查看

云原生一之Docker篇

语法:

目录挂载与数据卷挂载的语法是类似的

-v [宿主机目录]:[容器内目录]

-v [宿主机文件]:[容器内文件]

案例

云原生一之Docker篇

Dockerfile自定义镜像

常见的镜像在DockerHub就能找到,但是我们自己写的项目就必须自己构建镜像了。

镜像结构

镜像是将应用程序及其需要的系统函数库、环境、配置、依赖打包而成。

以MySQL为例,来看看镜像的组成结构:

云原生一之Docker篇

简单来说,镜像就是在系统函数库、运行环境基础上,添加应用程序文件、配置文件、依赖文件等组合,然后编写好启动脚本打包在一起形成的文件。我们要构建镜像,其实就是实现上述打包的过程。

Dockerfile语法

构建自定义的镜像时,并不需要一个个文件去拷贝,打包。

我们只需要告诉Docker,我们的镜像的组成,需要哪些BaseImage、需要拷贝什么文件、需要安装什么依赖、启动脚本是什么,将来Docker会帮助我们构建镜像。

而描述上述信息的文件就是Dockerfile文件。

Dockerfile就是一个文本文件,其中包含一个个的指令(Instruction),用指令来说明要执行什么操作来构建镜像。每一个指令都会形成一层Layer。

云原生一之Docker篇

FROM

凡是编写Dockerfile,几乎开始都会是FROM命令,它决定了Dockerfile构建出的镜像为何物。

语法

FROM [--platform=<platform>] <image> [AS <name>]

FROM [--platform=<platform>] <image>[:<tag>] [AS <name>]

FROM [--platform=<platform>] <image>[@<digest>] [AS <name>]

语义

1. FROM指令开始一个新的构建阶段,设置后续构建依赖的基础镜像,Dockerfile必须以FROM开始。镜像可以是任意有效镜像。

云原生一之Docker篇

2. Dockerfile必须以FROM指令开始(除ARG指令之外),否则会出现"Please provide a source image with from prior to commit"。

3. FROM可以在一个Dockerfile中出现多次,以创建多个镜像或者将当前构建作为另一个构建的依赖。

4. 通过向FROM指令添加AS name,可以选择为新生成阶段指定名称。该名称可以在后续的FROM和COPY --FROM=<name>指令中使用,以引用在此阶段中构建的镜像。

5. tag或者digest的值是可选的。如果省略其中任何一个,则默认情况下,构建器使用latest作为默认值。如果找不到tag的值,则构建器返回错误。

 6. --platform可以用于指定镜像的平台,用来处理那些支持多平台的镜像。例如:linux/amd64、linux/arm64或windows/amd64。默认情况下,使用生产请求的平台。全局生成参数可用于此标志的值,例如:自动平台参数允许您强制一个阶段到本机构建平台(--platform=$BUILDPLATFORM),并使用它交叉编译到阶段内部的目标平台。

RUN

​​Docker​​通过dockerfile创建镜像时,RUN和CMD是相当重要的命令。

语法

# shell形式,命令在shell中运行,默认情况下,Linux是/bin/sh -c、Windows是cmd /S /C .

RUN <command>

# exec形式.

RUN ["executable", "param1", "param2"]

语义

1. RUN指令在当前镜像的顶层上新建层执行命令,同时提交执行结果。提交的结果会在接下来的dockerfile处理。

2. 分层RUN指令和生成提交符合Docker的核心理念,即:提交便利,容器可以依据任意历史镜像构建,像源代码管理一样。

3. exec形式能够避免shell形式表达含义模糊的问题,同时能够在一个不包含shell命令的基础镜像上执行RUN指令。

4. shell形式的默认shell可以通过SHELL修改。

5. shell形式中,若是指令参数过长,可以使用\换行显示。

云原生一之Docker篇

6. exec形式是按照JSON Array格式解析,意味着必须是使用双引号(")包含参数,而不能使用单引号(’)。

7. 与shell形式不同,exec形式不会调用shell命令行,意味着不会进行shell处理。例如:运行RUN [ "echo", "$HOME" ]不会对$HOME进行变量替换。如果需要shell处理,那么可以使用shell形式或直接执行shell,例如:RUN["sh","-c","echo $HOME"]。当使用exec形式直接执行shell时,与shell形式类似,应用的shell是宿主机而非Docker。

8. JSON形式,必须转义反斜杠\。Windows系统中,反斜杠\是路径分隔符,是需要特别关注的。否则,由于不是有效的JSON,执行时会出现异常从而失败。

云原生一之Docker篇

9. RUN指令的缓存不会在下次构建时自动失效。RUN apt-get dist-upgrade -y指令的缓存将在下次构建时重用。RUN指令的缓存可以通过使用--no-cache标志置为无效,例如:docker build --no-cache。

10. RUN指令的缓存可由ADD和COPY指令置为无效。

ENV

语义

1.Dockerfile中的ENV指令用以定义镜像的​​环境变量​​

云原生一之Docker篇

·定义环境变量的同时,可以引用已经定义的环境变量。在ENV指令中,可以直接引用如下环境变量:

云原生一之Docker篇

2. 由于镜像的层次文件系统,ENV定义的环境变量在后续层次中才能够被应用

云原生一之Docker篇

3. 启动容器后,在容器实例中,可以通过env命令查看环境变量

ADD

添加内容到镜像

语法

ADD [--chown=<user>:<group>] <src>... <dest>

ADD [--chown=<user>:<group>] ["<src>",... "<dest>"]

·该命令将复制指定的 <src> 路径下内容到镜像中的 <dest> 路径下

·<src>:可以是 Dockerfile 所在目录的一个相对路径(文件或目录);也可以是一个 URL;还可以是一个 tar 文件(自动解压为目录)

·<dest>:可以是镜像内绝对路径,或者相对于工作目录(WORKDIR)的相对路径

--chown

仅适用于 linux 上的 dockerfile,在 window 上没有用户、组的概念

语义

1. ADD指令从<src>复制新文件、目录或远程文件URL,并将它们添加到路径<dest>

2. 可以指定多个<src>资源,但如果它们是文件或目录,则它们的路径被解析为相对于构建上下文的源

3. 路径支持正则表达式, ADD *.c /code/ 

4. 每个 <src> 可能包含通配符,匹配将使用Go的filepath.Match规则完成

云原生一之Docker篇

注意

1. <dest> 是绝对路径,或相对于 WORKDIR 的路径,源将在目标容器内复制到该路径中。

·相对路径:

ADD test.txt relativeDir/ 等同于 ADD test.txt <WORKDIR>/relativeDir/

·绝对路径:

ADD test.txt /absoluteDir/

2.包含特殊字符的文件

云原生一之Docker篇

3.ADD 遵循的规则:

·<src> 路径必须在构建的上下文中

不能添加  ../something 、 /something ,因为 ​​docker​​ 构建的第一步是将上下文目录(和子目录)发送到 docker 守护进程

云原生一之Docker篇

·<src> 是目录

当<src>是目录时,则复制目录的全部内容,包括文件系统元数据。不会复制目录本身,只会复制其内容。

ADD dir /mydir/

·<src> 是压缩格式(gzip、bzip2、identity、xz)的本地 tar 文件

会将它自动解压为目录,但来自远程 URL 资源不会被解压缩。当一个目录被复制或解压时,它的行为与 tar -x 相同

注意:文件是否被识别为可识别的压缩格式完全取决于文件的内容,而不是文件的名称;例如,如果一个空文件恰好以 .tar.gz 结尾,黄不会被识别为压缩文件,也不会生成任何类型的解压缩错误消息,而只会将该文件复制到目标位置

·指定了多个 <src> 资源,或者由于使用了通配符

则 <dest> 必须是一个目录,并且必须以斜杠 / 结尾

云原生一之Docker篇

·<dest> 不以斜杠结尾

它将被视为常规文件,并且 <src> 的内容将写入 <dest>

ADD test.txt /mytext

·<dest> 不存在

路径中所有缺失的目录都会自动创建

云原生一之Docker篇

4. <src> 的内容发生变化,第一个遇到的 ADD 指令将使来自 Dockerfile 的所有后续指令的缓存无效,这包括使 RUN 指令的缓存无效

5. ADD 和 COPY 的区别和使用场景:

·ADD 支持添加远程 url 和自动提取压缩格式的文件,COPY 只允许从本机中复制文件

·COPY 支持从其他构建阶段中复制源文件(--from)

·根据官方 Dockerfile 最佳实践,除非真的需要从远程 url 添加文件或自动提取压缩文件才用 ADD,其他情况一律使用 COPY

COPY

满足同等功能的情况下,推荐使用COPY指令。ADD指令更擅长读取本地tar文件并解压缩。

语法语义上与ADD基本一致。

CMD

语法

·CMD ["executable","param1","param2"]

语义:运行一个可执行的文件并提供参数。

云原生一之Docker篇

注意:

1. cmd使用括号时,第一行的参数如果在指定位置或系统的环境变量找不到就会被当作entrypoint的参数来使用

2. cmd 当作命令来使用时,只能解析出一个命令,不能实现ps -aux|grep java类似的写法

3. 括号里的参数必须使用英文的双引号扩起来

4. 括号模式可以先呼叫shell 然后再调用其他命令

云原生一之Docker篇

·CMD ["param1","param2"]

语义:为ENTRYPOINT指定参数。

如果括号模式里的第一个参数没有被成功解析为一个命令,则会把括号里的所有参数当作entrypoint的参数来使用。

·CMD command param1 param2

语义:是以”/bin/sh -c”的方法执行的命令。

注意:

1. 使用shell直接解析cmd命令时,如果参数不是字符串,就不能使用引号

云原生一之Docker篇

2. ​​docker​​ run +command可以覆盖cmd参数

云原生一之Docker篇

ENTRYPOINT

语法

·  ENTRYPOINT ["executable", "param1", "param2"]

· ENTRYPOINT command param1 param2(shell中执行)

注意

1. 配置容器启动后执行的命令,并且不可被 ​​docker​​ run 提供的参数覆盖。

2. 每个 Dockerfile 中只能有一个 ENTRYPOINT,当指定多个时,只有最后一个起效

3. 其他与CMD类似。

详细语法说明,请参考官网文档: ​​Dockerfile reference | Docker Documentation​​

Dockerfile文件示例:

云原生一之Docker篇

运行命令:

云原生一之Docker篇

·命令结尾需要指定dockerfile文件所在的文件夹,[.]代表当前文件夹下。

Docker-Compose

Docker Compose可以基于Compose文件帮我们快速的部署分布式应用,而无需手动一个个创建和运行容器!

Compose文件(docker-compose.yml)是一个文本文件,通过指令定义集群中的每个容器如何运行。格式如下:

云原生一之Docker篇

上面的Compose文件就描述一个项目,其中包含两个容器:

mysql:一个基于mysql:5.7.25镜像构建的容器,并且挂载了两个目录

web:一个基于docker build临时构建的镜像容器,映射端口时8090

详细语法参考官网:​​Compose specification | Docker Documentation​​

其实DockerCompose文件可以看做是将多个docker run命令写到一个文件,只是语法稍有差异。

compose文件

云原生一之Docker篇
云原生一之Docker篇

可以看到,图中的微服务案例中包含5个service服务:

·nacos:作为注册中心和配置中心

image: nacos/nacos-server: 基于nacos/nacos-server镜像构建

environment:环境变量

MODE: standalone:单点模式启动

ports:端口映射,这里暴露了8848端口

·mysql:数据库

image: mysql:5.7.25:镜像版本是mysql:5.7.25

environment:环境变量

MYSQL_ROOT_PASSWORD: 123:设置数据库root账户的密码为123

volumes:数据卷挂载,这里挂载了mysql的data、conf目录,其中可以放置提前准备好的数据

·userservice、orderservice、gateway:都是基于Dockerfile临时构建的:

云原生一之Docker篇

Docker镜像仓库

推送、拉取镜像

推送镜像到私有镜像服务必须先tag,步骤如下:

① 重新tag本地镜像,名称前缀为私有仓库的地址:192.168.150.101:8080/

云原生一之Docker篇

② 推送镜像