[TOC]

简介:#

Garbage First(G1)是垃圾收集领域的最新成果，同时也是HotSpot在JVM上力推的垃圾收集器，并赋予取代CMS的使命。如果使用Java 8/9，那么有很大可能希望对G1收集器进行评估。本文详细首先对JVM其他的垃圾收集器进行总结，并与G1进行了简单的对比；然后通过G1的内存模型、G1的活动周期，对G1的工作机制进行了介绍；同时还在介绍过程中，描述了可能需要引起注意的优化点。

JVM GC收集器的回顾与比较#

到JDK1.8为止的垃圾回收器图如下

其实他们的一个迭代的过程是随着技术的演化进行的

串行收集器组合 Serial + Serial Old#

开启选项：-XX:+SerialGC

串行收集器是最基本、发展时间最长、久经考验的垃圾收集器，也是client模式下的默认收集器配置。

串行收集器采用单线程stop-the-world的方式进行收集。当内存不足时，串行GC设置停顿标识，待所有线程都进入安全点(Safepoint)时，应用线程暂停，串行GC开始工作，采用单线程方式回收空间并整理内存。单线程也意味着复杂度更低、占用内存更少，但同时也意味着不能有效利用多核优势。事实上，串行收集器特别适合堆内存不高、单核甚至双核CPU的场合。

并行收集器组合 Parallel Scavenge + Parallel Old#

开启选项：-XX:+UseParallelGC或-XX:+UseParallelOldGC(可互相激活)

并行收集器是以关注吞吐量为目标的垃圾收集器，也是server模式下的默认收集器配置，对吞吐量的关注主要体现在年轻代Parallel Scavenge收集器上。

并行收集器与串行收集器工作模式相似，都是stop-the-world方式，只是暂停时并行地进行垃圾收集。年轻代采用复制算法，老年代采用标记-整理，在回收的同时还会对内存进行压缩。关注吞吐量主要指年轻代的Parallel Scavenge收集器，通过两个目标参数-XX:MaxGCPauseMills和-XX:GCTimeRatio，调整新生代空间大小，来降低GC触发的频率。并行收集器适合对吞吐量要求远远高于延迟要求的场景，并且在满足最差延时的情况下，并行收集器将提供最佳的吞吐量。

并发标记清除收集器组合 ParNew + CMS + Serial Old#

开启选项：-XX:+UseConcMarkSweepGC

并发标记清除(CMS)是以关注延迟为目标、十分优秀的垃圾回收算法，开启后，年轻代使用STW式的并行收集，老年代回收采用CMS进行垃圾回收，对延迟的关注也主要体现在老年代CMS上。

年轻代ParNew与并行收集器类似，而老年代CMS每个收集周期都要经历：初始标记、并发标记、重新标记、并发清除。其中，初始标记以STW的方式标记所有的根对象；并发标记则同应用线程一起并行，标记出根对象的可达路径；在进行垃圾回收前，CMS再以一个STW进行重新标记，标记那些由mutator线程(指引起数据变化的线程，即应用线程)修改而可能错过的可达对象；最后得到的不可达对象将在并发清除阶段进行回收。值得注意的是，初始标记和重新标记都已优化为多线程执行。CMS非常适合堆内存大、CPU核数多的服务器端应用，也是G1出现之前大型应用的首选收集器。

但是CMS并不完美，它有以下缺点：

1. 由于并发进行，CMS在收集与应用线程会同时会增加对堆内存的占用，也就是说，CMS必须要在老年代堆内存用尽之前完成垃圾回收，否则CMS回收失败时，将触发担保机制，串行老年代收集器将会以STW的方式进行一次GC，从而造成较大停顿时间；
2. 标记清除算法无法整理空间碎片，老年代空间会随着应用时长被逐步耗尽，最后将不得不通过担保机制对堆内存进行压缩。CMS也提供了参数-XX:CMSFullGCsBeForeCompaction(默认0，即每次都进行内存整理)来指定多少次CMS收集之后，进行一次压缩的Full GC。

Garbage First (G1)#

开启选项：-XX:+UseG1GC

上面的几组垃圾收集器组合,都有几个共同的特点:

• 年轻代,老年代是独立具有连续的内存块
• 年轻代收集使用单eden,双survivor进行复制算法;
• 老年代收集必须扫描整个老年代区域;
• 都是以尽可能少而快地执行GC为设计原则.

G1垃圾收集器也是以关注延迟为目标、服务器端应用的垃圾收集器，被HotSpot团队寄予取代CMS的使命，也是一个非常具有调优潜力的垃圾收集器。虽然G1也有类似CMS的收集动作：初始标记、并发标记、重新标记、清除、转移回收，并且也以一个串行收集器做担保机制，但单纯地以类似前三种的过程描述显得并不是很妥当。事实上，G1收集与以上三组收集器有很大不同：

• G1的设计原则是”首先收集尽可能多的垃圾(Garbage - First)”。因此，G1并不会等内存耗尽(串行、并行)或者快耗尽(CMS)的时候开始垃圾收集，而是在内部- 采用了启发式算法，在老年代找出具有高收集收益的分区进行收集。同时G1可以根据用户设置的暂停时间目标自动调整年轻代和总堆大小，暂停目标越短年轻代空间越小、总空间就越大；
• G1采用内存分区(Region)的思路，将内存划分为一个个相等大小的内存分区，回收时则以分区为单位进- 行回收，存活的对象复制到另一个空闲分区中。由于都是以相等大小的分区为单位进行操作，因此G1天- 然就是一种压缩方案(局部压缩)；
• G1虽然也是分代收集器，但整个内存分区不存在物理上的年轻代与老年代的区别，也不需要完全独立的- survivor(to space)堆做复制准备。G1只有逻辑上的分代概念，或者说每个分区都可能随G1的运行在不- 同代之间前后切换；
• G1的收集都是STW的，但年轻代和老年代的收集界限比较模糊，采用了混合(mixed)收集的方式。即每次- 收集既可能只收集年轻代分区(年轻代收集)，也可能在收集年轻代的同时，包含部分老年代分区(混合- 收集)，这样即使堆内存很大时，也可以限制收集范围，从而降低停顿

G1的内存模型#

分区概念:

分区#

分区 Region

G1采用了分区(Region)的思路，将整个堆空间分成若干个大小相等的内存区域，每次分配对象空间将逐段地使用内存。因此，在堆的使用上，G1并不要求对象的存储一定是物理上连续的，只要逻辑上连续即可；每个分区也不会确定地为某个代服务，可以按需在年轻代和老年代之间切换。启动时可以通过参数-XX:G1HeapRegionSize=n可指定分区大小(1MB~32MB，且必须是2的幂)，默认将整堆划分为2048个分区。

卡片#

卡片 Card

在每个分区内部又被分成了若干个大小为512 Byte卡片(Card)，标识堆内存最小可用粒度所有分区的卡片将会记录在全局卡片表(Global Card Table)中，分配的对象会占用物理上连续的若干个卡片，当查找对分区内对象的引用时便可通过记录卡片来查找该引用对象(见RSet)。每次对内存的回收，都是对指定分区的卡片进行处理。

堆#

堆 Heap

G1同样可以通过-Xms/-Xmx来指定堆空间大小。当发生年轻代收集或混合收集时，通过计算GC与应用的耗费时间比，自动调整堆空间大小。如果GC频率太高，则通过增加堆尺寸，来减少GC频率，相应地GC占用的时间也随之降低；目标参数-XX:GCTimeRatio即为GC与应用的耗费时间比，G1默认为9，而CMS默认为99，因为CMS的设计原则是耗费在GC上的时间尽可能的少。另外，当空间不足，如对象空间分配或转移失败时，G1会首先尝试增加堆空间，如果扩容失败，则发起担保的Full GC。Full GC后，堆尺寸计算结果也会调整堆空间。

分代模型#

分代#

分代 Generation

分代垃圾收集可以将关注点集中在最近被分配的对象上，而无需整堆扫描，避免长命对象的拷贝，同时独立收集有助于降低响应时间。虽然分区使得内存分配不再要求紧凑的内存空间，但G1依然使用了分代的思想。与其他垃圾收集器类似，G1将内存在逻辑上划分为年轻代和老年代，其中年轻代又划分为Eden空间和Survivor空间。但年轻代空间并不是固定不变的，当现有年轻代分区占满时，JVM会分配新的空闲分区加入到年轻代空间。

整个年轻代内存会在初始空间-XX:G1NewSizePercent(默认整堆5%)与最大空间-XX:G1MaxNewSizePercent(默认60%)之间动态变化，且由参数目标暂停时间-XX:MaxGCPauseMillis(默认200ms)、需要扩缩容的大小以及分区的已记忆集合(RSet)计算得到。当然，G1依然可以设置固定的年轻代大小(参数-XX:NewRatio、-Xmn)，但同时暂停目标将失去意义。

总的来说，G1可以做到让你自己来设置垃圾回收对系统的影响，他自己通过把内存拆分为大量小Region,以及追踪每个Region中可以回收的对象大小和预估时间，最后在垃圾回收的时候，尽量把垃圾回收对系统造成的影响控制在你指定的范围内，同时在有限的时间内尽量回收可能多的垃圾对象

其实这个也就是一个简单的的介绍，下面一篇我们来说说线上环境G1垃圾回收器的具体使用和参数设置

-- 创建部门表DROP TABLE IF EXISTS dept; CREATE TABLE dept(    -- 部门编号    deptno int PRIMARY KEY,     -- 部门名称    dname VARCHAR(14),     -- 部门所在地    loc VARCHAR(13)  );-- 向部门表插入数据INSERT INTO dept VALUES (10,'ACCOUNTING','NEW YORK');INSERT INTO dept VALUES (20,'RESEARCH','DALLAS');INSERT INTO dept VALUES (30,'SALES','CHICAGO');INSERT INTO dept VALUES (40,'OPERATIONS','BOSTON');-- 创建员工表DROP TABLE IF EXISTS emp;CREATE TABLE emp(  -- 员工编号  empno int PRIMARY KEY,   -- 员工姓名  ename VARCHAR(10),   -- 工作岗位  job VARCHAR(9),   -- 直属领导  mgr int,   -- 入职时间  hiredate DATE,   -- 工资  sal double,   -- 奖金  comm double,   -- 所属部门  deptno int);-- 为员工表表添加外键约束ALTER TABLE emp ADD CONSTRAINT FOREIGN KEY EMP(deptno) REFERENCES dept (deptno);-- 向员工表插入数据INSERT INTO emp VALUES(7369,'SMITH','CLERK',7902,"1980-12-17",800,NULL,20);INSERT INTO emp VALUES(7499,'ALLEN','SALESMAN',7698,'1981-02-20',1600,300,30);INSERT INTO emp VALUES(7521,'WARD','SALESMAN',7698,'1981-02-22',1250,500,30);INSERT INTO emp VALUES(7566,'JONES','MANAGER',7839,'1981-04-02',2975,NULL,20);INSERT INTO emp VALUES(7654,'MARTIN','SALESMAN',7698,'1981-09-28',1250,1400,30);INSERT INTO emp VALUES(7698,'BLAKE','MANAGER',7839,'1981-05-01',2850,NULL,30);INSERT INTO emp VALUES(7782,'CLARK','MANAGER',7839,'1981-06-09',2450,NULL,10);INSERT INTO emp VALUES(7788,'SCOTT','ANALYST',7566,'1987-07-03',3000,NULL,20);INSERT INTO emp VALUES(7839,'KING','PRESIDENT',NULL,'1981-11-17',5000,NULL,10);INSERT INTO emp VALUES(7844,'TURNER','SALESMAN',7698,'1981-09-08',1500,0,30);INSERT INTO emp VALUES(7876,'ADAMS','CLERK',7788,'1987-07-13',1100,NULL,20);INSERT INTO emp VALUES(7900,'JAMES','CLERK',7698,'1981-12-03',950,NULL,30);INSERT INTO emp VALUES(7902,'FORD','ANALYST',7566,'1981-12-03',3000,NULL,20);INSERT INTO emp VALUES(7934,'MILLER','CLERK',7782,'1981-01-23',1300,NULL,10);-- 创建工资等级表DROP TABLE IF EXISTS salgrade;CREATE TABLE salgrade(  -- 等级  grade int,   -- 最低工资  losal double,   -- 最高工资  hisal double);-- 向工资等级表插入数据INSERT INTO salgrade VALUES (1,700,1200);INSERT INTO salgrade VALUES (2,1201,1400);INSERT INTO salgrade VALUES (3,1401,2000);INSERT INTO salgrade VALUES (4,2001,3000);INSERT INTO salgrade VALUES (5,3001,9999);

二. 查询语句:#

1. 查询部门编号为30的部门的员工详细信息

   SELECT * FROM emp WHERE deptno = 30;

2. 查询从事clerk工作的员工的编号、姓名以及其部门号

   SELECT empno,ename,deptno FROM emp WHERE job = ‘clerk’;

3. 查询奖金多于基本工资的员工的信息

   SELECT * FROM emp WHERE comm > sal;

4. 查询奖金多于基本工资60%的员工的信息

   SELECT * FROM emp WHERE comm > sal * 0.6;

5. 查询部门编号为10的部门经理和部门编号为20的部门中工作为CLERK的职员信息

   SELECT * FROM emp WHERE deptno = 10 AND job=‘MANAGER’ OR deptno = 20 AND job = ‘CLERK’;

6. 查询部门编号为10的部门经理或部门编号为20的部门工作为CLERK的职员信息或者既不是经理也不是CLERK但是工资高于2000的员工信息

    SELECT * FROM emp WHERE deptno = 10 AND job=‘MANAGER’ OR deptno = 20 AND job = ‘CLERK’ OR job NOT IN (‘MANAGER’,‘CLERK’) AND sal > 2000 ;

7. 查询获得奖金的员工的信息

   SELECT * FROM emp WHERE comm > 0 and comm is not null;

8. 查询奖金少于100或者没有获得奖金的员工的信息

   SELECT * FROM emp WHERE comm < 100 OR comm IS NULL;

9. 查询姓名以A、B、S开头的员工的信息

   SELECT * FROM emp WHERE ename LIKE ‘A%’ OR ename LIKE ‘B%’ OR ename LIKE ‘S%’;

10. 查询找到姓名长度为6个字符的员工的信息

    SELECT * FROM emp WHERE LENGTH(ename) = 6;

11. 查询姓名中不包含R字符的员工信息。

    SELECT * FROM emp WHERE ename NOT LIKE ‘%R%’;

12. 查询员工的详细信息并按姓名排序

    SELECT * FROM emp ORDER BY ename ASC;

13. 查询员工的信息并按工作降序工资升序排列

    SELECT * FROM emp ORDER BY job DESC , sal ASC;

14. 计算员工的日薪(按30天计)

    SELECT ename,sal/30 `AS '日薪'` FROM emp;

15. 查询姓名中包含字符A的员工的信息

    SELECT * FROM emp WHERE ename LIKE ‘’%A%’;

16. 查询拥有员工的部门的部门名和部门号

    SELECT DISTINCT d.dname, d.deptno FROM dept d,emp e WHERE d.deptno = e.deptno;Select DISTINCT d.deptno,d.dname from emp e, dept d where e.JOB IS NOTNULL;

17. 查询工资多于smith的员工信息。

    SELECT *FROM emp WHERE sal > (SELECT sal FROM emp WHERE ename = ‘smith’);

前台请求,后台先从缓存中取数据,取到直接返回结果,取不到时从数据库中区,数据库取到更新缓存,并返回结果,数据库也没有取到数据,那直接返回空结果.

二 缓存穿透#

描述:#

缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求,如发起为id为”-1”的数据或者id为特别大不存在的数据.这时的用户很可能是攻击者,攻击会导致数据库压力过大.

解决方案:#

1. 接口层增加校验,如用户鉴权,id做基础校验,id<=0的直接拦截
2. 从缓存取不到的数据,在数据库中也没有取到,这时也可一件key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用).这样可以防止攻击用户反复用同一个id暴力攻击

三 缓存击穿:#

描述:#

1. 缓存击穿是指缓存中没有数据,但是数据库中有的数据(一般指缓存时间到期),这是由于并发用户特别多,同时读缓存没有读到数据,有同时去数据库中去数据,引起数据库压力瞬间增大,造成过大压力

解决方案:#

1. 设置热点数据永不过期

2. 加互斥锁,互斥锁如下

说明:#

1. 缓存中有数据,直接走上述代码13行后返回结果
2. 缓存中没有数据,第一个进入的线程,获取锁并从数据库去取数据,没释放锁之前,其它并行进入的线程会等待100ms,在重新去缓存取数据,这样防止都去数据库重复取数据,重复向缓存中更新数据情况出现.
3. 这是简化处理,理论上如果能根据key值加锁就更好,就是从线程A 从数据库取key1的数据并不妨碍线程B取key2的数据,上面明显不足

1.查询全部：#

GET /ecommerce/product/_search

took:1 #耗费了多少毫秒

time_out:false #是否超时

  "_shards" : {   "total" : 1,  "successful" : 1,  "skipped" : 0,  "failed" : 0  }

“hits.total”:6 查询结果的数量

“max_score” : 1.0 score的含义，就是document对于一个search的相关度的匹配分数，越相关，就越匹配，分数越高

“hits.hits”:包含了匹配搜索的document的详细数据

GET /ecommerce/product/_search?q=name:yagao&sort=price:desc

—— 生产中并不常用 —–

### DSL（Domain Specified Language）：特定领域的语言

1.查询所有的商品

 GET /ecommerce/product/_search

{   "query":{​    "match_all":{}   }  }

2.降序排序

GET /ecommerce/product/_search

{  "query":{​    "match":{​    "name":"yagao"​    }  },  "sort":[​    {"price":"desc"}​    ]  }

3.分页查询

GET /ecommerce/product/_search

{  "query":{​    "match_all":{}  },  "from":1,  "size":2  }

4.指定查询输出的字段

  GET /ecommerce/product/_search

 {  "query":{​    "match_all":{}  },  "_source":["name","price"]  }  }

5.对数据进行过滤

GET /ecommerce/product/_search

 {  "query":{​    "bool":{​    "must":{​      "match":{​      "name":"yagao"​      }​    },​    "filter":{​      "range":{​      "price":{​        "gt":11​      }​      }​    }​    }  }  } 

6.全文检索

 GET /ecommerce/product/_search

{  "query":{​    "match":{​    "producer":"yagao producer"​    }  }  }

7.短语搜索

GET /ecommerce/product/_search

{  "query":{​    "match_phrase":{​    "producer":"yaogao producer"​    }  }  }

8.高亮

GET /ecommerce/product/_search

  {  "query":{​    "match_phrase":{​    "producer":"yaogao producer"​    }  },  "highlight":{​    "fields":{​    "producer":{}​    }  }  }

redis模块地址: https://redis.io/modules

redis 中文地址: http://redis.cn/

Redis可以自定义添加模块

布隆过滤器模块:#

安装布隆过滤器#

//下载wget https://github.com/RedisBloom/RedisBloom/archive/master.zip//解压unzip master.zip//编译make //编译后生成 redisbloom.so 并cp到指定目录cp ./redisbloom.so /usr/local/redis///启动./bin/redis-server --loadmodule  ./redisbloom.so

解决问题场景:缓存穿透#

1. 如果穿透了,不存在
2. client增加redis中的key,value标记
3. 数据库增加元素
4. 完成元素对bloom的添加

概率解决问题 不可能百分之百正确#

1. 有的向bitmap中标记
2. 请求的可能会被误标记
3. 一定概率会大量减少放行: 穿透
4. 成本低

总结: 布隆过滤器判断中 如果出现1 不一定是1 有可能是碰撞导致; 如果出现0 一定是0

问题: bloom布隆过滤器; counting bloom; cukcoo 布谷鸟过滤器

Reidis作为缓存的使用:#

redis作为数据/缓存的却别:#

1. 缓存数据并不重要
2. 缓存不是全量数据
3. 缓存应该随着访问变化
4. 热点数据

key的有限期:#

1. 不会随着访问延长时间

2. 发生写,会剔除过期时间

3. 倒计时,且redis不能延长

4. 定时 EXPIREAT

5. 业务逻辑自己补全

过期时间判定原理:#

1. 被动访问时判定

2. 周期轮询判定(增量)

   目的稍微牺牲下内存,但是确保了redis性能为王

内存大小#

1. maxmemory

   maxmemory配置指令用于配置Redis存储数据时指定限制的内存大小。通过redis.conf可以设置该指令，或者之后使用CONFIG SET命令来进行运行时配置。

   例如为了配置内存限制为100mb，以下的指令可以放在redis.conf文件中。

   maxmemory 100mb

2. 回收策略:

   当maxmemory限制达到的时候Redis会使用的行为由 Redis的maxmemory-policy配置指令来进行配置。

   以下的策略是可用的:

   • noeviction:返回错误当内存限制达到并且客户端尝试执行会让更多内存被使用的命令（大部分的写入指令，但DEL和几个例外）
   • allkeys-lru: 尝试回收最少使用的键（LRU），使得新添加的数据有空间存放。
   • volatile-lru: 尝试回收最少使用的键（LRU），但仅限于在过期集合的键,使得新添加的数据有空间存放。
   • allkeys-random: 回收随机的键使得新添加的数据有空间存放。
   • volatile-random: 回收随机的键使得新添加的数据有空间存放，但仅限于在过期集合的键。
   • volatile-ttl: 回收在过期集合的键，并且优先回收存活时间（TTL）较短的键,使得新添加的数据有空间存放。

   如果没有键满足回收的前提条件的话，策略volatile-lru, volatile-random以及volatile-ttl就和noeviction 差不多了。

   选择正确的回收策略是非常重要的，这取决于你的应用的访问模式，不过你可以在运行时进行相关的策略调整，并且监控缓存命中率和没命中的次数，通过RedisINFO命令输出以便调优。

   一般的经验规则:

   • 使用allkeys-lru策略：当你希望你的请求符合一个幂定律分布，也就是说，你希望部分的子集元素将比其它其它元素被访问的更多。如果你不确定选择什么，这是个很好的选择。.
   • 使用allkeys-random：如果你是循环访问，所有的键被连续的扫描，或者你希望请求分布正常（所有元素被访问的概率都差不多）。
   • 使用volatile-ttl：如果你想要通过创建缓存对象时设置TTL值，来决定哪些对象应该被过期。

   allkeys-lru 和 volatile-random策略对于当你想要单一的实例实现缓存及持久化一些键时很有用。不过一般运行两个实例是解决这个问题的更好方法。

   为了键设置过期时间也是需要消耗内存的，所以使用allkeys-lru这种策略更加高效，因为没有必要为键取设置过期时间当内存有压力时。

Redis持久化机制:#

Redis 提供了不同级别的持久化方式:

1. RDB持久化方式能够在指定的时间间隔能对你的数据快照存储
2. AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以Redis协议最佳保存每次写的操作到文件末尾,Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大
3. 也可以同时开启两种持久化方式,在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整

RDB持久化方式:#

RDB的优点:#

1. RDB是一个非常紧凑的文件,它包含了某个时间点的数据集,非常适用于数据集的备份,比如可以在每个小时保存一下过去24小时内的数据,同事每天保存过去30天的数据,这样即使出了问题也可以根据需求恢复到不同的版本的数据集.
2. RDB是一个紧凑的单一文件,很方便传输到另一个远端数据中心,非常适用于灾难恢复.
3. RDB在保存RDB文件时会父进程唯一需要做的是fork出一个子进程,接下来全部由子进程来做,父进程不需要在做其他IO操作,所以RDB持久化方式可以最大化redis的性能.
4. 与AOF相比较, 在恢复大的数据集的时候,RDB方式会更快一些

RDB的缺点:#

1. 如果Redis服务意外停止工作(断电)的情况下会丢失的数据,虽然可以配置不同的save时间点(如每隔5分钟并且对数据集有100个写的操作),是redis要完整的保存整个数据集是一个比较繁重的工作,通常每隔5分钟或者更久做一次完整的保存,加入在redis意外宕机,可能会丢失几分钟的数据.
2. RDB需要经常fork子进程来保存数据集到硬盘上,当数据及比较大的时候,fork的过程就非常耗时,可能会导致Redis在一些毫秒级内不能响应客户端的请求,如果数据及巨大并且CPU性能不是很好的青口下,这种情况会持续几秒,AOF也需要fork,但是你可以调节重写日志文件的频率来提高数据及的耐久度.

快照:#

在默认情况下,redis将数据库快照保存在名字为dump.rdb的二进制文件中.可以对Redis进行设置,让它在”N秒内数据集至少有M个改动”这一条件被满足时,自动报存一次数据及.也可以通过调用SAVE和BGSAVE,手动让Redis进行数据集保存操作

save 60 1000

这种持久化方式称为快照 snapshotting.

工作方式:#

当redis需要保存dump.rdb文件时,服务器执行以下操作:

1. redis调用forks,同事拥有父进程和子进程
2. 子进程将数据集写入到一个临时的RDB文件中
3. 当子进程完成新RDB文件写入时,Redis用新RDB文件替换原来的RDB文件,并删除旧的RDB文件

这种工作方式使得Redis可以从写时复制(copy-on-write)机制中获益

Docker实战之入门以及Dockerfile(二)

文章内容，由【Docker实训课程】

第一讲视频翻译整理而成
培训代码 https://github.com/nicescale/docker-training
虚拟机镜像 http://market.aliyun.com/products/56014007/
##应用镜像

##csphere/wordpress:4.2

# cd docker-training/wordpress/# ls -a.              license.txt           wp-config-sample.php  wp-login.php..             readme.html           wp-content            wp-mail.phpDockerfile     wp-activate.php       wp-cron.php           wp-settings.php.dockerignore  wp-admin              wp-includes           wp-signup.phpindex.php      wp-blog-header.php    wp-links-opml.php     wp-trackback.phpinit.sh        wp-comments-post.php  wp-load.php           xmlrpc.php/docker-training/wordpress# cat Dockerfile from csphere/php-fpm:5.4add init.sh /init.shentrypoint ["/init.sh", "/usr/bin/supervisord", "-n", "-c", "/etc/supervisord.conf"]

使用docker后，在项目代码目录下，写Dockerfile文件，非常方便把项目代码直接打包到docker镜像中，如有哪些文件不想被打包进去，可以在.dockerignore文件中定义

Dockerfile解析：

• wordpress镜像是基于csphere/php-fpm:5.4来进行构建
• ONBUILD指令生效，把代码文件拷贝到网站根目录下
• init.sh脚本对WordPress连接mysql数据库进行配置，固运行wordpress镜像后，只需要进行配置WordPress即可，数据库已准备就绪！

生成WordPress镜像

docker build -t csphere/wordpress:4.2 .

查看当前主机本地都有哪些docker镜像

docker images

创建WordPress准备

查看主机ip地址

ifconfig eth0
192.168.1.20

创建WordPress容器：

docker run -d -p 80:80 --name wordpress -e WORDPRESS_DB_HOST=192.168.1.20 -e WORDPRESS_DB_USER=admin -e WORDPRESS_DB_PASSWORD=csphere2015 csphere/wordpress:4.249d0cddb4e6998a43285fe09165030ba80485065867b9cb8fae9fbdb97cd077f

参数解析：

• -d 后台运行
• -p 80:80 将宿主机的80端口映射到容器的80端口
• –name wordpress 给容器命名为wordpress
• -e WORDPRESS_DB_HOST=192.168.1.20 数据库主机的ip地址（或者域名）
• -e WORDPRESS_DB_USER=admin 数据库的用户，默认是admin
• -e WORDPRESS_DB_PASSWORD=csphere2015 登陆数据的密码，默认是csphere2015
• csphere/wordpress:4.2使用此镜像创建WordPress容器

访问http://your_ip，选择语言，并进行设置wordpress

ENTRYPOINT和CMD的区别#

ENTRYPOINT解析

定义：

An ENTRYPOINT allows you to configure a container that will run as an executable

运行一个Docker容器像运行一个程序一样

ENTRYPOINT的使用方法：

1.ENTRYPOINT [“executable”, “param1”, “param2”] (the preferred exec form)

推荐使用1方法，启动起来后，pid为1

2.ENTRYPOINT command param1 param2 (shell form)

启动起来后，pid号为shell命令执行完的pid号

CMD解析

CMD的使用方法：

1.CMD [“executable”,”param1”,”param2”] (exec form, this is the preferred form)

运行一个可执行的文件并提供参数

2.CMD [“param1”,”param2”] (as default parameters to ENTRYPOINT)

为ENTRYPOINT指定参数

3.CMD command param1 param2 (shell form)

是以”/bin/sh -c”的方法执行的命令

实战测试CMD

vim DockerfileFROM centos:centos7.1.1503CMD ["/bin/echo", "This is test cmd"]

生成cmd镜像
docker build -t csphere/cmd:0.1 .
生成cmd容器，进行测试
docker run -it --rm csphere/cmd:0.1
This is test cmd
测试是否可以替换cmd的命令

docker run -it csphere/cmd:0.1 /bin/bash[root@c1963a366319 /]#

测试结果，在Dockerfile中定义的CMD命令,在执行docker run的时候，CMD命令可以被替换。

实战测试ENTRYPOINT

FROM centos:centos7.1.1503ENTRYPOINT ["/bin/echo", "This is test entrypoint"]

生成ent(entrypoint)镜像
docker build -t csphere/ent:0.1 .

生成ent容器，进行测试

docker run -it csphere/ent:0.1This is test entrypoint

测试是否可以替换entrypoint的命令

docker run -it csphere/ent:0.1 /bin/bashThis is test entrypoint /bin/bash

测试结果，在Dockerfile定义的ENTRYPOINT命令，通过以上方式不能被替换

实战再次测试ENTRYPOINT

docker run -it --entrypoint=/bin/bash csphere/ent:0.1
测试结果，ENTRYPOINT命令也可以被替换，需要在执行docker run时添加--entrypoint=参数，此方法多用来进行调试

##更多精彩内容，访问：cSphere-希云社区

说明，文章由cSphere-希云所有，转载请整体转载，并保留原文链接，且不得修改原文！

转载，请联系”cSphere”微信公众号

文章内容，由【Docker实训课程】

第一讲视频翻译整理而成

培训代码 https://github.com/nicescale/docker-training

虚拟机镜像 http://market.aliyun.com/products/56014007/

###首先Docker是软件工业上的集装箱技术

###回顾，在没有集装箱出现以前，传统运输行业中，会存在这些问题：

• 在运输过程中，货物损坏
• 装卸、运输货物，效率低下
• 运输手续繁多及运输环节多
• 劳动强度大，及船舶周转慢

###在集装箱出现后，完全改变了这种状况，是由于集装箱：

• 规则标准化，大大减少了包装费用
• 大大提升了货物装卸效率、及运输效率
• 不同种运输工具之间转换更容易

###所以，集装箱出现是传统行业中的一次重大变革

###传统软件行业中存在的问题

• 软件更新发布低效
• 业务无法敏捷
• 环境一致性，难于保证
• 不同环境之间迁移成本太高
• 软件开发商，交付实施周期长—成本高

###有了Docker，以上问题，有望或者说在很大程度上可以得到解决

二、Docker的组成#

Docker是一个C/S架构#

• Docker Client： Docker的客户端
• Docker Server： Docker daemon的主要组成部分，接收用户通过Docker Client发送的请求，并按照相应的路由规则实现路由分发
• Docker Registry： Registry是Docker镜像的中央存储仓库（pull/push）

通过docker pull命令可以把Registry上的docker镜像，下载到服务器本地

通过docker push命令可以把服务器本地的docker镜像，上传到Registry上

Registry在构建自动化平台，起着非常重要的作用！

提示：Docker镜像运行之后会成为Docker容器—-通过 docker run命令

####Docker容器启动速度非常快，体现在2个方面；

1.磁盘占用空间小，因为docker镜像采用了分层技术，构建的镜像大小，只有自身的大小，不包含父镜像的大小

2.内存消耗少，docker容器共享的宿主机的内核，没有操作的进程消耗

##Docker实战准备

1. 首先登陆OSChina Git
2. 将docker-training项目Fork到自己的仓库
3. 使用自己熟悉的SSH工具连接到服务器
4. 执行git clone https://git.oschina.net/*YOURNAME*/docker-training.git，将你的远程仓库clone到服务器

Git 使用指南

后续会构建4个docker镜像，分别为：

centos7 (基础镜像)

php-fpm mysql（中间件镜像）

worpdress(应用镜像)

####什么是Dockerfile？

Dockerfile是自动构建docker镜像的配置文件，Dockerfile中的命令非常类似linux shell下的命令

Dockerfile,可以让用户自定义构建docker镜像，支持以 # 开头的注释行

一般，Dockerfile分为4部分

• 基础镜像（父镜像）信息
• 维护者信息
• 镜像操作命令
• 容器启动命令

####为何把Dockerfile存放到git仓库中，并为每个项目创建git仓库？

方便通过自动化平台，自动构建docker镜像

##三、Dockerfile介绍

###基础镜像csphere/centos:7.1

## MAINTAINER        Carson,C.J.Zeong <zcy@nicescale.com># DOCKER-VERSION    1.6.2## Dockerizing CentOS7: Dockerfile for building CentOS images#FROM       centos:centos7.1.1503MAINTAINER Carson,C.J.Zeong <zcy@nicescale.com>ENV TZ "Asia/Shanghai"ENV TERM xtermADD aliyun-mirror.repo /etc/yum.repos.d/CentOS-Base.repoADD aliyun-epel.repo /etc/yum.repos.d/epel.repoRUN yum install -y curl wget tar bzip2 unzip vim-enhanced passwd sudo yum-utils hostname net-tools rsync man && \    yum install -y gcc gcc-c++ git make automake cmake patch logrotate python-devel libpng-devel libjpeg-devel && \    yum install -y --enablerepo=epel pwgen python-pip && \    yum clean allRUN pip install supervisorADD supervisord.conf /etc/supervisord.confRUN mkdir -p /etc/supervisor.conf.d && \    mkdir -p /var/log/supervisorEXPOSE 22ENTRYPOINT ["/usr/bin/supervisord", "-n", "-c", "/etc/supervisord.conf"]

FROM centos:centos7.1.1503

基于父镜像构建其他docker镜像，_父镜像_：可以通过docker pull 命令获得，也可以自己制作

MAINTAINER Carson,C.J.Zeong <zcy@nicescale.com>

Dockerfile维护者

ENV TZ "Asia/Shanghai"

ENV（environment）设置环境变量，一个Dockerfile中可以写多个。以上例子是：设置docker容器的时区为Shanghai

######Dockerfile中有2条指令可以拷贝文件

ADD aliyun-mirror.repo /etc/yum.repos.d/CentOS-Base.repo

拷贝本地文件到docker容器里，还可以拷贝URL链接地址下的文件，ADD还具有解压软件包的功能(支持gzip, bzip2 or xz)

COPY test /mydir

拷贝本地文件到docker容器

RUN yum install -y curl wget....

RUN命令，非常类似linux下的shell命令 (the command is run in a shell - /bin/sh -c - shell form)

在Dockerfile中每执行一条指令（ENV、ADD、RUN等命令），都会生成一个docker image layer

RUN pip install supervisor

supervisor进程管理系统，推荐使用

ADD supervisord.conf /etc/supervisord.conf

添加supervisor的主配置文件，到docker容器里

RUN mkdir -p /etc/supervisor.conf.d

创建存放启动其他服务”supervisor.conf”的目录，此目录下的所有以.conf结尾的文件，在启动docker容器的时候会被加载

EXPOSE 22

端口映射 EXPOSE <host_port>:<container_port>

推荐使用docker run -p <host_port>:<container_port> 来固化端口

ENTRYPOINT ["/usr/bin/supervisord", "-n", "-c", "/etc/supervisord.conf"]

一个Dockerfile中只有最后一条ENTRYPOINT生效，并且每次启动docker容器，都会执行ENTRYPOINT

######以上文件就是用来生成第一个docker镜像的Dockerfile，通过docker build指令来生成docker镜像

docker build -t csphere/centos:7.1 .

如果Dockerfile在当前目录下，输入点.就可以进行加载当前目录下的Dockerfile

如果不在当前目录下需要运行docker build -t csphere/centos:7.1 <Dockerfile_dir>加载相对路径下的Dockerfile

docker镜像的命名规则 registry_url/namespace/image_name:tag 默认tag是latest

在构建Docker镜像时，如果有自己内部的yum源，替换成自己内部的yum源地址，可以加快构建速度。

如果第一次构建失败，会有部分镜像layer生成，第二次构建会基于第一次构建所生成的layer（use cache），继续构建

Step 10 : EXPOSE 22 ---> Running in 0ed1c5479ebc ---> c57a5bac41c8Removing intermediate container 0ed1c5479ebcStep 11 : ENTRYPOINT /usr/bin/supervisord -n -c /etc/supervisord.conf ---> Running in e16c7ac2fd45 ---> 185ef7b101a8Removing intermediate container e16c7ac2fd45Successfully built 185ef7b101a8

可以看到每执行一条Dockerfile的指令都会生成一个镜像的layerc57a5bac41c8 185ef7b101a8 最后185ef7b101a8这个是docker镜像的ID,185ef7b101a8是由c57a5bac41c8 185ef7b101a8…layers叠加而成，体现了docker镜像是分层的

# docker images    查看当前主机本地有哪些docker镜像 REPOSITORY                             TAG                 IMAGE ID            CREATED             VIRTUAL SIZEcsphere/centos                         7.1                 185ef7b101a8        40 minutes ago      451.9 MB

通过docker镜像生成一个docker容器

docker help run #查看docker run命令的使用方法

#####介绍日常工作中经常用到的参数:

docker run -it #启动docker容器在前端
docker run -d #启动docker容器在后台

docker run -p
docker run -P

在Dockerfile中有一条指令是EXPOSE 22，如果使用-P，宿主机会随机选择一个没有被使用的端口和docker容器的22端口做端口映射,如果docker主机或者容器重启后，宿主机又会随机选择一个没有被使用的端口和docker容器的22端口做端口映射，这样端口会发生变化

如果使用-p,比如2222:22，这样不管是docker主机或者容器重启后，2222:22端口都是这样来映射，不会发生改变

生成docker容器

docker run -d -p 2222:22 --name base csphere/centos:7.1

37ac69acf47d501ffc61d8883ae2ba362a132d11e46897212a92b1936e0a0593

参数说明：

• -d 后台运行
• -it 前台交互式运行
• -P 22 将宿主机的一个未使用的随机端口映射到容器的22端口
• -p 2222:22 将宿主机的2222端口映射到容器的22端口
• –name base 给容器命名为base
• csphere/centos:7.1 使用这个镜像镜像创建docker容器

查看Docker容器

docker ps

ps默认只会显示容器在“running”的状态的，容器列表

docker ps -a

ps -a 会查看到所有的容器列表

下一篇Docker实战之入门以及Dockerfile(二)

说明，文章由cSphere-希云所有，转载请整体转载，并保留原文链接，且不得修改原文！

转载，请联系”cSphere”微信公众号

文章内容，由【Docker实训课程】

第一讲视频翻译整理而成

培训代码 https://github.com/nicescale/docker-training

虚拟机镜像 http://market.aliyun.com/products/56014007/jxsc000181.html
##中间件镜像

培训代码 https://github.com/nicescale/docker-training

虚拟机镜像 http://market.aliyun.com/products/56014007/jxsc000181.html
##csphere/php-fpm:5.4

# cd docker-training/php-fpm/# ls Dockerfile          nginx_nginx.conf  supervisor_nginx.confnginx_default.conf  php_www.conf      supervisor_php-fpm.conf

各文件解释：

nginx_nginx.conf 替换默认的nginx.conf文件

nginx_default.conf 替换默认的default.conf文件

php_www.conf 修改apache用户为nginx

supervisor_nginx.conf 添加启动nginx的supervisor文件

supervisor_php-fpm.conf 添加启动php-fpm的supervisor文件

# cat Dockerfile ## MAINTAINER        Carson,C.J.Zeong <zcy@nicescale.com># DOCKER-VERSION    1.6.2## Dockerizing php-fpm: Dockerfile for building php-fpm images#FROM       csphere/centos:7.1MAINTAINER Carson,C.J.Zeong <zcy@nicescale.com># Set environment variableENV APP_DIR /appRUN yum -y install nginx php-cli php-mysql php-pear php-ldap php-mbstring php-soap php-dom php-gd php-xmlrpc php-fpm php-mcrypt && \     yum clean allADD nginx_nginx.conf /etc/nginx/nginx.confADD nginx_default.conf /etc/nginx/conf.d/default.confADD php_www.conf /etc/php-fpm.d/www.confRUN sed -i 's/;cgi.fix_pathinfo=1/cgi.fix_pathinfo=0/' /etc/php.iniRUN mkdir -p /app && echo "<?php phpinfo(); ?>" > ${APP_DIR}/info.phpEXPOSE    80 443ADD    supervisor_nginx.conf /etc/supervisor.conf.d/nginx.confADD    supervisor_php-fpm.conf /etc/supervisor.conf.d/php-fpm.confONBUILD ADD . /appONBUILD RUN chown -R nginx:nginx /app

命令解析：

ONBUILD ADD . /app

ONBUILD 在生成当前docker镜像的时候不生效，在子镜像生效；ONBUILD在产品发布时起着非常重要的作用！举例

A镜像中有ONBUILD指令，在构建A镜像时ONBUILD指令不执行；B镜像FROM A,在构建B镜像时ONBUILD指令开始执行；

如何给docker镜像命名：

• registry-url: registry服务器的域名或者ip
• namespace:
• image-name: docker镜像的名字
• tag: docker镜像的版本号，推荐使用应用服务的版本号来命名，如php-fpm:5.4

生成php-fpm镜像

docker build -t csphere/php-fpm:5.4 .

Step 12 : ONBUILD add . /app ---> Running in 9e21ede67350 ---> 7541483a5a76Removing intermediate container 9e21ede67350Step 13 : ONBUILD run chown -R nginx:nginx /app ---> Running in ab55fc7a46a1 ---> c61699e8c237Removing intermediate container ab55fc7a46a1Successfully built c61699e8c237

生成website容器：

docker run -d -p 8080:80 --name website csphere/php-fpm:5.4
da30b15d3518320f4150b20ef329e59432a65610968977277879578b5fd8f4f7

参数解释：

• -d 后台运行
• -p 8080:80 将宿主机的8080端口映射到容器的80端口
• –name website 给容器命名为website
• csphere/php-fpm:5.4 使用这个镜像镜像创建docker容器

使用浏览器访问：http://your_ip:8080/info.php

如何进入一个正在运行的docker容器？

docker exec -it website /bin/bash

# supervisorctl    查看当前容器中使用supervisor启动了哪些服务 nginx                            RUNNING   pid 9, uptime 0:23:15php-fpm                          RUNNING   pid 10, uptime 0:23:15

##csphere/mysql:5.5

cat Dockerfile ## MAINTAINER        Carson,C.J.Zeong <zcy@nicescale.com># DOCKER-VERSION    1.6.2## Dockerizing Mariadb: Dockerfile for building Mariadb images#FROM csphere/centos:7.1MAINTAINER Carson,C.J.Zeong <zcy@nicescale.com>ENV DATA_DIR /var/lib/mysql# Install MariadbRUN yum install -y mariadb mariadb-server && \    yum clean allADD mysqld_charset.cnf /etc/my.cnf.d/COPY scripts /scriptsRUN chmod +x /scripts/startEXPOSE 3306VOLUME ["/var/lib/mysql"]ENTRYPOINT ["/scripts/start"]

命令解析：

VOLUME ["/var/lib/mysql"]

VOLUME指令，宿主机文件目录和docker容器文件目录做映射

ENTRYPOINT ["/scripts/start"]

ENTRYPOINT在每次启动docker容器时都会被执行，此例，是运行了一个shell脚本”/scripts/start”

每次启动都会运行/scripts/start脚本，脚本内容如下：

# cat start #!/bin/bashset -e## When Startup Container script#if [[ -e /scripts/firstrun ]]; then    # config mariadb    /scripts/firstrun_maria        rm /scripts/firstrunelse    # Cleanup previous mariadb sockets    if [[ -e ${DATA_DIR}/mysql.sock ]]; then        rm -f ${DATA_DIR}/mysql.sock    fifiexec /usr/bin/mysqld_safe

脚本解析：

• set -e 脚本中只要有一行有错误，就会中断脚本执行

• 如果firstrun文件存在，执行firstrun_maria脚本，如果不存在，删除mysql.sock文件，并启动Mariadb

firstrun_maira脚本是初始化Mariadb，以及设置数据库用户和密码，详情内容请自行阅读脚本文件

构建mysql docker镜像

docker build -t csphere/mysql:5.5 .

###docker volume 保证删除容器后，数据不被删除

• 保存容器中的数据
• 数据共享

使用方法：

1.在Dockerfile中定义VOLUME[“/data”]

2.通过docker run -d -v <host_dir>:<container_dir>

###案例：

1. 创建mysql容器，不挂载docker volume，删除后，数据是否存在
2. 创建mysql容器，挂载docker volume，删除后，数据是否存在

运行不挂载docker volume的mysql容器

# docker run -d -p 3306:3306 --name dbserver csphere/mysql:5.5
0a3092395c1e6a84f0ecd5383799f210519c5aefc82cbb7ee2ed1a471fc463f5

删除docker容器，容器里面的数据都会随着容器被删除而删除

# docker rm dbserverError response from daemon: Cannot destroy container dbserver: Conflict, You cannot remove a running container. Stop the container before attempting removal or use -fError: failed to remove containers: [dbserver]

参数解释：

• docker rm 删除状态为“Exited”的docker容器
• docker rm -f 强制删除docker容器

运行挂载docker volume的mysql容器

docker run -d -p 3306:3306 -v /var/lib/docker/vfs/dir/mydata:/var/lib/mysql csphere/mysql:5.5
f49165d5e081b8bd8af9cb9c0bbbeb6545d45f857c1a852646c105
docker exec -it f49 /bin/bash

登陆数据库创建mydb数据库

# mysql# show databases;# create database mydb;Query OK, 1 row affected (0.00 sec)# show databases;+--------------------+| Database           |+--------------------+| information_schema || mydb               || mysql              || performance_schema || test               |+--------------------+5 rows in set (0.00 sec)# exitexit

查看主机文件目录下，是否已生成mydb数据库目录文件

# ls /var/lib/docker/vfs/dir/mydata/aria_log.00000001  ibdata1      ib_logfile1  mysql       performance_schemaaria_log_control   ib_logfile0  mydb         mysql.sock  test

停止docker容器# docker stop f49165d5e081f49165d5e081删除docker容器，查看`mydb`目录是否被删除# docker rm f49165d5e081f49165d5e081# ls /var/lib/docker/vfs/dir/mydata/    验证，挂载docker volume后，容器被删除掉，数据还在aria_log.00000001  ibdata1      ib_logfile1  mysql       performance_schemaaria_log_control   ib_logfile0  mydb         mysql.sock  test

新创建一个容器，挂载到刚才的数据目录下，是否可以把之前的数据库加载回来

docker run -d -p 3306:3306 --name newdb -v /var/lib/docker/vfs/dir/mydata:/var/lib/mysql csphere/mysql:5.5
29418b93d4d4a00a86169c568b6f952e71d25b155d7f6b8012d953022691b2b8

docker exec -it newdb /bin/bash

# mysqlMariaDB [(none)]> show databases;+--------------------+| Database           |+--------------------+| information_schema || mydb               || mysql              || performance_schema || test               |+--------------------+5 rows in set (0.00 sec)

验证结果: 只要保证数据在，重新创建一个容器挂载回之前的数据目录，业务即可恢复（容器可随意删除、创建）

下一篇Docker实战之入门以及Dockerfile(三)

说明，文章由cSphere-希云所有，转载请整体转载，并保留原文链接，且不得修改原文！

转载，请联系”cSphere”微信公众号

• Docker 组件:

Github地址： seata