通過Git WebHooks+腳本實作自動更新釋出代碼之shell腳本

腳本的一些特點和功能：

解決腳本的符号連結問題，準确擷取腳本工作目錄（從tomcat腳本中學到）；

顔色顯示，不同級别的資訊用不同的顔色顯示（共兩種方案，前一種從一位不知名的國外工程師處得到，後一種從lnmp1.2腳本中得到）；

生成capistrano目錄結構；

清除過期目錄和檔案；

檢查部署要求是否滿足，如磁盤空間的需求等，其他的要求檢查有待于添加；

部署失敗後歸滾；

項目廢棄後删除項目；

腳本裡面盡可能的考慮容錯（異常判斷）和部分細節；

腳本存在的已知的問題：

（1）腳本中有幾個todo，有待于改善；

（2）repository目錄暫時沒有用到；

（3）擷取git的版本号問題；

（4）部署後生成的日志有待于優化；

（5）腳本基本使用英文（chinglish）作為注釋，部分注釋可能不全；

（6）可能存在的其他問題；

為了後期的改進和部分需求變更，也為了便于擷取該腳本，此腳本可以從github上擷取，歡迎和接受送出任何bug、issue以及任何improvement。

github位址是：

<a href="https://github.com/dingguodong/bashshellheader/blob/master/example-deploy.sh" target="_blank">https://github.com/dingguodong/bashshellheader/blob/master/example-deploy.sh</a>

腳本内容如下：

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

72

73

74

75

76

77

78

79

80

81

82

83

84

85

86

87

88

89

90

91

92

93

94

95

96

97

98

99

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

252

253

254

255

256

257

258

259

260

261

262

263

264

265

266

267

268

269

270

271

272

273

274

275

276

277

278

279

280

281

282

283

284

285

286

287

288

289

290

291

292

293

294

295

296

297

298

299

300

301

302

303

304

305

306

307

308

309

310

311

312

313

314

315

316

317

318

319

320

321

322

323

324

325

326

327

328

329

330

331

332

333

334

335

336

337

338

339

340

341

342

343

344

345

346

347

348

<code>#!/bin/bash</code>

<code># public header</code>

<code># =============================================================================================================================</code>

<code># resolve links - $0 may be a symbolic link</code>

<code>prg=</code><code>"$0"</code>

<code>while</code> <code>[ -h </code><code>"$prg"</code> <code>]; </code><code>do</code>

<code>  </code><code>ls</code><code>=`</code><code>ls</code> <code>-ld </code><code>"$prg"</code><code>`</code>

<code>  </code><code>link=`</code><code>expr</code> <code>"$ls"</code> <code>: </code><code>'.*-&gt; \(.*\)$'</code><code>`</code>

<code>  </code><code>if</code> <code>expr</code> <code>"$link"</code> <code>: </code><code>'/.*'</code> <code>&gt; </code><code>/dev/null</code><code>; </code><code>then</code>

<code>    </code><code>prg=</code><code>"$link"</code>

<code>  </code><code>else</code>

<code>    </code><code>prg=`</code><code>dirname</code> <code>"$prg"</code><code>`/</code><code>"$link"</code>

<code>  </code><code>fi</code>

<code>done</code>

<code># get standard environment variables</code>

<code>prgdir=`</code><code>dirname</code> <code>"$prg"</code><code>`</code>

<code># echo color function</code>

<code>function</code> <code>cecho {</code>

<code>    </code><code># usage:</code>

<code>    </code><code># cecho -red sometext     #error, failed</code>

<code>    </code><code># cecho -green sometext   # success</code>

<code>    </code><code># cecho -yellow sometext  # warning</code>

<code>    </code><code># cecho -blue sometext    # debug</code>

<code>    </code><code># cecho -white sometext   # info</code>

<code>    </code><code># cecho -n                # new line</code>

<code>    </code><code># end</code>

<code>    </code><code>while</code> <code>[ </code><code>"$1"</code> <code>]; </code><code>do</code>

<code>        </code><code>case</code> <code>"$1"</code> <code>in</code>

<code>            </code><code>-normal)        color=</code><code>"\033[00m"</code> <code>;;</code>

<code># -black)         color="\033[30;01m" ;;</code>

<code>-red)           color=</code><code>"\033[31;01m"</code> <code>;;</code>

<code>-green)         color=</code><code>"\033[32;01m"</code> <code>;;</code>

<code>-yellow)        color=</code><code>"\033[33;01m"</code> <code>;;</code>

<code>-blue)          color=</code><code>"\033[34;01m"</code> <code>;;</code>

<code># -magenta)       color="\033[35;01m" ;;</code>

<code># -cyan)          color="\033[36;01m" ;;</code>

<code>-white)         color=</code><code>"\033[37;01m"</code> <code>;;</code>

<code>-n)             one_line=1;   </code><code>shift</code> <code>; </code><code>continue</code> <code>;;</code>

<code>*)              </code><code>echo</code> <code>-n </code><code>"$1"</code><code>; </code><code>shift</code> <code>; </code><code>continue</code> <code>;;</code>

<code>esac</code>

<code>shift</code>

<code>echo</code> <code>-en </code><code>"$color"</code>

<code>echo</code> <code>-en </code><code>"$1"</code>

<code>echo</code> <code>-en </code><code>"\033[00m"</code>

<code>if</code> <code>[ ! $one_line ]; </code><code>then</code>

<code>        </code><code>echo</code>

<code>fi</code>

<code>}</code>

<code># end echo color function</code>

<code># echo color function, smarter</code>

<code>function</code> <code>echo_r () {</code>

<code>    </code><code>#error, failed</code>

<code>    </code><code>[ $</code><code># -ne 1 ] &amp;&amp; return 0</code>

<code>    </code><code>echo</code> <code>-e </code><code>"\033[31m$1\033[0m"</code>

<code>function</code> <code>echo_g () {</code>

<code>    </code><code># success</code>

<code>    </code><code>echo</code> <code>-e </code><code>"\033[32m$1\033[0m"</code>

<code>function</code> <code>echo_y () {</code>

<code>    </code><code># warning</code>

<code>    </code><code>echo</code> <code>-e </code><code>"\033[33m$1\033[0m"</code>

<code>function</code> <code>echo_b () {\</code>

<code>    </code><code># debug</code>

<code>    </code><code>echo</code> <code>-e </code><code>"\033[34m$1\033[0m"</code>

<code># end echo color function, smarter</code>

<code>workdir=$prgdir</code>

<code># end public header</code>

<code># where to get source code</code>

<code>sourceurl=https:</code><code>//github</code><code>.com</code><code>/dingguodong/gitoscautodeploy</code><code>.git</code>

<code># setting how many days do you want save old releases, default is 10 days</code>

<code>save_old_releases_for_days=10</code>

<code>function</code> <code>setdirectorystructure() {</code>

<code>    </code><code>if</code> <code>[ -f $workdir/.lock ];</code><code>then</code>

<code>        </code><code>echo_g </code><code>"set directory structure has been done, skipping. "</code>

<code>        </code><code>return</code>

<code>    </code><code>fi</code>

<code>    </code><code>echo_b </code><code>"setting directory structure."</code>

<code>    </code><code># learn from capistrano</code>

<code>    </code><code># refer: http://capistranorb.com/documentation/getting-started/structure/</code>

<code>    </code><code># refer: http://capistranorb.com/documentation/getting-started/structure/#</code>

<code>    </code><code># ├── current -&gt; /var/www/my_app_name/releases/20150120114500/</code>

<code>    </code><code># ├── releases</code>

<code>    </code><code># │   ├── 20150080072500</code>

<code>    </code><code># │   ├── 20150090083000</code>

<code>    </code><code># │   ├── 20150100093500</code>

<code>    </code><code># │   ├── 20150110104000</code>

<code>    </code><code># │   └── 20150120114500</code>

<code>    </code><code># ├── repo</code>

<code>    </code><code># │   └── &lt;vcs related data&gt;</code>

<code>    </code><code># ├── revisions.log</code>

<code>    </code><code># └── shared</code>

<code>    </code><code>#     └── &lt;linked_files and linked_dirs&gt;</code>

<code>    </code><code># current is a symlink pointing to the latest release. this symlink is updated at the end of a successful deployment. if the deployment fails in any step the current symlink still points to the old release.</code>

<code>    </code><code># releases holds all deployments in a timestamped folder. these folders are the target of the current symlink.</code>

<code>    </code><code># repo holds the version control system configured. in case of a git repository the content will be a raw git repository (e.g. objects, refs, etc.).</code>

<code>    </code><code># revisions.log is used to log every deploy or rollback. each entry is timestamped and the executing user (username from local machine) is listed. depending on your vcs data like branchnames or revision numbers are listed as well.</code>

<code>    </code><code># shared contains the linked_files and linked_dirs which are symlinked into each release. this data persists across deployments and releases. it should be used for things like database configuration files and static and persistent user storage handed over from one release to the next.</code>

<code>    </code><code># the application is completely contained within the path of :deploy_to. if you plan on deploying multiple applications to the same server, simply choose a different :deploy_to path.</code>

<code>    </code><code># check directories for deploy</code>

<code>    </code><code># [ ! -d $workdir/current ] &amp;&amp; mkdir $workdir/current</code>

<code>    </code><code>[ ! -d $workdir</code><code>/release</code> <code>] &amp;&amp; </code><code>mkdir</code> <code>$workdir</code><code>/release</code>

<code>    </code><code>[ ! -d $workdir</code><code>/repository</code> <code>] &amp;&amp; </code><code>mkdir</code> <code>$workdir</code><code>/repository</code>

<code>    </code><code>[ ! -d $workdir</code><code>/share</code> <code>] &amp;&amp; </code><code>mkdir</code> <code>$workdir</code><code>/share</code>

<code>    </code><code># end directories structure</code>

<code>    </code><code>touch</code> <code>$workdir/.lock</code>

<code>    </code><code>echo_g </code><code>"set directory structure successfully! "</code>

<code>function</code> <code>checkdependencies() {</code>

<code>    </code><code>echo_b </code><code>"checking dependencies for deploy procedure. "</code>

<code>    </code><code># refer:</code>

<code>    </code><code># if [ -z ${var+x} ]; then</code>

<code>    </code><code>#     echo "var is unset"; else echo "var is set to '$var'"</code>

<code>    </code><code># fi</code>

<code>    </code><code># if [ "$var x" = " x" ]; then</code>

<code>    </code><code>#     echo "var is empty"; else echo "var is set to '$var'"</code>

<code>    </code><code># if [ -z $var ]; then</code>

<code>    </code><code>if</code> <code>[[ -z $sourceurl ]]; </code><code>then</code>

<code>        </code><code>echo_r </code><code>"error: sourceurl is undefined! "</code>

<code>        </code><code>exit</code> <code>1</code>

<code>    </code><code>diskspace=`</code><code>df</code> <code>$workdir | </code><code>tail</code> <code>-n1 | </code><code>awk</code> <code>'{print $(nf -2)}'</code><code>`</code>

<code>    </code><code>if</code> <code>[[ $diskspace -lt 2097152 ]]; </code><code>then</code>

<code>        </code><code>echo_y </code><code>"warning: disk space of $workdir is smaller than 2gb"</code>

<code>        </code><code>#exit 1</code>

<code>    </code><code>echo_g </code><code>"all required dependencies check pass! "</code>

<code>function</code> <code>cleanoldreleases(){</code>

<code>    </code><code>save_days=${save_old_releases_for_days:-10}</code>

<code>    </code><code>if</code> <code>[ ! -d $workdir</code><code>/release</code> <code>]; </code><code>then</code>

<code>        </code><code>echo_b </code><code>"can not find release directory, skipping . "</code>

<code>    </code><code>need_clean=$(</code><code>find</code> <code>$workdir</code><code>/release</code> <code>-mtime +$save_days -</code><code>exec</code> <code>ls</code> <code>{} \;)</code>

<code>    </code><code>if</code> <code>[ ! -z $need_clean ]; </code><code>then</code>

<code>        </code><code>echo_g </code><code>"expired releases found and will be removed from project! "</code>

<code>        </code><code>find</code> <code>$workdir</code><code>/release</code> <code>-mtime +$save_days -</code><code>exec</code> <code>rm</code> <code>-rf {} \;</code>

<code>        </code><code>if</code> <code>[ $? -</code><code>eq</code> <code>0 ]; </code><code>then</code>

<code>            </code><code>echo_g </code><code>"expired releases have removed from project! "</code>

<code>        </code><code>else</code>

<code>            </code><code>echo_r </code><code>"can not remove expired releases, please alter to admin users. "</code>

<code>        </code><code>fi</code>

<code>    </code><code>else</code>

<code>        </code><code>echo_g </code><code>"all releases are not expired, skipping. "</code>

<code>function</code> <code>deploy() {</code>

<code>    </code><code># check a directories lock, note: this is redundant</code>

<code>    </code><code>if</code> <code>[[ ! -f $workdir/.lock ]]; </code><code>then</code>

<code>        </code><code>setdirectorystructure</code>

<code>    </code><code>cleanoldreleases</code>

<code>    </code><code>checkdependencies</code>

<code>    </code><code># make directory to release directory</code>

<code>    </code><code>sourcedir=</code><code>"$workdir/release/$(date +%y%m%d%h%m%s)"</code>

<code>    </code><code>[ ! -d $sourcedir ] &amp;&amp; </code><code>mkdir</code> <code>$sourcedir</code>

<code>    </code><code># get files from source code repository</code>

<code>    </code><code>git clone $sourceurl $sourcedir</code>

<code>    </code><code># svn co http://$sourceurl $workdir/repository</code>

<code>    </code><code># todo</code>

<code>    </code><code># get branchnames or revision numbers from vcs data</code>

<code>    </code><code># remove .git or .svn</code>

<code>    </code><code>[ -d $sourcedir/.git ] &amp;&amp; </code><code>rm</code> <code>-rf $sourcedir/.git</code>

<code>    </code><code>[ -d $sourcedir/.svn ] &amp;&amp; </code><code>rm</code> <code>-rf $sourcedir/.svn</code>

<code>    </code><code># ifdef complie</code>

<code>    </code><code># endif</code>

<code>    </code><code># make source code symbolic link to current</code>

<code>    </code><code>( [ -f $workdir</code><code>/current</code> <code>] || [ -d $workdir</code><code>/current</code> <code>] ) &amp;&amp; </code><code>rm</code> <code>-rf $workdir</code><code>/current</code>

<code>    </code><code>ln</code> <code>-s $sourcedir $workdir</code><code>/current</code>

<code>    </code><code># move conf and logs directies from release to share</code>

<code>    </code><code>[ -d $workdir</code><code>/release/conf</code> <code>] &amp;&amp; </code><code>mv</code> <code>$workdir</code><code>/release/conf</code> <code>$workdir</code><code>/share/conf</code>

<code>    </code><code>[ -d $workdir</code><code>/release/logs</code> <code>] &amp;&amp; </code><code>mv</code> <code>$workdir</code><code>/release/logs</code> <code>$workdir</code><code>/share/logs</code>

<code>    </code><code># make conf and logs symbolic link to current</code>

<code>    </code><code>[ -d $workdir</code><code>/share/conf</code> <code>] &amp;&amp; </code><code>ln</code> <code>-s $workdir</code><code>/share/conf</code> <code>$workdir</code><code>/current/conf</code>

<code>    </code><code>[ -d $workdir</code><code>/share/logs</code> <code>] &amp;&amp; </code><code>ln</code> <code>-s $workdir</code><code>/share/logs</code> <code>$workdir</code><code>/current/logs</code>

<code>    </code><code># start service or validate status</code>

<code>    </code><code>if</code> <code>[[ -e $workdir</code><code>/current/bin/startup</code><code>.sh ]]; </code><code>then</code>

<code>        </code><code>$workdir</code><code>/current/bin/startup</code><code>.sh start</code>

<code>        </code><code>retval=$?</code>

<code>        </code><code># todo</code>

<code>        </code><code># external health check</code>

<code>        </code><code>retval=0</code>

<code>    </code><code>retval=$?</code>

<code>    </code><code># if started ok, then create a workable program to a file</code>

<code>    </code><code>if</code> <code>[[ $retval -</code><code>eq</code> <code>0 ]]; </code><code>then</code>

<code>    </code><code># note cat with eof must start at row 0, and with eof end only, such as no blank spaces, etc</code>

<code>    </code><code>cat</code> <code>&gt;$workdir</code><code>/share/workable_program</code><code>.log &lt;&lt;eof</code>

<code>$sourcedir</code>

<code>eof</code>

<code>    </code><code>echo_g </code><code>"deploy successfully! "</code>

<code>    </code><code>echo_g </code><code>"current workable version is $(cat $workdir/share/workable_program.log)"</code>

<code>    </code><code>ls</code> <code>--color=auto -l $workdir</code><code>/current</code>

<code>        </code><code>echo_r </code><code>"error: deploy failed! "</code>

<code>        </code><code>$0 rollback</code>

<code># rollback to last right configuraton</code>

<code>function</code> <code>rollback() {</code>

<code>    </code><code># the key is find last files which can work</code>

<code>    </code><code>workable_program=`</code><code>cat</code> <code>$workdir</code><code>/share/workable_program</code><code>.log`</code>

<code>    </code><code>if</code> <code>[[ -z workable_program ]]; </code><code>then</code>

<code>        </code><code>echo_r </code><code>"error: can not find workable release version! please check if it is first deployment! "</code>

<code>    </code><code># # stop service</code>

<code>        </code><code>$workdir</code><code>/current/bin/startup</code><code>.sh stop</code>

<code>    </code><code># remove failed deploy</code>

<code>    </code><code>rm</code> <code>-rf $workdir</code><code>/current</code>

<code>    </code><code># remake source code symbolic link to current</code>

<code>    </code><code>ln</code> <code>-s $workable_program $workdir</code><code>/current</code>

<code>    </code><code># remake conf and logs symbolic link to current</code>

<code>    </code><code>[ -d $workdir</code><code>/share/conf</code> <code>] &amp;&amp; </code><code>ln</code> <code>-s $workdir</code><code>/share/conf</code> <code>$workdir</code><code>/current</code>

<code>    </code><code>[ -d $workdir</code><code>/share/logs</code> <code>] &amp;&amp; </code><code>ln</code> <code>-s $workdir</code><code>/share/logs</code> <code>$workdir</code><code>/current</code>

<code>        </code><code>echo_g </code><code>"rollback successfully! "</code>

<code>        </code><code>echo_g </code><code>"current workable version is $workable_program"</code>

<code>        </code><code>ls</code> <code>--color=auto -l $workdir</code><code>/current</code>

<code>function</code> <code>destroy() {</code>

<code>    </code><code># echo a warning message</code>

<code>    </code><code>echo_y </code><code>"warning: this action will destroy all this project, and this is unrecoverable! "</code>

<code>    </code><code>answer=</code><code>"n"</code>

<code>    </code><code>echo_y </code><code>"do you want to destroy this project? "</code>

<code>    </code><code>read</code> <code>-p </code><code>"(default no,if you want please input: y ,if not please press the enter button):"</code> <code>answer</code>

<code>    </code><code>case</code> <code>"$answer"</code> <code>in</code>

<code>        </code><code>y|y|yes|yes|</code><code>yes</code><code>|yes|yes|yes|yes )</code>

<code>        </code><code># delete all file expect for this script self</code>

<code>        </code><code># find: warning: unix filenames usually don't contain slashes (though pathnames do).  that means that '-name `./deploy.sh'' will probably evaluate to false all the time on this system.  you might find the '-wholename' test more useful, or perhaps '-samefile'.  alternatively, if you are using gnu grep, you could use 'find ... -print0 | grep -fzz `./deploy.sh''.</code>

<code>            </code><code># echo $workdir/</code>

<code>            </code><code>#find -l $workdir -type f ! -name "$(basename $0)" -exec ls --color=auto -al {} \;</code>

<code>            </code><code># find -l . -type f ! -name "deploy.sh" -exec ls --color=auto -al {} \;</code>

<code>            </code><code># find -l . -type d -exec ls --color=auto -al {} \;</code>

<code>            </code><code># find -l ./ -maxdepth 1 ! -name "deploy.sh" ! -wholename "./"</code>

<code>        </code><code># ls | grep -v "fielname" |xargs rm -rf</code>

<code>        </code><code>find</code> <code>-l $workdir -maxdepth 1 ! -name </code><code>"$(basename $0)"</code> <code>! -wholename </code><code>"$workdir"</code>  <code>-</code><code>exec</code> <code>rm</code> <code>-rf {} \;</code>

<code>        </code><code>if</code> <code>[ $? -</code><code>eq</code> <code>0 ];</code><code>then</code>

<code>            </code><code>echo_g </code><code>"destory this project successfully! now will exit with status 0. "</code>

<code>            </code><code>exit</code> <code>0</code>

<code>            </code><code>echo_r </code><code>"error: something go wrong! please check or alter to admin user! "</code>

<code>            </code><code>exit</code> <code>1</code>

<code>        </code><code>;;</code>

<code>        </code><code>n|n|no|no|no|no)</code>

<code>        </code><code>echo_g </code><code>"destroy action is cancel"</code>

<code>        </code><code>exit</code> <code>0</code>

<code>        </code><code>*)</code>

<code>        </code><code>echo_r </code><code>"are you kidding me? you are a bad kid! "</code>

<code>    </code><code>esac</code>

<code># just a test for call itself, comment it</code>

<code># if [[ $# -lt 1 ]]; then</code>

<code>#  $0 help</code>

<code>#  exit</code>

<code># fi</code>

<code>case</code> <code>$1 </code><code>in</code>

<code>    </code><code>deploy)</code>

<code>        </code><code>deploy</code>

<code>    </code><code>rollback)</code>

<code>        </code><code>rollback</code>

<code>    </code><code>destroy)</code>

<code>        </code><code>destroy</code>

<code>    </code><code>help|*)</code>

<code>        </code><code>echo</code> <code>"usage: $0 {deploy|rollback|destroy} with $0 itself"</code>

<code># this is not essential with 'case .. esac' handled no args excutions</code>

<code># replace "exit 0" with ":"</code>

<code>#exit 0</code>

<code>:</code>

tag:自動化部署腳本,shell部署腳本,capistrano的shell腳本實作,腳本實作自動更新和復原,自動化部署shell腳本執行個體

--end--