天天看點

Go 開發關鍵技術指南 | 為什麼你要選擇 GO?(内含超全知識大圖)Go 開發指南大圖Overview

作者 | 楊成立(忘籬) 阿裡巴巴進階技術專家

關注“阿裡巴巴雲原生”公衆号,回複 Go 即可檢視清晰知識大圖!

導讀:從問題本身出發,不局限于 Go 語言,探讨伺服器中常常遇到的問題,最後回到 Go 如何解決這些問題,為大家提供 Go 開發的關鍵技術指南。我們将以系列文章的形式推出《Go 開發的關鍵技術指南》,共有 4 篇文章,本文為第 1 篇。

Go 開發指南大圖

Go 開發關鍵技術指南 | 為什麼你要選擇 GO?(内含超全知識大圖)Go 開發指南大圖Overview

Overview

該指南主要讨論了伺服器領域常見的并發問題,也涉及到了工程化相關的問題,還整理了 C 背景程式員對于 Go 的 GC 以及性能的疑問,探讨了 Go 的錯誤處理和類型系統最佳實踐,以及依賴管理的難處、接口設計的正交性,當然也包含我們在伺服器開發中對于 Go 實踐的總結,有時候也會對一些有趣的問題做深度的挖掘,列出了 Go 重要的事件和資料集合,以及 Go2 的進展和思考。

以下是各個章節以及簡介:

  • About the Name:為何 Go 有時候也叫 Golang?
  • Why Go:為何要選擇 Go 作為伺服器開發的語言?是沖動?還是騷動?
  • Milestones:Go 的重要裡程碑和事件,當年吹的那些牛逼,都實作了哪些?
  • GC:Go 的 GC 靠譜嗎?Twitter 說相當的靠譜,有圖有真相。
  • Could Not Recover:君可知,有什麼 panic 是無法 recover 的?包括超過系統線程限制,以及 map 的競争寫。當然一般都能 recover,比如 Slice 越界、nil 指針、除零、寫關閉的 chan 等。
  • Declaration Syntax:為何 Go 語言的聲明文法是那樣的?C 語言的聲明文法又是怎樣的?是拍的大腿,還是拍的腦袋?
  • Errors:為什麼 Go2 的草稿 3 個中有 2 個是關于錯誤處理的?好的錯誤處理應該怎麼做?錯誤和異常機制的差别是什麼?錯誤處理和日志如何配合?
  • Logger:為什麼标準庫的 Logger 是完全不夠用的?怎麼做日志切割和輪轉?怎麼在混成一坨的伺服器日志中找到某個連接配接的日志?甚至連接配接中的流的日志?怎麼做到簡潔又夠用?
  • Type System:什麼是面向對象的 SOLID 原則?為何 Go 更符合 SOLID?為何接口組合比繼承多态更具有正交性?Go 類型系統如何做到 looser、organic、decoupled、independent and therefore scalable?
  • Orthogonal:一般軟體中如果出現數學,要麼真的牛逼,要麼就是裝逼。正交性這個數學概念在 Go 中頻繁出現,是神仙還是妖怪?為何接口設計要考慮正交性?
  • Modules:如何避免依賴地獄(Dependency Hell)?小小的版本号為何會帶來大災難?Go 為什麼推出了 GOPATH、Vendor 還要搞 module 和 vgo?建立了 16 個倉庫做測試,碰到了 9 個坑,搞清楚了 gopath 和 vendor 如何遷移?以及 vgo with vendor 如何使用(畢竟生産環境不能每次都去外網下載下傳)?
  • Concurrency:伺服器中的并發處理難在哪裡?為什麼說 Go 并發處理優勢占領了雲計算開發語言市場?什麼是 C10K、C10M 問題?
  • Context:如何管理 goroutine 的取消、逾時和關聯取消?為何 Go1.7 專門将 context 放到了标準庫?context 如何使用以及問題在哪裡?
  • Engineering:Go 在工程化上的優勢是什麼?為什麼說 Go 是一門面向工程的語言?覆寫率要到多少比較合适?什麼叫代碼可測性?為什麼良好的庫必須先寫 Example?
  • Go2 Transition:Go2 會像 Python3 不相容 Python2 那樣作嗎?C 和 C++ 的語言演進可以有什麼不同的收獲?Go2 怎麼思考語言更新的問題?
  • Documents:Go 官網的重要文檔分類,本屌絲讀了四遍了,推薦閱讀。
  • SRS:Go 在流媒體伺服器中的使用。

About the Name

The Go Programming Language 到底是該叫 GO 還是 GOLANG?Google 搜 

Why Go is called Golang

 能搜到幾篇經典文章。

Rob Pike 在 Twitter 上特意說明是 Go,可以看這個 

The language is called Go

:

Neither. The language is called Go, not Golang. http://golang.org  is just the the web site address, not the name of the language.

在另外一個地方也說明了是 Go,可以看這個 

The name of our language is go

The name of our language is Go
Ruby is called Ruby, not Rubylang.
Python is called Python, not Pythonlang.
C is called C, not Clang. No. Wait. That was a bad example.
Go is called Go, not Golang.

Yes, yes, I know all about the searching and meta tags. Sure, whatever, 
but that doesn't change the fact that the name of the language is Go.

Thank you for your consideration.           

這裡舉了各種例子說明為何不加 lang 的字尾,當然有個典型的語言是加的,就是 

Erlang

。于是就有回複說“Erlang Erlang, Let's just call it Er.”

那麼為什麼大多時候 Go 和 Golang 都很常用呢?在 

Why is the Go programming language usually called Golang

 中說的比較清楚:

It’s because “go domain” has been registered by Walt Disney and so Go creators couldn’t use it. 
So, they have decided to use golang for the domain name. Then the rest came.

Also, it’s harder to search things on search engines just using the word Go. Although, Rob Pike is 
against this idea but I disagree. Most of the time, for the correct results you need to search for 
golang.

It’s just Go, not golang but it sticked to it.           

講個笑話先,用百度搜下

為何 Go 叫做 Golang

,一大片都是類似本文的雞湯煲,告訴你為何 Go 才是天地間最合适你的語言,當然本文要成為雞湯煲中的戰鬥煲,告訴你全家都應該選擇 Go 語言。

為何 Go 語言名字是 Go,但是經常說成是 Golang 呢?有以下理由:

  1. go.org  被注冊了,正在賣,也不貴才 1698 萬。是以 Go 隻能用 golang.org;
  2. 想要搜點啥資訊時,如果搜 go 太寬泛了,特别是 go 還沒有這麼多使用者時,搜 golang 能更精确的找到答案。

為什麼在名字上要這麼糾結呢?嗯嗯,不糾結,讓我們開始幹雞湯吧。

Why Go?

考慮一個商用的快速發展的業務後端伺服器,最重要的是什麼?當然是穩定性了,如果崩潰可能會造成使用者服務中斷,崩潰的問題在 C/C++ 伺服器中幾乎是必然的:

  • 穩定是一種假象;

想象一個 C 伺服器,一般不會重頭碼所有的代碼,會從一個開源版本開始,或者從一些網絡和線程庫開始,然後不斷改進和完善。由于業務前期并不複雜,上線也沒有發現問題,這時候可以說 C 伺服器是穩定的嗎?當然不是,隻是 Bug 沒有觸發而已,所有崩潰的 Bug 幾乎都不是本次釋出導緻的。野指針和越界是 C 伺服器中最難搞定的狼人,這些狼人還喜歡玩潛伏。

  • 穩定是短暫的,不穩定是必然和長期的;

一般業務會突飛猛進,特别是越偏上層的業務,需要後端處理的邏輯就越多,至于 UTest 和測試一般隻存在于傳說中,随着業務的發展,潛伏的狼人越來越多,甚至開源的庫和伺服器中的狼人也開始出來作妖。夜路走多了,總會碰到鬼,碰到鬼了怎麼辦?當然是遇鬼殺鬼了,還能被它吓尿不成,是以就反思解決 Bug,費了老勁、又白了幾根頭發,終于迎來短暫安甯,然後繼續寫 Bug。

  • 最普遍的問題還是記憶體問題導緻崩潰,一般就是野指針和越界;

空指針問題相對很容易查,除零之類的典型錯誤也容易處理。最完善的解決辦法,就是實作 GC,讓指針總是有效,無效後再釋放,越界時能檢測到,這樣容易解決問題;其實 Go 早期的版本就和這個很類似了,要實作帶 GC 的 C 的同學,可以參考下 Go 的實作。

  • 線上的 CPU 和記憶體的問題,一般不友善使用工具檢視,而線上的問題有時候很難在本地重制。

如何能直接擷取線上的 Profile 資料,需要程式本身支援。比如提供 HTTP API 能擷取到 Profile 資料,關鍵是如何采集這些資料。

Go 的使命願景和價值觀:

Go is an open source programming language that makes it easy to build simple, reliable, and efficient software. Go

is a concurrent open source programming language developed at Google. Combines native compilation and static types with a lightweight dynamic feel. Fast, fun, and productive.>

Go is an attempt to make programmers more productive. The first goal is to make a better language to meet the challenges of scalable concurrency. The larger goal is to make a better environment to meet the challenges of scalable software development, software worked on and used by many people, with limited coordination between them, and maintained for years.

Go 語言的關鍵字:

  • 運作性能高: Statically typed. Native code generation (compiled). Efficiency. Fast development cycle.
  • 碼農不苦逼: Memory safe. Garbage collected. Safety.
  • 雲計算專享: Native concurrency support. Concurrency. Scalability.
  • 工程師思維: Composition via interfaces. Excellent standard library. Great tools.
參考  The Path to Go1: What is Go?  和  Another Go at Language Design

參考 >

Go: a simple programming environment

Go 是面向軟體工程的語言,Go 在工程上的思考可以讀 

Go at Google: Language Design in the Service of Software Engineering Less is exponentially more

。Go 最初是解決 Google 遇到的大規模系統和計算的問題,這些問題如今被稱為雲計算,參考 

Go, Open Source, Community GITHUT

上顯示 Go 的項目和 PR 一直在上升,如下圖所示。

Go 開發關鍵技術指南 | 為什麼你要選擇 GO?(内含超全知識大圖)Go 開發指南大圖Overview
2014

 雲計算行業中使用 Go 的有:

Docker

,

Kubernetes

, Packer, Serf, InfluxDB, Cloud Foundry’s gorouter and CLI, CoreOS’s etcd and fleet,

Vitess | YouTube’s tooling for MySQL scaling

, Canonical’s Juju (rewritten in Go), Mozilla’s Heka, A Go interface to OpenStack Swift, Heroku’s Force.com and hk CLIs, Apcera’s NATS and gnatsd。

2018

 年全球使用 Go 的公司數目有:US(329), Japan(79), Brazil(52), India(49), Indonesia(45), China(32), UK(32), Germany(28), Israel(24), France(17), Netherlands(16), Canada (15), Thailand(14), Turkey(14), Spain(12), Poland(11), Australia(9), Russia(9), Iran(8), Sweden(7), Korea(South)(6), Switzerland(6), Ukraine(5)。

Go as the emerging language of cloud infrastructure The RedMonk Programming Language Rankings: June 2018 ,還有  GoUsers  以及  Success Stories
"Go: 90% Perfect, 100% of the time" -bradfitz, 2014

。參考 >

Nine years of Go: Go Contributors

,社群貢獻的代碼比例。

我們一起看看這些 Go 牛逼的特性,詳細分析每個點,雖然不能涵蓋所有的點,對于常用的 Go 的特性我們做一次探讨和分析。

Milestones

接下來看一下有關 Go 的重要事件:

  • 2019 年 9 月, Go1.13  釋出。增強了 modules,新增了環境變量 GOPRIVATE 和 GOSUMDB,GOPROXY 支援多個,支援了 ErrorWraping;
  • 2019 年 2 月, Go1.12  釋出,支援了 TLS1.3,改進了 modules,優化運作時和标準庫;
  • 2018 年 8 月, Go1.11  釋出,實驗性支援  modules ,實驗性支援 WebAssembly;
  • 2018 年 2 月, Go1.10  釋出,go tool 緩存編譯,編譯加速,很多細微的改進;
  • 2018 年 1 月, Hello, 中國!  及  中國站鏡像 上線,大陸可以通路官網資源;
  • 2017 年 8 月, Go1.9  釋出,支援 Type Alias、sync.Map,使用場景參考 slides,time 保持單增避免時間測量問題;
  • 2017 年 2 月, Go1.8  釋出,顯著的性能提升,GC 延遲降低到了 10us 到 100us,支援 HTTP/2 Push,HTTP Server 支援 Shutdown,

    sort.Slice

     使排序使用更簡單;
  • 2016 年 8 月, Go1.7  釋出,支援了 Context,Context 在 K8s 和 Docker 中都有應用,新的編譯算法減少 20%-30% 的二進制尺寸;
  • 2016 年 2 月, Go1.6  釋出,支援 HTTP/2,HTTPS 時會預設開啟 HTTP/2,正式支援  vendor
  • 2015 年 8 月, Go1.5  釋出,完全用 Go 代替了 C 代碼,完全重新設計和重新實作 GC,支援 internal 的 package,實驗性支援 vendor,GOMAXPROCS 預設為 CPU 個數;
  • 2014 年 12 月, Go1.4  釋出,支援 Android,從 Mecurial 遷移到了 Git,從 GoogleCode 遷移到了 Github: golang/go,大部分 runtime 的代碼從 C 改成了 Go,

    for

     支援三種疊代寫法;
  • 2014 年 6 月, Go1.3  釋出,支援了 FreeBSD、Plan9、Solaris 等系統;
  • 2013 年 12 月, Go1.2  釋出,新增收集覆寫率工具 coverage,限制了最高線程數 ThreadLimit;
  • 2013 年 5 月, Go1.1  釋出,主要是包含性能優化,新增 

    Data Race Detector

     等;
  • 2012 年 3 月, Go1.0  釋出,包含了基本的語言元素比如 rune、error、map,标準庫包括 bufio、crypto、flag、http、net、os、regexp、runtime、unsafe、url、encoding 等;
  • 2009 年 11 月 , Google 宣布要開發一門新語言,既要開源,又有 Python 的好處,還要有 C/C++ 的性能。GO 是 BSD 的 License,大部分 GO 的項目都是 BSD 或 MIT 或 Apache 等商業友好的協定。
點選下載下傳《不一樣的 雙11 技術:阿裡巴巴經濟體雲原生實踐》
Go 開發關鍵技術指南 | 為什麼你要選擇 GO?(内含超全知識大圖)Go 開發指南大圖Overview

本書亮點

  • 雙11 超大規模 K8s 叢集實踐中,遇到的問題及解決方法詳述
  • 雲原生化最佳組合:Kubernetes+容器+神龍,實作核心系統 100% 上雲的技術細節
  • 雙 11 Service Mesh 超大規模落地解決方案
阿裡巴巴雲原生 關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐,做最懂雲原生開發者的技術圈。”