Go语言
Go语言(Golang,The Go Programming Language),是谷歌2009发布的第二款开源编程语言。2009年7月份,谷歌曾发布了,它是用来开发Android应用。
Go语言是谷歌推出的一种全新的编程语言,可以在不损失应用程序性能的情况下降低代码的复杂性。
谷歌首席软件工程师罗布派克(Rob Pike)说:我们之所以开发Go,是因为过去10多年间软件开发的难度令人沮丧。
Go语言专门针对多处理器系统应用程序的编程进行了优化,使用Go编译的程序可以媲美C或C++代码的速度,而且更加安全、支持并行进程。
Go语言官网: (需要VPN访问)
1. 下载 Go
Go语言是跨平台,支持Windows、Linux、Mac OS X等系统,还提供有源码,可编译安装
Windows :
Linux :
Mac : (推荐)
Source:
2. 安装 Go
sudo tar -C /usr/local/ -zxvf go1.8.3.darwin-amd64.tar.gz
注意: 必须安装在 /usr/local/ 目录下,因为GOROOT必须为/usr/local/go
安装目录说明:
$ ll /usr/local/go/total 232-rw-r--r-- 1 homer staff 33243 May 25 04:14 AUTHORS-rw-r--r-- 1 homer staff 1366 May 25 04:14 CONTRIBUTING.md-rw-r--r-- 1 homer staff 45710 May 25 04:14 CONTRIBUTORS-rw-r--r-- 1 homer staff 1479 May 25 04:14 LICENSE-rw-r--r-- 1 homer staff 1303 May 25 04:14 PATENTS-rw-r--r-- 1 homer staff 1399 May 25 04:14 README.md-rw-r--r-- 1 homer staff 7 May 25 04:14 VERSIONdrwxr-xr-x 14 homer staff 476 May 25 04:14 apidrwxr-xr-x 5 homer staff 170 May 25 04:16 bindrwxr-xr-x 4 homer staff 136 May 25 04:16 blogdrwxr-xr-x 44 homer staff 1496 May 25 04:14 doc-rw-r--r-- 1 homer staff 5686 May 25 04:14 favicon.icodrwxr-xr-x 3 homer staff 102 May 25 04:14 libdrwxr-xr-x 16 homer staff 544 May 25 04:16 miscdrwxr-xr-x 7 homer staff 238 May 25 04:16 pkg-rw-r--r-- 1 homer staff 26 May 25 04:14 robots.txtdrwxr-xr-x 68 homer staff 2312 May 25 04:14 srcdrwxr-xr-x 269 homer staff 9146 Jul 25 01:29 test
目录文件解释:
api — 目录,包含所有API列表,方便IDE使用bin — 目录,存放编译后的可执行文件blog — 目录,doc — 目录,帮助文档lib — 目录,misc — 目录,pkg — 目录,存放编译后的包文件。pkg中的文件是Go编译生成的src — 目录,存放项目源文件test - 目录,示例代码注:一般,bin和pkg目录可以不创建,go命令会自动创建(如 go install),只需要创建src目录即可。AUTHORS — 文件,作者列表,用记事本打开CONTRIBUTING.md — 文件,CONTRIBUTORS — 文件,LICENSE — 文件,license,用记事本打开PATENTS — 文件,README.md — 文件,VERSION — 文件,版本信息,用记事本打开favicon.ico — 文件,robots.txt — 文件,使用robots.txt阻止对网址的访问,详情查看https://support.google.com/webmasters/answer/6062608?hl=zh-Hans
Eclipse 安装Go插件,在市场里搜索 "go",如下图,安装 GoClipse
注意: GoClipse插件开发的程序,需要重启电脑后才会生效,因为 /etc/profile 配置的环境变量重启电脑后才生效
3. 配置 Go
vim /etc/profile
添加配置:
GOROOT=/usr/local/go export PATH=$GOROOT/bin:$PATH
使配置生效:
source /etc/profile
验证安装成功:
$ go version
go version go1.8.3 darwin/amd64
4. 使用 Go
基本语法
Go 语言中 = 和 := 有什么区别
= 是赋值, := 是声明变量并赋值。
// = 使用必须使用先var声明例如:var aa=100// 或var b = 100// 或var c int = 100// := 是声明并赋值,并且系统自动推断类型,不需要var关键字d := 100
1) hello 示例
vim hello.go
package main import "fmt"func main() { fmt.Printf("hello mimvp.com")}
编译执行:
go build ./hello
运行结果:
$ ./hello
hello mimvp.com
2)爬取网页示例
vim spider_web.go
/*** mimvp.com* 2017.4.12** spider web of mimvp.com*/package mainimport ( "fmt" "io/ioutil" "net/http")func main() { response, _ := http.Get("http://mimvp.com") defer response.Body.Close() body, _ := ioutil.ReadAll(response.Body) fmt.Println(string(body)) fmt.Printf("len : %d\n", len(string(body)));}
编译执行:
$ go build spider_web.go $ ./spider_web
<!DOCTYPE html> <html lang="zh-CN"> <head> <meta charset="utf-8">
...
</body> </html>
len : 15661
5. 代理示例
Go语言支持的代理为 http 和 socks5,不支持 https 和 socks4
其中,Go使用socks5代理时,需要安装引用 "golang.org/x/net/proxy",安装配置步骤如下:
1. download
2. unzip and move to /usr/local/go/src/golang.org/x/net/
3. import ( "golang.org/x/net/proxy" )
Go 语言代理示例如下(全部都经过测试,成功):
/*** mimvp.com* 2017.7.20* golang use http, socks5 proxy */package mainimport ( "fmt" "io/ioutil" "log" "net/http" "net/url" "os" "golang.org/x/net/proxy")// success http// proxy_uri := "http://125.77.25.124:80"// mimvp_url := "http://mimvp.com"func main_1(proxy_uri string, mimvp_url string) { proxy := func(_ *http.Request) (*url.URL, error) { return url.Parse(proxy_uri) } transport := &http.Transport{Proxy: proxy} client := &http.Client{Transport: transport} resp, err := client.Get(mimvp_url) if err != nil { fmt.Println("error : ", err) return } else { defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) fmt.Printf("%s\n", body) }}// success http// proxy_uri := "http://125.77.25.124:80"// mimvp_url := "http://mimvp.com"func main_2(proxy_uri string, mimvp_url string) { url_i := url.URL{} url_proxy, _ := url_i.Parse(proxy_uri) transport := &http.Transport{Proxy: http.ProxyURL(url_proxy)} client := http.Client{Transport: transport} resp, err := client.Get(mimvp_url) if err != nil { log.Fatalln(err) } else { defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) fmt.Printf("%s\n", body) }}// config environment varablefunc main_22(proxy_uri string, mimvp_url string) { // url_i := url.URL{} // url_proxy, _ := url_i.Parse("https://127.0.0.1:9743") os.Setenv("HTTP_PROXY", "http://125.77.25.124:80") os.Setenv("HTTPS_PROXY", "https://210.209.89.100:8081") c := http.Client{ /* Transport: &http.Transport{ // Proxy: http.ProxyURL(url_proxy)} */ } resp, err := c.Get("http://mimvp.com") if err != nil { log.Fatalln(err) } else { defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) fmt.Printf("%s\n", body) }}// 指定代理ipfunc getTransportFieldURL(proxy_addr *string) (transport *http.Transport) { url_i := url.URL{} url_proxy, _ := url_i.Parse(*proxy_addr) transport = &http.Transport{Proxy: http.ProxyURL(url_proxy)} return}// 从环境变量$http_proxy或$HTTP_PROXY中获取HTTP代理地址// Linux 设置代理环境变量命令:// http_proxy=http://125.77.25.124:80// https_proxy=https://210.209.89.100:8081func getTransportFromEnvironment() (transport *http.Transport) { transport = &http.Transport{Proxy: http.ProxyFromEnvironment} return}func fetch(mimvp_url, proxy_uri *string) (html string) { transport := getTransportFieldURL(proxy_uri) client := &http.Client{Transport: transport} req, err := http.NewRequest("GET", *mimvp_url, nil) if err != nil { log.Fatal(err.Error()) } resp, err := client.Do(req) if err != nil { log.Fatal(err.Error()) } if resp.StatusCode == 200 { robots, err := ioutil.ReadAll(resp.Body) resp.Body.Close() if err != nil { log.Fatal(err.Error()) } html = string(robots) } else { html = "" } return}// success http// proxy_uri := "http://125.77.25.124:80"// mimvp_url := "http://mimvp.com"func main_3(proxy_uri string, mimvp_url string) { html := fetch(&mimvp_url, &proxy_uri) fmt.Println(html)}// success socks5// 1. download https://github.com/golang/net// 2. unzip and move to /usr/local/go/src/golang.org/x/net/// 3. import ( "golang.org/x/net/proxy" )func main_socks5(proxy_socks string, mimvp_url string) { // create a socks5 dialer dialer, err := proxy.SOCKS5("tcp", proxy_socks, nil, proxy.Direct) if err != nil { fmt.Println(os.Stderr, "can't connect to socks5 proxy:", err) os.Exit(1) } // setup a http client // transport := &http.Transport{} // transport.Dial = dialer.Dial transport := &http.Transport{Dial: dialer.Dial} client := &http.Client{Transport: transport} resp, err := client.Get(mimvp_url) if err != nil { log.Fatalln(err) } else { defer resp.Body.Close() body, _ := ioutil.ReadAll(resp.Body) fmt.Printf("%s\n", body) }}func main() { // http proxy proxy_uri := "http://125.77.25.124:80" mimvp_url := "http://mimvp.com" main_1(proxy_uri, mimvp_url) main_2(proxy_uri, mimvp_url) main_3(proxy_uri, mimvp_url) // socks5 proxy proxy_socks := "175.138.65.244:1080" main_socks5(proxy_socks, mimvp_url)}
本示例中的代理,全部来自米扑代理
米扑代理,提供专业高品质代理,支持http、https、socks4、socks5等协议,
覆盖全球120多个国家,中国34个省市,代理质量和可用性非常高
米扑代理:
参考推荐:
(Github)