Gao Conghui

好好学习,天天向上

爬虫,视频处理


golang hijack打开方式

简介Hijack

type Hijacker interface {
	// Hijack lets the caller take over the connection.
	// After a call to Hijack the HTTP server library
	// will not do anything else with the connection.
	//
	// It becomes the caller's responsibility to manage
	// and close the connection.
	//
	// The returned net.Conn may have read or write deadlines
	// already set, depending on the configuration of the
	// Server. It is the caller's responsibility to set
	// or clear those deadlines as needed.
	//
	// The returned bufio.Reader may contain unprocessed buffered
	// data from the client.
	//
	// After a call to Hijack, the original Request.Body must
	// not be used.
	Hijack() (net.Conn, *bufio.ReadWriter, error)
}

Hijack()可以将HTTP对应的TCP连接取出,连接在Hijack()之后,HTTP的相关操作就会受到影响,调用方需要负责去关闭连接。看一个简单的例子。

func handle1(w http.ResponseWriter, r *http.Request) {
	hj, _ := w.(http.Hijacker)
	conn, buf, _ := hj.Hijack()
	defer conn.Close()
	buf.WriteString("hello world")
	buf.Flush()
}

func handle2(w http.ResponseWriter, r *http.Request) {
	fmt.Fprintf(w, "hello world")
}

问题来了,上面两个handle方法有什么区别呢?很简单,同样是http请求,返回的结果一个遵循http协议,一个不遵循。

➜  ~ curl -i http://localhost:9090/handle1
hello world%                                                                                                                                                                                                                            ➜  ~ curl -i http://localhost:9090/handle2
HTTP/1.1 200 OK
Date: Thu, 14 Jun 2018 07:51:31 GMT
Content-Length: 11
Content-Type: text/plain; charset=utf-8

hello world%

分别是以上两者的返回,可以看到,hijack之后的返回,虽然body是相同的,但是完全没有遵循http协议。(废话,别人都说了hijack之后返回了body然后直接关闭了,哪来的headers = = )

但我们还是要看看为啥..

func (c *conn) serve(ctx context.Context) {
	...
  	serverHandler{c.server}.ServeHTTP(w, w.req)
    w.cancelCtx()
    if c.hijacked() {
      return
    }
    w.finishRequest()
  	...
}

这是net/http包中的方法,也是http路由的核心方法。调用ServeHTTP(也就是上边的handle方法)方法,如果被hijack了就直接return了,而一般的http请求会经过后边的finishRequest方法,加入headers等并关闭连接。

打开方式

上边我们说了Hijack方法,一般在在创建连接阶段使用HTTP连接,后续自己完全处理connection。符合这样的使用场景的并不多,基于HTTP协议的rpc算一个,从HTTP升级到WebSocket也算一个。

RPC中的应用

go中自带的rpc可以直接复用http server处理请求的那一套流程去创建连接,连接创建完毕后再使用Hijack方法拿到连接。

// ServeHTTP implements an http.Handler that answers RPC requests.
func (server *server) servehttp(w http.responsewriter, req *http.request) {
	if req.method != "connect" {
		w.header().set("content-type", "text/plain; charset=utf-8")
		w.writeheader(http.statusmethodnotallowed)
		io.writestring(w, "405 must connect\n")
		return
	}
	conn, _, err := w.(http.hijacker).hijack()
	if err != nil {
		log.print("rpc hijacking ", req.remoteaddr, ": ", err.error())
		return
	}
	io.writestring(conn, "http/1.0 "+connected+"\n\n")
	server.serveconn(conn)
}

客户端通过向服务端发送method为connect的请求创建连接,创建成功后即可开始rpc调用。

websocket中的应用

// ServeHTTP implements the http.Handler interface for a WebSocket
func (s Server) ServeHTTP(w http.ResponseWriter, req *http.Request) {
	s.serveWebSocket(w, req)
}

func (s Server) serveWebSocket(w http.ResponseWriter, req *http.Request) {
	rwc, buf, err := w.(http.Hijacker).Hijack()
	if err != nil {
		panic("Hijack failed: " + err.Error())
	}
	// The server should abort the WebSocket connection if it finds
	// the client did not send a handshake that matches with protocol
	// specification.
	defer rwc.Close()
	conn, err := newServerConn(rwc, buf, req, &s.Config, s.Handshake)
	if err != nil {
		return
	}
	if conn == nil {
		panic("unexpected nil conn")
	}
	s.Handler(conn)
}

websocket在创建连接的阶段与http使用相同的协议,而在后边的数据传输的过程中使用了他自己的协议,符合了Hijack的用途。通过serveWebSocket方法将HTTP协议升级到Websocket协议。

最近的文章

mac vpn翻墙,部分网站走vpn

需求是这样,现在有一个vpn,我可以通过这个vpn翻墙,但同时我需要访问内网,换言之,就是需要白名单或者黑名单翻墙的机制。mac上使用vpn很方便,偏好设置中就可以直接弄,但是没找到合适的黑白名单机制,没办法,只能另辟蹊径,通过iptable来指定不同的ip走不同的网卡。 通过ifconfig找到vpn使用的虚拟网卡名以及非vpn的时候使用的网卡 lo0: flags=8049<UP,LOOPBACK,RUNNING,MULTICAST> mtu 16384 o...…

网络继续阅读
更早的文章

groupcache源码中几个有趣的点

简介 groupcache is a caching and cache-filling library, intended as a replacement for memcached in many cases.groupcache是一个可分布式缓存组件,用于在某些方面替代memcache,不过和一般的缓存有些区别,它只能做get操作(没错,只能get),但是不能做更新和删除操作。另外,groupcache可以很方便的集成到应用程序中,用http接口的形式与其他程序交互。几个概念 ...…

go继续阅读