成都网站建设怎么样,wordpress可爱主题,win7优化设置,网页模板库本文主要介绍http模块accept read流程#xff0c;#xff01;#xff01;#xff01;请求对应的响应直接在read流程里就会返回给用户#xff0c;而不需要通过write事件#xff0c;和redis一样#xff0c;基本都不通过eventloop write事件来发送响应给客户端#xff0c;…本文主要介绍http模块accept read流程请求对应的响应直接在read流程里就会返回给用户而不需要通过write事件和redis一样基本都不通过eventloop write事件来发送响应给客户端除非一次发送不完nginx write事件则只会写邮件的时候ssl ocsp的时候才会触发略
http模块和stream模块的实现原理基本一样都是通过handler来执行差异化操作而主eventloop流程用的都是同一套代码
下拉刷新间歇性奖励
无线上划人类在没有标识的情况下很容易过量
#访问localhost:10086/hello返回的是nginx/html/hello/index.html
location /hello {root html; #root表示设置根目录然后会自动访问hello目录即要求location 路径对应的目录要一致index index.html index.htm;
}#访问localhost:10086/hello返回的是nginx/html/index.html
location /hello {alias html; #alias表示直接用这个目录index index.html index.htm;
}笔记源码流程第一个断点最好不要用入口点而是要打在执行流程中比如你要debug http处理请求流程那么就不要把第一个断点打在请求分发的地方因为这个dispatch点是可以接受各种不同类型的请求后续会因为请求会走不同的调用路线所以我们最好打在具体流程中即我们要debughttp流程那么就把断点打在http_handler中而不是打在调用httphandler的地方因为调用者肯定是调用handler而handler是一个指针不同请求handler值不同所以应该直接打在http_handler中然后有http_handler再网上。可以在handler中打断点但这样需要step_into往下走才知道在哪里会走到handler在哪跳转到http_handler所以直接在http_handler中打断点然后往上回溯要比handler中打断点然后一行一行step into要简单的多。反正断点的核心就是关键路径上多打几个断点。
注意nginx是多进程需要特殊设置否则因为处理都是在子进程中而导致我们打的断点不起作用
nginx是每个worker都可以同时处理监听套接字以及客户端套接字nginx并没有分配一个专门的进程来处理监听套接字而是每个worker在每一轮事件循环开始前都竞争一次accept_mutex每一轮都竞争accept_mutex肯定会降低效率的不过如果启用了linux epoll的epollexclusive就可以不开启accept_mutex因为此时只会有一个进程的epoll中的listen fd会触发读事件这是linux操作系统提供的此时则不用每次都竞争accept_mutex锁也就是说accept_mutex锁此时会失效不过nginx肯定会对这个进行一个封装。
nginx可以关闭后台模式nginx也可以以单进程多线程的方式运行
笔记nginx对请求的处理流程是一样的eventloop_for_死循环epoll_waitfor_所有fdhandler然后handler是一个指针也就是说流程是一样的只是调用的handler不同而已注意handler不止一个他用一个数组来存并按顺序调用因为这个handler是注册制的就是说如何处理tcp/udp发来的数据完全由注册的handler决定也就是说如果要是nginx支持自定义的x协议那么流程如下1把handler数组册到指定的handler中2handler中的数组要有序因为他是按顺序调用的所以我们只要按顺序来注册那么就可以保证请求按我们指定的流程来处理。
笔记自己读完以后再去网上找文章查看对应的文章
笔记默认nginx应用层只支持http所以conf里最外层的http{xxx}就告诉nginx这个块对应的是http模块。默认的nginx传输层支持TCP和udp所以conf里最外层的stream{xxx}就告诉nginx这个块对应的是tcp/udp也就是说我们的处理函数接触的是传输层的原始字节流我们可以选择转发也可以选择自己解析成应用层协议进一步处理。原始字节流的含义取决于我们怎么解析。nginx的http模块就相当于在原始的stream模块之上添加了http字节流解析模块这个模块可以把字节流解析成http协议nginx的http模块把这一切都实现了就无须我们自己实现了。
笔记nginx的http模块把http协议的处理分成了11个阶段而stream模块则分成了7个阶段
笔记nginx 根据conf中的分块名来调用对应的模块。nginx中http模块和stream模块在系统中的名字分别是http和stream如果把http模块注册的名字改成http_abc那么conf中对应的http{xx}就要改成http_abc{xx}否则就会报错找不到对应的模块
笔记猜测如果要nginx支持新的应用层协议那么就只能自己实现新的xx模块然后配置文件里就能用xx{yy}来定义了不过这样如果自己实现的话工作量就打了要自己来解析配置就很麻烦了
如果要支持
2http处理流程
直接百度断点ngx_http_handler搜索epoll_wait打下断点一共两个断点就可以抓住主线
2-1模块启动和listenfd注册到epoll流程
笔记流程同stream模块一模一样已经在stream文章的模块启动部分叙述了这里不再重复只是简单记录一下
nginx.mainngx_cycle.ngx_init_cyclengx_conf_file.ngx_conf_parse for ; ; ......cmd-set #cmd-set就是各个模块对应的set函数不同的模块对应不同的函数#比如stream模块就调用ngx_stream_blockhttp就用ngx_http_block#也就是说nginx用函数指针来实现了一种多态的效果#也就是说可以用同一套代码流程来加载http、stream模块3: http块这是最顶层的http 块 ngx_http.ngx_http_block ngx_conf_file.ngx_conf_parse ......ngx_http.ngx_http_init_phases ngx_http.ngx_http_init_phase_handlers ngx_http.ngx_http_optimize_servers ngx_http.ngx_http_init_listening ngx_http.ngx_http_add_listeninglsngx_create_listening ls.handlerngx_http_init_connection #listenfd对新连接的处理函数设置为ngx_http_init_connection#stream模块中则设置为ngx_stream_init_connection#再次强调ngx通过函数指针来模拟了多态#也就是同一套代码可以同时处理httpfd和streamfd#下面的代码不管是http还是stream都是同一个处理流程注册到epollfd#因为nginx中http和strema模块的不同在于处理函数的不同而nginx把不同的handler封装在event_t结构体中#而event_t结构体又包含在connection结构体中clientfd存在epollfd中的就是connection结构#也就是说不管是http还是stream用的都是connection结构而他们的区别只有字段值的不同#正因为如此所以可以用同一个epollfd来同时处理httpserver-listenfd、streamserver-listenfd#、httpclientfd、streamclientfd、streamupstreamfd上的读写事件......ngx_process_cycle.ngx_master_process_cycle ngx_process_cycle.ngx_start_worker_processes ......unistd.fork #fork子进程......rev-handler ngx_event_accept; #设置accept事件的处理函数为ngx_event_accept#nginx把fd、handler都封装在ngx_event_t结构体中#然后ngx_event_t结构又封装在connection结构中#connection结构会作为epoll_events的data字段丢到epollfd中#封装使得epoll_eventloop流程代码可以通用#即不论是httpfd事件还是streamfd事件还是listenfd事件ngx_add_event(rev, NGX_READ_EVENT, NGX_EXCLUSIVE_EVENT) #注册listenfd的read事件到epollfd并且是exclusive模式#accept_handler为ngx_event_acceptee.data.ptr (void *) ((uintptr_t) c | ev-instance) #data字段为c,c是一个connection对象指针epoll_ctl(ep, op, c-fd, ee) #这样我们直接从data取出connection对象#也就是说connection对象保存了一个连接的所有状态#redis也是一样的操作所以epoll类型的应该都是一样的操作......2执行eventloop略详情见eventloop源码流程
1-2http listenfd accept流程
ngx_proces_cycle.ngx_worker_process_cycle #这里是子进程里面的流程1初始化eventloop初始化注册相关fd到eventloop......ngx_add_event(rev, NGX_READ_EVENT, NGX_EXCLUSIVE_EVENT) #注册listenfd的read事件到epollfd并且是exclusive模式......2执行eventLoopfor ; ; #死循环即eventloop,事件循环ngx_event.ngx_process_events_and_timers #处理事件和定时器 ngx_epoll_module.ngx_epoll_process_events #到此处时已经是epoll_wait返回的fd了所以直接处理fd就行了#如果触发了读事件就调用rev-handlerrevconnection-read_events#如果触发了写事件就调用wev-handlerwevconnection-write_eventswev c-write;if ((revents EPOLLOUT) wev-active) wev-ready 1;wev-handler #accept只注册了read事件没有注册write事件所以reventsEPOLLOUT0#accept事件对应读事件所以调用rev-handlerif ((revents EPOLLIN) rev-active) : rev-ready 1;ngx_event_accept.ngx_event_accept #不管是http还是streamlistenfd注册流程都是一样的以及accept函数都是一样的#因为所有的不同都封装在handler中#即conection里的read_events/write_events对象的handler中
----------------在此之上的流程和stream accept一模一样----------------------------------------------------ngx_http_request.ngx_http_init_connection #即ls-handler,nginx通过函数指针来实现同一套代码同时处理http和stream#笔记listenfd对应的read events handler为ngx_event_accept#此处的ls-handler是用来处理新建立的连接的#比如stream模块中对应的ls-handler就是与upsteam建立连接#同样的ngx_http_init_connenction和#ngx_stream_init_connection的逻辑基本是一样的#只不过ngx_http_init_connection少了个连接upstream的操作#笔记stream_init_connection中设置了clientfd.rev.handlerngx_stream_session_handler;#但是在cscf-handler即ngx_stream_proxy_handler中#会重新设置为ngx_stream_proxy_downstream_handler;#笔记clientfd放在session中然后传递session给这个函数rev c-read;rev-handler ngx_http_wait_request_handler; #设置http clientfd的read_events_handler#ngx_http_finalize_request中调用ngx_http_finalize_connection时#会根据是否开启keepalive选项来决定是否把rev-handler设置为ngx_http_keepalive_handler#默认是会的也就是第一次是走wait_request_handler#但是第二个请求就会走keepalive_handler了c-write-handler ngx_http_empty_handler; ngx_event.ngx_handle_read_event #把clientfd注册到epollfd中#笔记http模块中accept时就注册到epollfd中了#而stream模块则是等到upstream处理第一次write时才会注册到epollfd中##define NGX_CLEAR_EVENT EPOLLET 就是说nginx默认是边缘触发ngx_event_accept.ngx_reorder_accept_events #处理accept公平问题略
1-3eventloop过程中http clientfd对应的读事件处理流程
nginx.mainngx_process_cycle.ngx_master_process_cycle......unistd.fork #fork子进程......ngx_proces_cycle.ngx_worker_process_cycle #这里是子进程里面的流程1初始化eventloop初始化注册相关fd到eventloop......2执行eventLoopfor ; ; #死循环即eventloop,事件循环ngx_event.ngx_process_events_and_timers #处理事件和定时器ngx_epoll_module.ngx_epoll_process_eventsunistd.epoll_wait#本次处理clientfd read eventsngx_http_request.ngx_http_keepalive_handler #ngx_http_request.ngx_http_wait_request_handler处理新连接这个处理旧连接#处理流程很简单就是一个http协议解析器先解析请求然后再调用handler处理请求#解析过程很简单先解析请求行然后解析header解析完header后调用handler处理请求#解析的过程中会从conn中取出历史数据如果不是一个完整行就标记等待下一次读取#直到解析完整个请求。ngx_recv.ngx_unix_recv #c-rev这是个函数指针实际是ngx_unix_recv#没有数据可读取时就会返回NGX_AGAINsocket2.recv #调用linux系统调用从网络缓冲区读取数据到nginx内存缓冲区,肯定是for循环非阻塞读取if (n NGX_AGAIN) : #如果是NGX_AGAIN则会把读事件重新注册到对应的监听fd中ngx_event.ngx_handle_read_event #把读事件重新注册到对应的监听fd中。因为不同os中支持的模型不同#不同模型的处理不同所以需要这个函数比如如果是linxu的epoll #就是把fd读事件重新注册到epollfd中如果已存在就什么也不做return #这里重新注册读事件后就返回了ngx_connection.ngx_reusable_connection #暂不清楚ngx_http_request.ngx_http_process_request_line #rev-handler()调用handler函数来处理事件#再次强调nginx通过函数指针来实现同一套#eventloop代码同时可以处理http和stream请求#这里就开始解析http请求就是状态机一边读取一边解析for: #状态机直到处理完请求或者没数据可读或者出错if rc NGX_AGAIN: #不完整的一行需要继续读取ngx_http_request.ngx_http_read_request_header #读取rcngx_http_request.ngx_http_parse_request_line #解析请求行即从字节流中解析出请求行if rcNGX_OK: ngx_http_request.ngx_http_process_request_uri #根据解析出的请求行处理uringx_http_request.ngx_http_set_virtual_server #ngx_http_request.ngx_http_process_request_headers #解析headers和解析请求行一样的流程边读边解析#即如果rcNGX_AGAIN就继续读取一行然后解析#笔记他不是一个外置函数(ngx_http_keepalive_handler )#然后在这个外置函数里第一步解析请求行然后第二步解析header#而是一种尾调用的关系即是嵌套的即外置函数调用函数解析请求行#然后在请求行解析函数的最后一行调用解析headers的函数#然后在解析headers的函数最后一行又调用handler处理函数#http只需要解析http头部而data部分则是由handler来处理#因为数据部分是对用户有意义而无关于http协议handler就是来处理具体数据的 ngx_http_request.ngx_http_read_request_header #读取一行ngx_http_request.ngx_http_parse_header_line #解析一行if rc NGX_OK:continue: #header有多行所以NGX_OK表示成功解析一行if rc NGX_HTTP_PARSE_HEADER_DONE: #NGX_HTTP_PARSE_HEADER_DONE表示请求头解析完了就要处理请求了#这里再次说明http解析的过程就是就是一个状态机就是边读边解析ngx_http_request.ngx_http_process_request_header #处理全部请求头ngx_http_request.ngx_http_process_request #处理完请求头后这里处理请求c-read-handler ngx_http_request_handler; #nginx_http_request_handler就是#在收完请求头但是还没有收完整个请求之间起作用#再次强调http协议中读完请求头和请求体就可以处理请求了#不必等到收到body部分比如getc-write-handler ngx_http_request_handler; #ngx_http_request_handler就是根据事件类型来调用对应的event_handlerif (ev-write) {r-write_event_handler(r);} else {r-read_event_handler(r);} r-read_event_handler ngx_http_block_reading; #对于同一个连接上的请求nginx是顺序处理的#处理一个请求nginx只会调用一次ngx_http_process_request#而nginx在处理完header后就调用ngx_http_process_request了#如果不重置clientfd的read-handler和write-handler#那么如果还没处理完下一个请求来了#比如tcp粘包缓冲区数据为body下一个request#那么就会再次触发clientfd的读取事件读取到下一个请求#然后就会再次调用ngx_http_process_reqeust#我猜测是我猜的ngx_http_process_reqeust不是无状态的函数#导致对于同一个连接必须处理完当前请求才能继续处理下一个请求#为了避免嵌套所以nginx选择的解决办法是#读取到一个完整的请求头即代表开始处理一个请求后#就会重置读取写入事件的handler来避免再次调用http_process_request#ngx_http_request_handler只是简单地根据事件类型来#调用对应的event_handler简单地读取、读取丢弃、或者直接不读取#就算读取了也不会解析数据这样也就不会再次调用http_process_reqeust#所以我们设置对应的read_event_handlerblock_reading,#block_reading如果是边缘触发则本次调用相当于空操作即不读取任何数据#如果是水平触发就从epoll中移除clientfd更简单暴力#注意在当前请求的处理过程中也许会重置read_event_handelr#比如在static_handler中如果不需要请求体比如get /index.html#那么就会重置read_event_handlerngx_http_discard_request_body#就是读取body然后丢弃bodyngx_http_core_module.ngx_http_handlerif !r-internal: #如果是外部请求那么就要调用所有handlerr-keepaliver-headers_in.connection_type #header中会有keepalive的设置r-phase_handler0 #handler是一个数组,phase_handler表示当前handler的下表#phase_handler0表示从第一个handler开始处理#因为handler是一个接一个调用的else:r-phase_handlerserver_rewrite_index #如果是内部请求(即内部的请求重定向等)则从server_rewrite_index开始#就是说不必所有请求都走完http处理的所有阶段ngx_http_core_module.ngx_http_core_run_phases #循环调用phase_handler数组中的所有handler来处理请求while (ph[r-phase_handler].checker): #checker是对handler的包装,ph是phase_handler数组#phase_handler就是数组下标#handler有好多不过都是按顺序来的即一个handler对应一个处理步骤#这个phase_handler数组是在nginx_http_block中填充的#默认是11个阶段14个handlerrc ph[r-phase_handler].checker(r, ph[r-phase_handler]) #handler处理后会自动给phase_handler1#发送响应给client这个功能是放在handler中的#这里仅仅记录发送静态页面给handler略去了一大堆其他的handler/** ph表示phase_handlerph是对handler的一个包装* checker负责对handler的处理结果进行善后工作比如更新状态* 发送响应给client也算作一个handler所以在handler中处理handler是一个函数指针* static_handler专门用来处理静态页面发送响应的时候也分两步同时也是尾调用* 第一步执行filter_chain,对数据进行处理处理完之后再执行output_chain* output_chain内也要执行一个filter_chain也是尾调用* 如果没有设置写延迟那么最终调用writev来把数据写到发送缓冲区* 如果设置了就...暂不清楚*/ngx_http_core_module.ngx_http_core_content_phase #注意有好几个ngx_http_core_content_phase阶段#其中一个phase阶段的handler就是ngx_http_static_handlerngx_http_static_module.ngx_http_static_handler #ph-handler此处是static_handler负责处理静态页面 #再次强调nginx通过函数指针来模拟多态#更广阔一点c框架都是用函数指针来实现同一套代码处理不同的事件#就是说框架的骨架是类型无关的类型差异都封装在一个变量中#nginx中就是eventloop骨架是描述符类型无关的(httpfd/listenfd/streamfd)#这些fd的处理差异都封装在event_t结构event_t封装在connection结构中#eventloop骨架与connetion打交道即conn结构封装了不同fd事件处理的差异...deal something and get result metadata...r-read_event_handler ngx_http_discarded_request_body_handler; ngx_http_output_filter #响应数据元信息处理好了#这里就调用output_filter对响应数据进行处理#output_filter是一个链表同时也是尾调用#所以如果链表很长那么嵌套就会很深ngx_http_range_body_filterngx_http_copy_filterngx_output_chain #outputchain也是一个filter_chain#负责对要写的数据进行处理ngx_http_trailers_filterngx_http_charset_body_filterngx_http_ssi_body_filterngx_http_postpone_filterngx_http_gzip_body_filterngx_http_chunked_body_filterngx_http_write_filterngx_linux_sendfile_chainif: #nginx会根据实际情况来决定是sendfile还是writev因为效率不同ngx_linux_sendfilesendfile.sendfile #就是调用linux的sendfile来发送数据else:ngx_writevuio.writev #就是调用ubuntu的writev来把数据写到发送缓冲区ngx_http_request.ngx_http_finalize_request #各个http模块在执行完某个操作都需要调用这个函数#来把请求的引用计数减去1当引用计数为0时才会真正释放一个请求#有很多if这里举两个NGX_DECLINED和r-bufferedif rc NGX_DECLINED:ngx_http_core_module.ngx_http_core_run_phases #如果此时请求所有阶段还没有处理完#那么继续执行直到所有阶段都走完if 请求行和请求头收到了但是请求体还没收到请求体不可丢弃: #收完请求头后就会设置#read-handlerngx_http_reqeust_handler#这个函数主要用来处理不能一次性读完写完的情况c-read-handler ngx_http_request_handler;c-write-handler ngx_http_request_handler;if r-buffered || c-buffered || r-postponed: #如果一次数据没有写完就向epollfd中注册写事件#然后就在下一次事件循环中处理这一点和redis一样ngx_http_request.ngx_http_set_write_handler r-http_state NGX_HTTP_WRITING_REQUEST_STATE #所以说nginx处理http请求就是一个状态机#nginx就是通过这个状态来记录当前请求处理到哪一步了#所以即使一个请求的数据还没有全部收到#即使需要中断当前执行以待下次执行#nginx都可以正确处理r-write_event_handler ngx_http_writer; #fd可写事件的handler。要么异步io要么直接写发送缓冲区if wev-delayed || r-aio: #如果是延迟或者异步处理ngx_event.ngx_handle_write_eventif lowat0: #lowat需要低水位发送的字节数ngx_event.ngx_send_lowatif !wev-active !wev-ready: #不一定会再次把write_event放到epollfd中ngx_epoll_module.ngx_epoll_add_event #define ngx_add_event ngx_event_actions.add#add函数实际是ngx_epoll_add_event函数#注意它是直接初始化一个结构体来初始化actions的所有字段的epoll_ctl(add,NGX_WRITE_EVENT) #向epollfd注册写事件else:ngx_http_core_module.ngx_http_output_filter #不需要延迟处理则通过ngx_http_write就是把数据写到发送缓冲区ngx_event.ngx_handle_write_event #把event事件注册到epollfd中ngx_epoll_module.ngx_epoll_add_event epoll_ctl(add,NGX_WRITE_EVENT)ngx_http_request.ngx_http_finalize_connection #这个finalize_request和#finalize_connection有点乱和有些错但无伤大雅if 请求处理完了keepalivetrue:c-read-handlerngx_http_keepalive_handlerelse if 请求行和请求头收到了但是请求体还没收到请求体可丢弃ngx_add_timer(c-read,time) #http请求收到请求行请求头后就可以开始处理了#此时read-handlerngx_http_request_handler#ngx_add_timer是确保在指定时间内结束整个请求if rcNGX_OK: #如果某个handler返回NGX_OK就表示请求处理结束不再调用后面的handlerreturn ngx_http_request.ngx_http_run_posted_requests #请求处理完了执行请求后的处理
1-3-1ngx_http_request_handler流程
代码很简单就直接贴源代码。反正就是对于一个请求收完请求头之后对应的read-handler就设置成ngx_http_request_handler一旦整个请求处理完毕如果keepalive为false,那么该连接就会关闭下一次新请求到来的时候就要重新走一遍accept、ngx_http_wait_request_handler如果keepalive为true那么连接就不会关闭在ngx_http_finalize_request的时候就会把read-handler设置成ngx_http_keepalive_handler该连接上的下次请求到来的时候就是走ngx_http_keepalive_handler。至于stream read流程放下了还有ngx_read/write_event_handler的设置就暂时跳过了还有ngx_http_finalize_request和ngx_http_finalize_connection的部分的代码流程笔记有些乱以及有些地方是错的但是大体是对的暂时先放下了反正无伤大雅。因为今天还有2分钟就下班了 2024/10/25 17:58
static void
ngx_http_request_handler(ngx_event_t *ev)
{ngx_connection_t *c;ngx_http_request_t *r;c ev-data;r c-data;ngx_http_set_log_request(c-log, r);ngx_log_debug2(NGX_LOG_DEBUG_HTTP, c-log, 0,http run request: \%V?%V\, r-uri, r-args);if (c-close) {r-main-count;ngx_http_terminate_request(r, 0);ngx_http_run_posted_requests(c);return;}if (ev-delayed ev-timedout) {ev-delayed 0;ev-timedout 0;}if (ev-write) {r-write_event_handler(r);} else {r-read_event_handler(r); #比如对于某些不需要的请求体直接丢弃#即此时的read_event_handler为ngx_http_discard_request_body即丢弃请求体并清除定时器}ngx_http_run_posted_requests(c);
}
