这篇文章是我的生产实习报告,在Linux操作系统上实现的一个简单的HTTP服务器,也算是一个小项目。请大家多多指教。
一、实习目的
本次实习紧紧围绕Linux操作系统基础知识展开,主要学习了Linux系统的常用命令、gcc编译链接过程、多线程通信和同步技术、socket网络通信、HTTP服务器等内容。与此同时,在老师的带领下进行实操训练,例如:编写Makefile文件管理工程、实现静态库和动态库、模仿系统bash实现自己的命令解释器、编写多线程程序并实现同步、实现TCP/UDP服务器端和客户端进行通信等。
最后通过独立完成一个基于Linux平台C语言编写的http服务器,巩固课程学到的Linux平台上的编程规范、技术和技巧,增强对于Linux操作系统的熟练度,培养我们编写较大型程序的能力,培养底层软件开发的能力,并为将来从事Linux平台开发、嵌入式开发等相对高端的软件开发工作打下基础。
本次实习具体目的如下:
(1)掌握并熟练使用Linux操作系统常用命令;
(2)熟练使用vim、gcc编译器、gdb等工具在Linux平台上进行程序的编写、编译以及调试;
(3)使用C语言编写轻量级http服务器实现发布静态页面功能;
(4)采用线程池和I/O复用方法实现同时处理多个客户端请求。
二、实习项目及内容
2.1开发平台
本项目是基于Linux系统C语言实现的http服务器,开发环境如下:
开发平台:腾讯云服务器
操作系统:Ubuntu Server 20.04 LTS 64bit
CPU:2核
内存:4GB
系统盘:60GB SSD云硬盘
2.2项目功能
本项目设计的http服务器是一个轻量级的服务器,使用Reactor模式,即主线程只负责监听文件描述符上是否有事件发生,有的话立即将该事件通知工作线程。除此之外,主线程不做其他实质性的工作。读写数据,接受新的连接,以及处理客户请求均在工作线程中完成。
本项目的基本功能如下:
(1)能接收客户端的GET请求;
(2)能够解析客户端的请求报文,根据客户端要求找到相应的资源;
(2)能够回复http应答报文;
(3)能够读取服务器中存储的文件,并返回给请求客户端,实现对外发布静态资源;
(4)使用I/O复用来提高处理请求的并发度;
(5)服务器端支持错误处理,如要访问的资源不存在时回复404错误等。
2.3技能储备
为了完成本项目,实现本项目的具体功能,需要具有一定的技能储备作为技术支撑。
首先应该掌握Linux操作系统的常用命令,C语言基础,熟练使用vim、gcc编译器、gdb等工具,Linux平台上进行程序的编写、编译以及调试能力,socket网络通信的编程能力,I/O复用理论知识以及编程能力,多线程编程能力,以及一定的HTML语言能力。
三、项目设计
3.1设计概述
本项目是基于Linux操作系统,使用C语言实现的轻量级http服务器。使用socket网络编程技术实现服务器端和客户端之间的通信。同时,为了提高本服务器的并发处理性能,本次http服务器设计使用Reactor模式。通过I/O复用和线程池相结合,实现同时响应多个客户端的请求,保证http服务器的并发性。
3.2 Reactor模式
Reactor模式是指主线程只负责监听文件描述符上是否有事件发生,有的话立即将该事件通知工作线程。除此之外,主线程不做其他实质性的工作。读写数据,接受新的连接,以及处理客户请求均在工作线程中完成。
工作流程如下:
(1)主线程往epoll内核事件表中注册socket上的读就绪事件。
(2)主线程调用epoll_wait等待socket上有数据可读。
(3)当socket上有数据可读时,epoll_wait 通知主线程。主线程则将socket可读事件放入消息队列。
(4)一旦放入消息队列便创建相应的线程即工作线程,在线程函数中处理客户端信息,然后往epoll内核事件表中注册该socket上的写就绪事件。
(5)主线程调用epoll_ wait 等待socket可写。
(6)当socket可写时,epoll _wait 通知主线程。主线程将socket可写事件放入消息队列。
(7)创建工作线程,往socket上写入服务器处理客户请求的结果。
3.3 socket网络编程
本项目通过socket网络编程技术实现http服务器端和客户端实现通信。并且采用的是TCP协议。
TCP 提供的是面向连接的、可靠的、字节流服务。TCP 的服务器端和客户端编程流程如下图:
3.4 http服务器应答报文设计
如果客户端请求响应成功,则想客户端发送成功应答报文。如下表所示:
表3-1 请求成功的应答报文
如果客户端请求响应失败,例如服务器端没有客户端所请求的资源,则回复失败报文。如下表所示:
表3-2 请求失败应答报文
四、代码实现及运行结果
4.1主要功能实现
4.1.1 主函数
主函数中主要调用各个封装好的方法函数,首先调用创建套接字函数,创建套接字,然后创建消息队列。接着创建线程池,子线程同时执行loop_thread线程函数,将在 msgrcv处阻塞,等待获取消息队列中的消息。主线程调用epoll_create方法创建内核事件表,调用epoll_add函数添加描述符和事件。接着使用epoll_wait方法获取就绪描述符,一旦获取到就绪描述符便向消息队列中发送消息,便可以解除子线程中消息队列的阻塞,执行子线程中的程序,连接客户端,实现通信。
int main(){signal(SIGPIPE,sig_fun);sockfd = socket_init();//调用创建套接字函数if ( sockfd == -1 ){exit(0);}msgid = msgget((key_t)1234,IPC_CREAT|0600);//创建消息队列if ( msgid == -1 ){exit(0);}pthread_t id[4];for( int i = 0; i < 4; i++ )//循环创建线程池{pthread_create(&id[i],NULL,loop_thread,NULL);}epfd = epoll_create(MAXFD);//创建内核事件表if ( epfd == -1 ){printf("create epoll err\n");exit(0);}epoll_add(epfd,sockfd);//调用封装的函数添加描述符和事件struct epoll_event evs[MAXFD];while( 1 ){int n = epoll_wait(epfd,evs,MAXFD,-1);//获取就绪描述符if( n == -1 ){continue;}else{struct mess m;m.type = 1;for(int i = 0; i < n; i++ ){m.c = evs[i].data.fd;if ( evs[i].events & EPOLLIN ){msgsnd(msgid,&m,sizeof(int),0); //向消息队列发送消息}}}}}
4.1.2创建套接字函数
将初始化创建套接字函数封装。
int socket_init(){int sockfd = socket(AF_INET,SOCK_STREAM,0);if ( sockfd == -1 ){return -1;}struct sockaddr_in saddr;memset(&saddr,0,sizeof(saddr));saddr.sin_family = AF_INET;saddr.sin_port = htons(80);saddr.sin_addr.s_addr = inet_addr("0.0.0.0");int res = bind(sockfd,(struct sockaddr*)&saddr,sizeof(saddr)); if ( res == -1 ){printf("bind err\n");return -1;}res = listen(sockfd,5);if ( res == -1 ){return -1;}return sockfd;}
4.1.3线程函数
线程将在 msgrcv处阻塞,等待获取消息队列中的消息,判断描述符类型,进行accept操作或recv操作。收到客户端请求数据后再调用get_filename函数获取客户端请求的资源名称,再判断发送错误或者正确应答报文。
void* loop_thread(void*arg){while( 1 ){struct mess m;msgrcv(msgid,&m,sizeof(int),1,0);//从消息队列中读取消息int c = m.c;if ( c == sockfd ){struct sockaddr_in caddr;int len = sizeof(caddr);int cli = accept(sockfd,(struct sockaddr*)&caddr,&len);if ( cli < 0 ){continue;}epoll_add(epfd,cli);}else{char buff[1024] = {0};int n = recv(c,buff,1023,0); if ( n <= 0 ){epoll_del(epfd,c);//调用移除描述符函数close(c);printf("close\n");continue;}char* filename = get_filename(buff);//调用资源名获取函数if ( filename == NULL ){send_404status(c);//调用发送错误应答报文函数epoll_del(epfd,c);//调用移除描述符函数close(c);continue;}printf("filename:%s\n",filename);if ( send_httpfile(c,filename) == -1 )//调用发送正确应答报文函数{printf("主动关闭连接\n");epoll_del(epfd,c);close(c);continue;}}epoll_mod(epfd,c);//调用重置函数}}
4.1.4封装epoll函数
//添加描述符函数void epoll_add(int epfd,int fd){struct epoll_event ev;ev.data.fd = fd;ev.events = EPOLLIN | EPOLLONESHOT;if ( epoll_ctl(epfd,EPOLL_CTL_ADD,fd,&ev) == -1){printf("epoll add err\n");}}//移除描述符函数void epoll_del(int epfd, int fd ){if ( epoll_ctl(epfd,EPOLL_CTL_DEL,fd,NULL) == -1 ){printf("epoll del err\n");}}//重置描述符函数void epoll_mod(int epfd, int fd){struct epoll_event ev;ev.data.fd = fd;ev.events = EPOLLIN | EPOLLONESHOT;if ( epoll_ctl(epfd,EPOLL_CTL_MOD,fd,&ev) == -1 ){printf("epoll mod err\n");}}
4.1.5获取资源名函数
通过这个函数来解析客户端请求报文,获取资源名称。
char* get_filename(char buff[]){ char* ptr = NULL;char * s = strtok_r(buff," ",&ptr);if ( s == NULL ){printf("请求报文错误\n");return NULL;}printf("请求方法:%s\n",s);s = strtok_r(NULL," ",&ptr);if ( s == NULL ){printf("请求报文 无资源名字\n");return NULL;}if ( strcmp(s,"/") == 0 ){return "/index.html";}return s;}
4.1.6发送正确应答报文函数
如果客户请求资源可以正常访问,则调用该函数发送应答报文。
intsend_httpfile(int c, char* filename){if ( filename == NULL || c < 0 ){send(c,"err",3,0);return -1 ;}char path[128] = {PATH};strcat(path,filename);///home/ubuntu/ligong/day12/index.hmtlint fd = open(path,O_RDONLY);if ( fd == -1 ){//send(c,"404",3,0);send_404status(c);return -1;}int size = lseek(fd,0,SEEK_END);lseek(fd,0,SEEK_SET);char head_buff[512] = {"HTTP/1.1 200 OK\r\n"};strcat(head_buff,"Server: myhttp\r\n");sprintf(head_buff+strlen(head_buff),"Content-Length: %d\r\n",size);strcat(head_buff,"\r\n");//分隔报头和数据 空行send(c,head_buff,strlen(head_buff),0);printf("send file:\n%s\n",head_buff);int num = 0;char data[1024] = {0};while( ( num = read(fd,data,1024)) > 0 ){send(c,data,num,0);}close(fd);return 0;}
4.1.7发送错误应答报文函数
如果客户端访问的在服务器端资源不存在,则调用该函数发送应答
报文。
intsend_404status(int c){int fd = open("err404.html",O_RDONLY);if ( fd == -1 ){send(c,"404",3,0);return 0;}int size = lseek(fd,0,SEEK_END);lseek(fd,0,SEEK_SET);char head_buff[512] = {"HTTP/1.1 404 Not Found\r\n"};strcat(head_buff,"Server: myhttp\r\n");sprintf(head_buff+strlen(head_buff),"Content-Length: %d\r\n",size);strcat(head_buff,"\r\n");//分隔报头和数据 空行send(c,head_buff,strlen(head_buff),0);char data[1024] = {0};int num = 0;while( ( num = read(fd,data,1024)) > 0 ){send(c,data,num,0);}close(fd);return 0;}
4.1.8 index.htlm
<html> <head> <meta charset=utf8><title>baixingyu</title></head><body background="R-C.jpg"> <center> <h2>bxy</h2> </center><a href="test.html">下一页</a></body></html>
4.1.9 test.html
<html><head> <meta charset=utf8> <title>测试</title></head> <body> <center> <h2>小狗小狗 </center> <a href="index.html">返回</a></body> </html>
4.1.10 404err.html
<html> <head><meta charset=utf8><title>访问失败</title></head><body background="1.jpg"><center><h2>页面走丢了</center></body></html>
4.2测试及运行结果
为了测试http服务器是否能够正常运行,并且实现上文提到的功能,分别采用了PC端和移动手机端进行网页测试。
本次测试用例及预期结果如下表所示:
表4-1 测试用例及结果
首先PC端在浏览器地址栏输入服务器所在的IP地址进行访问,可以成功获取到服务器端的index页面,如图所示。
点击下一页,跳转到test页面。如图所示:
在访问地址后随意追加错误访问信息,即访问客户端不存在的资源,得到404err页面。如图所示:
访问客户端存在的资源,读取到的相应的资源。例如输入1.116.157.150\3.jpg或2.jpg。得到图片内容,如图所示:
移动手机端测试同理,同样可以得到相应的结果如下图所示:
最后,为测试http服务器端的并发性,同时使用多个客户端进行连接,同时访问服务器端的资源,均可正常运行。服务器端打印的部分请求信息如下图:
通过测试结果显示,本http服务器实现了对外发布的静态资源的功能,并且对于错误的访问信息可以进行处理回复。并且,通过多用户同时访问测试结果显示,该服务器具有较好的并发性,能够满足一定客户端同时请求资源的需求。
五、实习总结
略
六、参考文献
《高性能服务器编程》游双
《C语言程序设计》谭浩强
《http权威指南》[美]David Gourley Brian Totty Marjorie Sayer
Sailu Reddy Anshu Aggarwal