日志文章

2008年08月13日 23:31:52

Tracker服务器源码分析之二：RawServer类- -

作者：小马哥

日期：2004-5-30


这篇文章，我们来分析 RawServer 以及一些相关的类。RawServer 类的实现代码，在 BitTorrent 子目录的RawServer.py 中


RawServer 这个类的作用是实现一个网络服务器。关于网络编程的知识，《unix网络编程：卷1》是最经典的书籍，你如果对这块不了解，建议抽时间看看这本书。RawServer 实现的是一种事件多路复用、非阻塞的网络模型。它使用的是 poll() （而不是我们常见的select()，关于 poll和select的比较，也在《unix网络编程：卷1》中有介绍）函数，处理过程大致是这样的：

首先创建一个监听 socket，然后将这个 socket 加入 poll 的事件源；

随后进入服务处理循环，即：


调用 poll() 函数，这个函数会阻塞，直到网络上有某些事件发生或者超时才返回给调用者；

在 poll()返回之后，先检查一下是否有没有处理的任务，如果有，那么先完成这些任务。然后根据事件类型进行处理。

如果是连接请求（监听 socket上的POLLIN事件）到来，它 accept这个请求，如果 accept 成功，那么就和一个 client建立了连接，于是将 accept() 新创建的 socket 加入 poll 的事件源；

如果在已经建立的连接上（连接socket上的POLLIN事件），有数据可读，那么将数据从 client 端读过来，做进一步处理；

如果已经建立的连接已经准备好（连接socket上的POLLOUT事件），可以发送数据，则检查是否有数据需要发送，如果有，那么发送数据给 client 端。


（所以，tracker是一个单进程的服务器，并没有用到线程。）


Bram Cohen 认为软件的可维护性非常重要，使代码易于维护的重要一条就是设计可重用的类，RawServer 在设计的时候，充分考虑到了可重用性，集中表现在两个地方：

1、 将网络 I/O 和数据分析处理分离。

网络服务器的事件多路复用、网络I/O 部分通常是固定不变的，而数据在读取之后，进行分析处理的过程则是可变的。RawServer 将可变的数据处理工作，交给另外一个抽象的类 Handler （实际上并没有这么一个类）来处理。比如，在 tracker 服务器的实现中，具体使用的就是 HTTPHandler 类，而在 以后将要分析的 BT client 实现代码中，用到的具体的Handler 是 Encoder 类。


2、 采用任务队列来抽象出任务处理的过程。

RawServer维护了一个任务队列 unscheduled_tasks（实际是一个二元组的list，二元组的第一项是一个函数，第二项是超时时间）。在初始化的时候，首先向这个队列中加入一个任务：scan_for_timeouts()，这样，每隔一段时间，服务器就会去检查一下是否有连接超时。如果有其它


RawServer的成员函数中，对外暴露的有：


u     __init__：（初始化函数）


u     add_task()：

  在任务列表中增加一项任务（一个任务是一个函数以及一个指定的超时时间的组合）


u     bind()：

  首先创建一个socket，然后设置socket的属性： SO_REUSEADDR和IP_TOS,，这两个属性的具体含义请参考《unix网络编程：卷1》，另外还将 socket 设置为非阻塞的。相对于阻塞的 socket来说，非阻塞的 socket 在网络 I/O 性能上要提高许多，但是与此同时，编程的复杂度也要提高一些。象 tracker这种可能同时要处理成千上万个并发连接的服务器，只能采用非阻塞的socket。

  然后将该 socket和指定ip已经端口绑定；

  最后把这个socket 加入 poll的事件源。


u     start_connection()：

  对外主动建立一个连接，这个函数在处理NAT穿越的时候用到了，我们后面分析到 NAT穿越的时候，再具体讲解。


u     listen_forever()：

  这个函数的功能就是实现了我在前面描述的网络服务器的处理过程。我们看到，它唯一的参数是handler，handler的作用就是封装了对数据的具体处理。

listen_forever()把对网络事件的处理过程，交给了 handle_events()。


其它函数，包括handle_events()，都是内部函数（也就是外部不会直接来调用这些函数）。Python没有c++那样 public、protected、private 这样的保护机制，python类的内部函数命名的惯例是以下划线开始，例如 RawServer 中的 _close_dead()等。


u     handle_events()：

事件处理过程，主要是根据三种不同的网络事件分别处理，一是连接事件，二是读事件、三是写事件。


if sock == self.server.fileno()


这段代码判断发生事件的socket是否是监听 socket，如果是，那么说明是连接事件。

连接事件的处理：

通过 accept 来接受连接，并将新建立的 socket 设置为非阻塞。

判断当前连接数是否已经达到了最大值（为了限制并发连接的数目，在初始化 RawServer的时候，需要指定最大连接数目），如果已经达到最大值，那么关闭这个新建的连接。

否则，根据新的 socket 创建一个 SingleSocket 对象，（SingleSocket 封装了对 socket的操作。）将这个对象加入内部的列表single_sockets中，以备后用。

将这个新 socket加入 poll 的事件源

最后，调用 Handler 的external_connection_made() 函数，关于这个函数，在后面分析 HTTPHandler 时再讨论。


if (event & POLLIN) != 0:

这段代码判断是否是读事件

读事件的处理：

首先刷新一下连接的最后更新时间 （last_hit）。

然后读取数据；

如果什么也没读到，那么说明连接被关闭了（在网络编程中，如果一个连接正常的被关闭，那么，也会触发读事件，只不过什么也读不到）

否则，调用 Handler的 data_came_in() 函数来处理读到的数据。


if (event & POLLOUT) != 0 and s.socket is not None and not s.is_flushed():

这段代码判断是否是写事件，而且确实有数据需要发送。在一个连接可以写的时候，就会发生写事件。

写事件的处理：

实际代码是在 SingleSocket的 try_write()函数中。

在一个非阻塞的连接上发送指定大小的数据，很可能在一次发送过程中，数据没有被完全发送出去（只发送了一部分）就返回了，所以，每次 write之后，必须判断是否完全发送了数据。如果没有发送完，那么下次有读事件的时候，还得回来继续发送未完得数据。这也是这个函数叫做 try_write 的原因吧。

try_write() 在最后，要重新设置 poll 的事件源。如果数据全部发送完毕了，那么只需要监听读事件（POLLIN）否则，既要监听读事件，也要监听写事件（POLLOUT），这样，一旦连接变的可写，可以继续将剩下的数据发送出去。


u     scan_for_timeouts()：

任务处理函数，它首先把自身加入未处理任务队列中，这样，经过一段时间，可以保证这个函数再次被调用，从而达到周期性调用的效果。

它检查每个连接是否超过指定时间没有被刷新，如果是，则该连接可能已经僵死，那么它关闭这个连接。


u     pop_unscheduled()：

从任务列表中弹出一个未处理的任务。

 

与 RawServer 配合使用的是 SingleSocket 类，这是一个辅助类，主要目的是封装对 socket的处理吧。包括数据的发送，都交给它来处理了。这个类比较简单，大家可以自己去看，我就不罗嗦了。



以上是对 RasServer 的具体实现的一个分析，可能读者看的还是晕晕糊糊，没办法，还是必须自己去看源代码，然后在遇到问题的时候，回头再来看这篇文章，才会有帮助。如果不亲自看源码，终究是纸上谈兵。


我们再来小结一下。

RawServer 封装了网络服务器的实现细节，它实现了一种事件多路处理、非阻塞的网络模型。它主要负责建立新的连接，从网络读取和发送数据，而对读到的数据的具体处理工作，交给 Handler 类来处理，从而把网络I/O和数据处理分离开来，使得 RawServer可以重用。Handler 类是在调用 listen_forever() 的时候，由调用者传递进来的，具体到 tracker服务器，就是HTTPHandler。有了 RawServer，tracker 就可以作为一个网络服务器运行了。

下一节，我们开始分析具体实现 tracker HTTP 协议处理的 HTTPHandler类和Tracker类

Tags： BT  

类别： 网络协议 |  评论(5) |  浏览(1909) |  收藏
5楼 [匿名]B2B&LICENSE 2009年11月18日 00:02:11 Says:
http://www.licenseugg.com/BUY DISCOUNT [url=http://www.licenseugg.com/]ugg shoes[/url]
[url=http://www.licenseugg.com/]Uggs Outlet[/url]
[url=http://www.licenseugg.com/]Cheap Uggs[/url]
[url=http://www.licenseugg.com/]discount ugg boots[/url]
[url=http://www.licenseugg.com/]Ugg Boots[/url]
[url=http://www.licenseugg.com/]ugg boots cheap[/url]
[url=http://www.licenseugg.com/ugg-classic-cardy-c-1.html]ugg cardy boots[/url]
[url=http://www.licenseugg.com/ugg-classic-cardy-c-1.html]cheap ugg cardy boots[/url]
FREE SHIPPING!
http://www.b2bliving.com/ BUY DISCOUNT [url=http://www.b2bliving.com/]ugg boot[/url]
[url=http://www.b2bliving.com/]ugg boots[/url]
[url=http://www.b2bliving.com/]boots ugg[/url]
[url=http://www.b2bliving.com/]boot ugg[/url]
[url=http://www.b2bliving.com/]nike shox[/url]
[url=http://www.b2bliving.com/]shox shoes[/url]
[url=http://www.b2bliving.com/]nike shoes shox[/url]
[url=http://www.b2bliving.com/]nike shox running shoes[/url]
[url=http://www.b2bliving.com/]nike shoes[/url]
[url=http://www.b2bliving.com/ugg-new-short-boots-c-23.html]ugg short boots[/url]
[url=http://www.b2bliving.com/ugg-bailey-button-c-20.html]ugg button boots[/url]
[url=http://www.b2bliving.com/ugg-classic-cardy-c-2.html]ugg classic cardy[/url]
[url=http://www.b2bliving.com/ugg-classic-crochet-c-9.html]crochet boots[/url]
[url=http://www.b2bliving.com/ugg-classic-mini-c-6.html]ugg classic mini[/url]
[url=http://www.b2bliving.com/ugg-classic-short-c-1.html]ugg classic short[/url]
[url=http://www.b2bliving.com/ugg-classic-tall-c-3.html]ugg classic tall[/url]
[url=http://www.b2bliving.com/ugg-coquette-casual-c-21.html]casual shoes[/url]
[url=http://www.b2bliving.com/ugg-infants-erin-boots-c-25.html]ugg baby boots[/url]
[url=http://www.b2bliving.com/uggs-knightsbridge-c-357.html]ugg knightsbridge[/url]
[url=http://www.b2bliving.com/ugg-lo-pro-button-c-26.html]lo pro boots[/url]
[url=http://www.b2bliving.com/ugg-nightfall-c-4.html]ugg nightfall[/url]
[url=http://www.b2bliving.com/ugg-skimmer-c-17.html]ugg skimmer[/url]
[url=http://www.b2bliving.com/ugg-sundance-c-5.html]ugg sundance[/url]
[url=http://www.b2bliving.com/ugg-tasmina-c-10.html]ugg tasmina[/url]
[url=http://www.b2bliving.com/ugg-ultra-short-c-7.html]ugg ultra short[/url]
[url=http://www.b2bliving.com/ugg-ultra-tall-c-8.html]ugg ultra tall[/url]
[url=http://www.b2bliving.com/ugg-womens-rainier-c-22.html]ugg women boots[/url]
[url=http://www.b2bliving.com/new-shox-nz-shoes-c-60.html]shox nz shoes[/url]
[url=http://www.b2bliving.com/new-shox-nz-shoes-c-60.html]shox nz[/url]
[url=http://www.b2bliving.com/new-shox-torch-shoes-c-63.html]shox torch[/url]
[url=http://www.b2bliving.com/new-shox-torch-shoes-c-63.html]torch shoes[/url]
[url=http://www.b2bliving.com/shox-dream-shoes-c-66.html]nike dream shoes[/url]
[url=http://www.b2bliving.com/shox-dream-shoes-c-66.html]dream shoes[/url]
[url=http://www.b2bliving.com/shox-monster-shoes-c-28.html]shox monster shoes[/url]
[url=http://www.b2bliving.com/shox-nz-shoes-c-44.html]nike shox nz[/url]
[url=http://www.b2bliving.com/shox-oz-shoes-c-31.html]shox oz[/url]
[url=http://www.b2bliving.com/shox-r3-shoes-c-47.html]nike shox r3[/url]
[url=http://www.b2bliving.com/shox-r4-shoes-c-50.html]nike shox r4[/url]
[url=http://www.b2bliving.com/shox-r4-torch-shoes-c-51.html]shox r4 torch[/url]
[url=http://www.b2bliving.com/shox-r5-shoes-c-37.html]nike shox r5[/url]
[url=http://www.b2bliving.com/shox-tl1-shoes-c-38.html]shox tl1[/url]
[url=http://www.b2bliving.com/shox-tl3-shoes-c-54.html]tl3 nike shox[/url]
[url=http://www.b2bliving.com/shox-turb-shoes-c-57.html]nike shox turb[/url]
FREE SHIPPING!
4楼 [匿名]POP&SHOES 2009年11月18日 00:02:02 Says:
http://www.popbiz24.com/BUY DISCOUNT[url=http://www.popbiz24.com/ugg-classic-cardy-c-585.html]ugg shoes[/url]
[url=http://www.popbiz24.com/ugg-classic-cardy-c-585.html]ugg boots[/url]
[url=http://www.popbiz24.com/ugg-classic-cardy-c-585.html]boots ugg[/url]
[url=http://www.popbiz24.com/ugg-classic-tall-c-586.html]Discount ugg boots[/url]
[url=http://www.popbiz24.com/ugg-classic-short-c-584.html]ugg boots online[/url]
[url=http://www.popbiz24.com/ugg-classic-short-c-584.html]Ugg boots cheap[/url]
[url=http://www.popbiz24.com/ugg-classic-tall-c-586.html]cheap ugg boots[/url]
[url=http://www.popbiz24.com/new-mbt-shoes-c-583.html]mbt shoes[/url]
[url=http://www.popbiz24.com/nike-shox-shoes-c-381.html]nike running shoes[/url]
[url=http://www.popbiz24.com/nike-air-max-shoes-c-276.html]cheap nike shoes [/url]
[url=http://www.popbiz24.com/nike-air-max-shoes-c-276.html]nike air max shoes[/url]
[url=http://www.popbiz24.com/new-mbt-shoes-c-583.html]discount mbt shoes[/url]
[url=http://www.popbiz24.com/ugg-bailey-button-c-599.html]ugg button boots[/url]
[url=http://www.popbiz24.com/ugg-classic-cardy-c-585.html]ugg classic cardy[/url]
[url=http://www.popbiz24.com/ugg-classic-crochet-c-589.html]crochet boots[/url]
[url=http://www.popbiz24.com/ugg-classic-mini-c-588.html]ugg classic mini[/url]
[url=http://www.popbiz24.com/ugg-classic-short-c-584.html]ugg classic short[/url]
[url=http://www.popbiz24.com/ugg-classic-tall-c-586.html]ugg classic tall[/url]
[url=http://www.popbiz24.com/ugg-coquette-casual-c-601.html]ugg coquette[/url]
[url=http://www.popbiz24.com/ugg-infants-erin-baby-c-605.html]ugg baby boots[/url]
[url=http://www.popbiz24.com/ugg-lo-pro-button-c-600.html]lo pro boots[/url]
[url=http://www.popbiz24.com/ugg-nightfall-boots-c-590.html]ugg nightfall boots[/url]
[url=http://www.popbiz24.com/chestnut-ugg-new-short-boots-5220-p-29931.html]ugg new short[/url]
[url=http://www.popbiz24.com/ugg-sundance-boots-c-591.html]ugg sundance boots[/url]
[url=http://www.popbiz24.com/ugg-ultra-short-boots-c-592.html]ugg ultra short[/url]
[url=http://www.popbiz24.com/ugg-ultra-tall-boots-c-593.html]ugg ultra tall[/url]
[url=http://www.popbiz24.com/ugg-womens-rainier-c-602.html]ugg womens rainier[/url]
[url=http://www.popbiz24.com/new-mbt-shoes-c-583.html]mbt shoes[/url]
[url=http://www.popbiz24.com/2009s-air-max-360-c-566.html]nike air max 360[/url]
[url=http://www.popbiz24.com/2009s-air-max-90-c-571.html]nike air max 90[/url]
[url=http://www.popbiz24.com/nike-shox-shoes-c-381.html]nike shox shoes[/url]
[url=http://www.popbiz24.com/nike-shox-shoes-c-381.html]nike shox running shoes[/url]
[url=http://www.popbiz24.com/air-max-new-arrival-c-482.html]shoes nike air max[/url]
[url=http://www.popbiz24.com/air-max-2009-new-c-578.html]air max 2009[/url]
[url=http://www.popbiz24.com/air-max-2009-new-c-578.html]nike air max 2009[/url]
[url=http://www.popbiz24.com/air-max-tailwind-c-576.html]nike air max tailwind[/url]
[url=http://www.popbiz24.com/air-jordan-2009-c-570.html]air jordan 2009[/url]
[url=http://www.popbiz24.com/air-jordan-2009-c-570.html]air jordan shoes[/url]
[url=http://www.popbiz24.com/air-jordan-fusion-c-516.html]air jordan fusion[/url]
[url=http://www.popbiz24.com/air-jordan-fusion-c-516.html]nike air jordan fusion[/url]
[url=http://www.popbiz24.com/air-zenyth-c-575.html]nike air zenyth[/url]
[url=http://www.popbiz24.com/michael-jackson-c-565.html]michael jackson shoes[/url]
[url=http://www.popbiz24.com/nike-dunk-sb-shoes-c-270.html]nike dunk sb shoes[/url]
[url=http://www.popbiz24.com/nike-dunk-sb-shoes-c-270.html]nike dunk shoes[/url]
[url=http://www.popbiz24.com/nike-football-shoes-c-197.html]nike football shoes[/url]
[url=http://www.popbiz24.com/asics-shoes-c-477.html]asics running shoes[/url]
[url=http://www.popbiz24.com/puma-shoes-c-446.html]puma shoes[/url]
[url=http://www.popbiz24.com/supra-shoes-c-470.html]supra shoes[/url]
FREE SHIPPING!
http://www.shoesyahoo.com/ BUY DISCOUNT [url=http://www.shoesyahoo.com/]nba shoes[/url]
[url=http://www.shoesyahoo.com/]cheap basketball shoes[/url]
[url=http://www.shoesyahoo.com/]kobe shoes[/url]
[url=http://www.shoesyahoo.com/]cp3 shoes[/url]
[url=http://www.shoesyahoo.com/]lebron james shoes[/url]
[url=http://www.shoesyahoo.com/allen-iverson]allen iverson shoes[/url]
[url=http://www.shoesyahoo.com/carmelo-anthony]carmelo anthony shoes[/url]
[url=http://www.shoesyahoo.com/chris-paul]chris paul shoes[/url]
[url=http://www.shoesyahoo.com/gilbert-arenas]gilbert arenas shoes[/url]
[url=http://www.shoesyahoo.com/kevin-durant]kevin durant shoes[/url]
[url=http://www.shoesyahoo.com/kevin-garnett]Kevin Garnett shoes[/url]
[url=http://www.shoesyahoo.com/kevin-garnett]garnett shoes[/url]
[url=http://www.shoesyahoo.com/steve-nash]steve nash shoes[/url]
[url=http://www.shoesyahoo.com/team-basketball]team basketball shoes[/url]
[url=http://www.shoesyahoo.com/tim-duncan]tim duncan shoes[/url]
[url=http://www.shoesyahoo.com/tracy-mcgrady]tracy mcgrady shoes[/url]
[url=http://www.shoesyahoo.com/vince-carter]vince carter shoes[/url]
FREE SHIPPING!
3楼 [匿名]学历职称 2009年10月30日 09:31:25 Says:
您还在为学历不够、没有职业资格证而找不到合适的工作而苦恼吗？我们为您排忧解难，为您提供国际、国内职业资格认证服务，免费提供咨询服务。详细请登录：http://www.szpx6688.cn,热线电话：0755-83190298，QQ295549145，358526773
2楼 [匿名]上海北大青鸟 2009年10月18日 10:26:00 Says:
市教育局与北大附属实验学校正式签约，北大附属实验学校将从今年起正式建立公办高中部，承担市招生考试办公室正规录取达到规定录取分数线的该市户籍高中生的教育教学工作，每年将用政府财政经费培养400名公办高中生。此举既是市政府发展教育事业、解放思想、实现基础教育体制改革的重大创新，也是对北大青鸟旗下北大附属实验学校5年辛勤办基础教育综合实力的充分肯定，必将造福于人民。 签署此次政府委托办学协议的双方代表分别是市教育局局长钟以俊，北大青鸟集团副总裁、北大青鸟教育管理公司总裁张万中。照此协议，北大附属实验学校将从今年起，连续3年，每年建立8个公办高中班，每年招收达到市招生考试办公室正规录取分数线的400名该市户籍的高中生来校就读，其中包括300名正式录取生、100名择校生。市教育局则将相应的正常教育事业费100%拨给该校作为委托办学费用，择校生的费用也100%拨交给该校支配。为保证教学质量，市教育局还选派市一中数名教师和管理人员到该校负责和参与高中部教育教学管理，其中一人担任该校副校长，独立负责该校高中部全面工作。这样一来，该校长期积累起来的教学场地、配套设施和师资力量优势就得到了充分发挥，生源质量也得到了很好的保证。 张万中介绍说，此举意义重大。市政府作出这种选择和改革，是下了很大决心的，也确实看到了北大附属实验学校的办学实力，认可了该校的特色教育、精品教育和素质教育。政府将财政拨款交到民办学校兴办公办高中班，是调动政府和民企两个积极性，进而调动教师队伍的积极性；并且将公办考试生源基础好、质量高的优势，与该校系列化的特色、精品和素质教育优势强有力地结合起来了，必将会培养出更为出色的高中毕业生，输送给重点高校和社会。 同时，此举也给北大附属实验学校带来了新的发展契机，突破了过去民办基础教育学校生源须最后排队的瓶颈，利于为社会做出更突出的成绩，给该校带来新的办学效益。他表示，这一合作的结果是多赢的。北大附属实验学校的“保证基础、尊重个性、健全人格、和谐发展”人本化教育模式将会与一中“三全教育”体系和谐结合，使精品教育与公办优质教育实现完美兼容，为高中段教育的全面优化和成才空间的进一步开拓做出更大贡献。 北大青鸟网址：www.itbdqn.com 咨询电话：021-51197466 24小时咨询电话：13564300818 钱老师
1楼 [匿名]中国福利彩票官� 2009年09月13日 07:31:00 Says:
中国福利彩票官方网(http://www.cpw658.cn致力于打造中国福利彩票和中国体育彩票的专业彩票门户网站。为您提供福利彩票和体育彩票的彩票预测、彩票开奖、彩票新闻资讯和彩票软件下载等服务。您还可以到中国福利彩票官方网的彩票论坛与彩民们分享您的彩票心得。 中国彩票论坛提供中国福利彩票双色球走势图,双色球开奖公告,福彩3D预测,七星彩选号,中国体育彩票排列3,体彩大乐透分析等彩票资讯,是彩票行业免费预测分析网站。 双色球,福利彩票双色球开奖,福利彩票,双色球,3d,福利彩票双色球.福彩3D,中国福利彩票网3d,彩票3d,走势图,专家预测,中国福利彩票双色球,福利彩票3d开奖公告/开奖查询/开奖现场直播,中国福利彩票官方网站
发表评论
看不清楚，换一张