2006年03月30日

C#网络编程——实现Web代理功能


  代理服务程序是一种广泛使用的网络应用程序。代理程序的种类非常多,根据协议不同可以分成HTTP代理服务程序、FTP代理服务程序等,而运行代理服务程序的服务器也就相应称为HTTP代理服务器和FTP代理服务器。本文将介绍的Web代理服务程序代理的是HTTP协议。
  一、网络代理程序的优点
  代理服务所起的是一个桥的作用,它是网络信息的中转站。在网络中应用代理服务一般是基于以下几个原因:
  (1)充分利用IP地址资源。在局域网中,一般对外的IP地址都是非常有限的,为了保证局域网内部的主机都能够访问互联网资源,通过网络代理就可以实现。
  (2)能够保证网络安全。网络代理可以充当内部网和互联网之间的防火墙,通过过滤IP地址,限定某些IP地址对外部资源的访问。
  (3)能够有效地隐藏自己的IP地址和主机名。由于所有对外网的请求都是通过代理服务器实现的,所以目的主机只能知道代理服务器的IP地址。
  (4)提高网络速度。通常代理服务器都设有一个较大的硬盘缓冲区,它存储界数据,当你再访问相同的数据时,则可以直接从缓冲区中取出信息,从而提高访问速度。
  二、网络代理的类型及实现原理
  网络代理服务根据工作层次,一般可分为应用层代理、传输层代理和SOCKS代理。应用层代理是工作在TCP/IP参考模型的应用层之上,它支持对应用层协议(如HTTP、FTP)的代理。它提供的控制最多,但是不灵活,必须要有相应的协议支持。如果协议不支持代理(如SMTP和POP),那就只能在应用层以下代理,也即传输层代理。传输层代理直接与TCP层交互,更加灵活。要求代理服务器具有部分真正服务器的功能:监听特定TCP或UDP端口,接收客户端的请求同时向客户端发出相应的响应。另一种代理需要改变客户端的IP栈,即SOCKS代理。它是可用的最强大、最灵活的代理标准协议。SOCK V4允许代理服务器内部的客户端完全地连接到外部的服务器,SOCK V5增加了对客户端的授权和认证,因此它是一种安全性较高的代理。本节后面介绍的代理是一种应用层上面的代理,所代理的协议是HTTP,也就是经常见到的Web代理。
  正如上面所说,网络代理就是一个连接客户端(需要代理的计算机)和服务器端(提供访问资源的服务器)的桥。要实现这种桥的功能,网络代理就必须满足下列条件,其实也是代理服务的运行的流程:
  (1)接收并解析客户端的请求。
  (2)创建到服务器的新连接,并转发客户端的请求信息。
  (3)接收服务器反馈的信息。
  (4)解释服务器的响应并将该响应传回给客户端。
  图1是网络代理服务的一个典型模型图:

  
  网络代理虽然有很多优点,但由于使用代理后,自己对网络的所有请求都是通过代理服务器这个中间人来实现的,所以有可能碰上存有恶意的人监听你的输入的内容。同样,如果选择的代理服务器的带宽比较小,使用代理还会降低网速。
总而言之,使用代理有利有弊,使用者要根据自身的情况来决定。但无论如何,选择一个好的代理服务器是非常重要的。
  三、C#实现Web代理服务程序
  经过了上面的介绍,我想大家对代理服务应该有了一个基本的认识,下面就让我们通过一个实例来深入体会一下如何用C#实现Web代理服务。Web代理服务的功能顺序是这样的:
  (1)侦听端口,等待客户端浏览器发送来的Web请求信息。
  (2)接收到客户端Web请求信息后,解析出目标Web服务器的地址,并创建一个Socket实例,并以此实例连接Web服务器上。
  (3)通过创建的Socket传送客户端的Web请求数据包到Web服务器的80端口。
  (4)接收Web服务器返回的页面数据。
  (5)把接收来的数据传送到客户端,从而实现Web代理。
  客户端对某个Web地址的浏览,可能要传送很多的Web请求信息(比如网页中的图像、Flash等),为了更快更准确地处理这些信息,Web代理服务程序通常采用多线程来处理每一个Web请求。细心的读者可能会发现,处理每一个客户端的Web请求信息,代理服务器软件都要使用二个Socket,一个是用来接收/传送客户机的信息,一个是和Web服务器进行交流。为了区分这二个Socket,我们把和服务器对话的称为“服务Socket”,和客户端机器对话的称为“客户Socket”。
  下面就开始Web代理服务程序的编写工作。这个实例包含三个部分内容:
  1.创建一个Web代理类。
  2.Web代理服务的类的实例化。
  3.如何通过这个Web代理类的实例实现Web代理服务。
  (一)创建一个Web代理类
  具体操作步骤如下:
  1.启动Visual Studio.Net,依次选择“文件”、“新建”、“项目”菜单后,在弹出“新建项目”对话框中将“项目类型”设置为“Visual C#项目”,将“模板”设置为“Windows应用程序”,在“名称”文本框中输入“WebProxy”,在“位置”文本框中输入“E:\VS.NET项目”,然后单击“确定”按钮,这样项目便建立好了。
  2.依次选择菜单“项目”、“添加类”,将弹出“添加新项”对话框。
  3.将“模板”设置为“类”。
  4.在“名称”文本框中输入“Proxy”,单击“打开”按钮,具体如图2所示:
  
  5.在“解决方案资源管理器”窗口中,双击Proxy.cs文件,进入Proxy.cs文件的编辑界
  6.在Proxy.cs源文件的开头,添加下列代码,下列代码是导入Proxy.cs中要使用到的命名空间:
  using System;
  using System.Net;
  using System.Net.Sockets;
  using System.Text;
  using System.IO;
  7.用下列构造函数替代默认的构造函数。下面的代码是在Proxy类中创建一个构造函数。Proxy类只有一个构造函数,并且这个构造函数只有一个参数,这个参数是Socket对象,它主要用来和客户端进行数据交换,是一个“客户Socket”:
  public Proxy(Socket socket)
  {
  //
  // TODO: 在此处添加构造函数逻辑
  //
  this.clientSocket = socket ;
  }



  8.在定义Proxy类代码区中加入下列代码,下列代码是定义Proxy类中的使用的一些变量,这些变量主要是在后面的定义Run方法中使用。
  Socket clientSocket;
  Byte[] read = new byte[1024];
  //定义一个空间,存储来自客户端请求数据包
  Byte [] Buffer = null;
  Encoding ASCII = Encoding.ASCII;
  //设定编码
  Byte[] RecvBytes = new Byte[4096];
  //定义一个空间,存储Web服务器返回的数据
  9.创建Proxy类中的Run方法。Run方法是Proxy类中唯一的方法。其功能是从客户端接收HTTP请求,并传送到Web服务器,然后从Web服务器接收反馈来的数据,并传送到客户端。为了实现这二个不同方面的数据传送,Run方法中是通过两个Socket实例来实现的。在编写Run方法的时候,要注意下面两点:
  (1)由于HTTP建立于TCP协议之上,所以创建的Socket实例应该使用TCP协议。下面代码是创建可以传送HTTP请求命令到Web服务器和接收来自Web服务器反馈来信息的Socket实例:
  Socket IPsocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
  (2)另外一个Socket是在代理服务程序侦听端口号,接收连接请求时候得到的,所以应该以此Socket为参数,利用Proxy类中的构造函数来创建一个Proxy实例。此Socket实现从客户端接收HTTP请求信息,并传送数据到客户端。
  Socket创建和使用是实现Web代理软件的关键。在构造函数代码后面,输入下列代码:
  public void Run()
  {
  string clientmessage = " " ;
  //存放来自客户端的HTTP请求字符串
  string URL = " " ;
  //存放解析出地址请求信息
  int bytes = ReadMessage(read, ref clientSocket, ref clientmessage);
  if (bytes == 0)
  {
  return ;
  }
  int index1 = clientmessage.IndexOf(‘ ‘);
  int index2 = clientmessage.IndexOf(‘ ‘, index1 + 1);
  if ((index1 == -1) || (index2 == -1))
  {
  throw new IOException();
  }
  string part1 = clientmessage.Substring(index1 + 1, index2 – index1);
  int index3 = part1.IndexOf(‘/’, index1 + 8);
  int index4 = part1.IndexOf(‘ ‘, index1 + 8);
  int index5 = index4 – index3;
  URL = part1.Substring(index1 + 4, (part1.Length – index5) – 8);
  try
  {
  IPHostEntry IPHost = Dns.Resolve(URL);
  Console.WriteLine("远程主机名: " + IPHost.HostName);
  string [] aliases = IPHost.Aliases;
  IPAddress[] address = IPHost.AddressList;
  Console.WriteLine("Web服务器IP地址:" + address[0]);
  //解析出要访问的服务器地址
  IPEndPoint ipEndpoint = new IPEndPoint(address[0], 80);
  Socket IPsocket = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
  //创建连接Web服务器端的Socket对象
  IPsocket.Connect(ipEndpoint);
  //Socket连Web接服务器
  if (IPsocket.Connected)
  Console.WriteLine("Socket 正确连接!");
  string GET = clientmessage;
  Byte[] ByteGet = ASCII.GetBytes(GET);
  IPsocket.Send(ByteGet, ByteGet.Length, 0);
  //代理访问软件对服务器端传送HTTP请求命令
  Int32 rBytes = IPsocket.Receive(RecvBytes, RecvBytes.Length, 0);
  //代理访问软件接收来自Web服务器端的反馈信息
  Console.WriteLine("接收字节数:" + rBytes.ToString());
  String strRetPage = null;
  strRetPage = strRetPage + ASCII.GetString(RecvBytes, 0, rBytes);
  while (rBytes > 0)
  {
  rBytes = IPsocket.Receive(RecvBytes, RecvBytes.Length, 0);
  strRetPage = strRetPage + ASCII.GetString(RecvBytes, 0, rBytes);
  }
  IPsocket.Shutdown(SocketShutdown.Both);
  IPsocket.Close();
  SendMessage(clientSocket, strRetPage);
  //代理服务软件往客户端传送接收到的信息
  }
  catch (Exception exc2)
  {
  Console.WriteLine(exc2.ToString());
  }
  }
  
  //接收客户端的HTTP请求数据
  private int ReadMessage(byte [] ByteArray, ref Socket s, ref String clientmessage)
  {
  int bytes = s.Receive(ByteArray, 1024, 0);
  string messagefromclient = Encoding.ASCII.GetString(ByteArray);
  clientmessage = (String)messagefromclient;
  return bytes;
  }
  
  //传送从Web服务器反馈的数据到客户端
  private void SendMessage(Socket s, string message)
  {
  Buffer = new Byte[message.Length + 1];
  int length = ASCII.GetBytes(message, 0, message.Length, Buffer, 0);
  Console.WriteLine("传送字节数:" + length.ToString());
  s.Send(Buffer, length, 0);
  }
  至此,Proxy类的定义过程就完成了。

2006年03月24日

静态js怎样才能用文本浏览器浏览.?
动网的论坛帖子调用是动态js.
地址类似于http://bbs.1111.com/Dv_news.asp?id=1…..
http://bbs.1111.com/Dv_news.asp?id=2…..
http://bbs.1111.com/Dv_news.asp?id=3…..
已经用定时asp做成
http://bbs.1111.com/jsnews/js1.js
http://bbs.1111.com/jsnews/js2.js
http://bbs.1111.com/jsnews/js3.js
供首页调用
<script language="javascript" src="http://bbs.1111.com/jsnews/js1.js"></script>
<script language="javascript" src="http://bbs.1111.com/jsnews/js2.js"></script>
<script language="javascript" src="http://bbs.1111.com/jsnews/js3.js"></script>

问题来了.网站运行一段时间后 发现搜索引擎收录太少.原来是js调用没有被收录.
现在想继续用asp来读取首页与所有js(有19个js和1个html)整合并输出成一个整的html
想问怎么做.

例如
index.html内容如下
:
<html>
<head>
</head>
<body>
<font color=red>
最新新闻
<script language="javascript" src="
http://bbs.1111.com/jsnews/js1.js"></script>
</font>
热门新闻
</body></html>

js1.js内容如下
:
document.write(‘
<LI><a title=520hacker发表:CKO的腐败:十大“奢侈”私人助理 href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23518&replyID=23518" target="_blank">CKO的腐败:十大“奢侈”私人助理</a>
<LI><a title=520hacker发表:透视个人创业者六大死穴 href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23517&replyID=23517" target="_blank">透视个人创业者六大死穴</a>
<LI><a title=520hacker发表:“蜂王”陈天桥:盛大整风运动 href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23516&replyID=23516" target="_blank">“蜂王”陈天桥:盛大整风运动</a>
<LI><a title=520hacker发表:05年我国网上成交额5531亿 淘宝占七.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23468&replyID=23468" target="_blank">05年我国网上成交额5531亿 淘宝占七..</a>
<LI><a title=520hacker发表:不能简单类比 学者批判任志强“富人论”太.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23466&replyID=23466" target="_blank">不能简单类比 学者批判任志强“富人论”太..</a>
<LI><a title=520hacker发表:CNNIC叫停代理商域名拍卖 被拍域名至.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23455&replyID=23455" target="_blank">CNNIC叫停代理商域名拍卖 被拍域名至..</a>
<LI><a title=520hacker发表:传英迈2.6亿美元收购神州数码60%分销.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23454&replyID=23454" target="_blank">传英迈2.6亿美元收购神州数码60%分销..</a>
</LI>’);

要求输出类似于 test.html
内容如下:
<html>
<head>
</head>
<body>
<font color=red>
最新新闻
<LI><a title=520hacker发表:CKO的腐败:十大“奢侈”私人助理 href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23518&replyID=23518" target="_blank">CKO的腐败:十大“奢侈”私人助理</a>
<LI><a title=520hacker发表:透视个人创业者六大死穴 href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23517&replyID=23517" target="_blank">透视个人创业者六大死穴</a>
<LI><a title=520hacker发表:“蜂王”陈天桥:盛大整风运动 href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23516&replyID=23516" target="_blank">“蜂王”陈天桥:盛大整风运动</a>
<LI><a title=520hacker发表:05年我国网上成交额5531亿 淘宝占七.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23468&replyID=23468" target="_blank">05年我国网上成交额5531亿 淘宝占七..</a>
<LI><a title=520hacker发表:不能简单类比 学者批判任志强“富人论”太.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23466&replyID=23466" target="_blank">不能简单类比 学者批判任志强“富人论”太..</a>
<LI><a title=520hacker发表:CNNIC叫停代理商域名拍卖 被拍域名至.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23455&replyID=23455" target="_blank">CNNIC叫停代理商域名拍卖 被拍域名至..</a>
<LI><a title=520hacker发表:传英迈2.6亿美元收购神州数码60%分销.. href="
http://bbs.11111.com/dispbbs.asp?boardid=43&ID=23454&replyID=23454" target="_blank">传英迈2.6亿美元收购神州数码60%分销..</a>
</LI>
</font>
热门新闻
</body></html>
这样就把所有内容用一个页面显示出来了.方便搜索引擎……..

整合输出没有做好..asp没有学得好.在研究ing

估计想好后会把所有代码整合起来提供给大家.

2006年03月13日

孕妇张女士碰到了这样的怪事,孩子还没出生,可做胎毛笔的厂家就已经找上门来。12日,针对这种现象,中国民主建国会递交提案呼吁,贩卖个人信息应处以刑事处罚。
“我国竟然出现了明码标价售卖个人信息的网站,一家企业准备在网上搜索用户的邮箱,投放广告”。民建提案说,一些企业利用非正常渠道获得的个人信息兜售产品,严重扰乱他人日常生活。2005年我国甚至出现了未经用户允许即明码标价售卖个人信息的网站(搜人网),只要输入想要搜索的人的名字,就立即可以查到这个人的电话号码、手机号码、家庭及工作地址等联系方式,甚至包括婚姻状况、犯罪记录、银行借贷记录、个人财产记录等个人信息。此类现象无疑滋长了不良商业道德,严重破坏商业秩序。
  针对我国个人信息保护方面的薄弱现象,全国政协民建界别的委员提交了《制定个人信息数据保护法》的提案,要求通过制定法规,对公民个人信息数据的采集、使用、营销等作出明确限制,处罚触犯法规的行为。

  民建中央的提案建议,数据搜集使用方有义务采取安全措施,以防止个人信息数据未经许可而被扩散、更改、透露或销毁;在没有经过数据主体同意的前提下,禁止以任何形式买卖或转让个人信息数据。立法后,违法持有个人信息数据库的所有者、贩卖者应给予刑事处罚。

————中国终于开始尊重个人权利鸟。。
天知道什么时候可以通过。什么时候执行。

2006年03月07日

昨天晚上和一个熟人.(电信内部算是高管,)聊天

问我了个很烦闷的问题:

你觉得如果电信按流量收费你会继续支持(交钱给)电信吗?

怎样才能让你使用流量计费呢.

以下是我的回答:

我支持啊.虽然在博客里面对于恶意用户的称呼很烦闷,但是依然支持按流量收费.

只要做到以下几点.

1你可以从现在开始不办理包月,包年服务,但对已经签订了合同,缴了费的用户继续保持原有服务.

2新增加设备用以满足新用户,但是增加设备的价格不应该由新用户承担.新用户按流量收费的用户不做任何限制速度的行为.只有速度快到一定程度.就能吸引更多的用户转移到新用户(流量计费)群体中来.

3可以酌情设立最底消费,但必须每月不得超过20元(长沙地区我觉得这个价格不错.)包一定的流量,比如10g

然后超出的按照套餐来扣费,比如

套餐1  :

50g: 100元

套餐2

100g:200元

最高的可以收到300.

只要速度比目前的速度快很多.相信有一批人也愿意放弃使用bt来使用流量计费的.(大规模的游戏玩家,中老年用户等.)

或者包月也可以进行.组个bt专网或许也不错….

一天,一只兔子在山洞前写论文。
一只狼过来,问兔子:‘你在写什么?” 
答:“论文”
狼问:“你的论文的主题是什么?” 
答:“《论兔子如何吃掉狼》”。
狼听了哈哈大笑。
兔子说,我写的论文大部分稿子在洞里,我把道理写的很清楚。
狼想看看兔子的论文是怎么写的。于是兔子把狼领进山洞。
过了一会,兔子独自走出山洞。

兔子继续在山洞前写它的论文。
一只狐狸过来,问:“你在写什么?”
答:“我在写论文”。
“论文的主题是什么?” 
答:“论兔子如何吃掉狐狸”。 
向来狡猾的狐狸也笑了。说:“这怎么可能呢”
兔子说:“我写的大部分稿子还在洞里,我把道理写的很清楚。” 【转自环球纵横 www.globbs.com】
狐狸想去看看兔子的论文是怎么写的,于是兔子把狐狸领进山洞。
过了一会儿, 兔子独自一个走出山洞。

最后,在山洞里一只狮子在几堆白骨之间,满意地一边剔着牙,
一边阅读兔子交给它的论文的提要:“一个动物,能力大小并不重要,关键看你的导师是谁。

         一块淳朴而绝望的踏板。
  只在人的足尖袅袅掠过时候显得内心不安,火热,直至全身发烫,振动不已,忐忑不已,一脸的不安定。若踏板有血有肉,必然七窍血液横飞,粉身碎骨,面目泥泞,脓汁劲射。
  这样的身撕力劫足以将自己完全击毁,彻底地支离破碎。而,早登极乐,坐享天福。
  踏板耗其一生只为积德行善,助人一臂之力,情愿做你的风帆,做你的缰绳。让人行得更高更远。踏板的精神品德尤其可贵。远胜人类。
  曾看体操比赛完,踏板被务工人员狠狠摔在一旁,毫无心疼,或者怕其损坏之意。显得多余,和无用,而且还无处安置。真是一块烂木头。
  踏板就是谈情说爱里的受爱者,亦是沉浸不清者,在不知道情人下一个目标之前,永远处于奉献地位。直至老化,没有了弹性。情人念其有不少岁月,故不舍得抛弃,放置储物室,安享晚年。稍微遇到心恨的,直接劈了,当了木材,或者变卖。
  踏板如今变得聪明,在商业社会里,踏板深知世事道理,决定与旁人互作要挟,互作踏板。以保一息之地,妄图永驻青春。