在整个互联网中 成人网站有多大？

aiboboxx

上网之人，多少都会接触过成人网站。这是一个举世公认的事实。
6 i8 L: Z% n! N3 w/ @7 V6 \4 f不过这是一个难以洞察的领域，因为相关数据少之又少。我们知道成人网站都是那些在互联网上有着超高流量的网站。根据GoogleDoubleClick的AdPlanner服务(通过cookie跟踪网民)显示，全球Top500网站中，就有数十个成人网站。全球最大的色 情网站Xvideos每月网页浏览量(PageViews，PV)高达44亿，是CNN或ESPN新闻网站的3倍，是Reddit的2倍。LiveJasmin也不小。除了Google和Facebook等大站，其他网站在YouPorn、Tube8和PornHub面前都是小巫见大巫。
虽然网页浏览量是一个很好的起始点，但它们仅告诉我们某些色 情网站比某些非色 情网站要受欢迎。40亿的PV，听起来很多，但当我们把那些X站用户实际在做的事考虑进来，成人网站的大小和规模就有点明朗了。
+ X3 R* \1 W# w! I) Z规模

4 `; \' Y6 F) [. p9 L( g+ A& ?

! N; L$ e: M$ z2 |5 L: f" O                               
登录/注册后可看大图

) i& @) y, I3 P: H: q色 情网站和非色 情网站的主页区别是访客的平均停留时间。诸如Engadget等新闻网站的平均停留时间是36分钟，大约是是阅读12篇文章。然而色 情网站的停留时间，大约是在1520分钟。
  x2 l4 d; O! {" }9 M% S  V/ b1 ]大部分网站的内容主要是文本和图像，而成人大站则是视频。ExtremeTech首页完全加载大约是几兆数据，打开一篇文章，大约是500kb数据。访问色 情网站，假设是打开一个480200低分辨率的视频，每秒传输100kb数据。15分钟的话，那就大约是90MB数据了。
7 t2 L9 c. N- X- E" h3 tXvideos每月有3.5亿访问次数，乘以90MB，那就每月传输大约29PB数据，也就是每秒传送数据约50GB。做个对比，你家网络连接可能每秒传送两兆(2MB)，Xvideos是你家的25,000倍。
, o/ r- g$ u0 M, ^0 B: i& ?, B简而言之，色 情网站是在处理天文数字级别的数据。在原始带宽(Raw带宽)方面，能与之匹敌的网站，也就只有YouTube或Hulu，而YouPorn却又是Hulu的6倍。
2 ~5 Q+ S6 D, w基础设施
2 U  F" [# Z- A% B" g就支持视频所需的资源，数据存储器、CPU周期、I/O和带宽，远超过文本和图像所需要的资源。
当然了，虽然每个网站的情况又不一样了，但大部分成人站点都有50至200TB的成人资料。对一个网站来说，这是个大数目(Google、Facebook、Blogger和Youtube之流存储的数据比这还要多)，好在现在2TB的硬盘便宜。
+ G) q; c$ _1 E% Z) @' x3 }  B1 ^CPU周期和I/O会影响视频流和PV数量。首先，色 情网站要提供动态、可搜索的海量视频数据库，然后点播视频时，从硬盘读取文件，再网络上传输。如果你有过在局域网传送大量大文件的经历，你就会知道网络系统的压力有多大了。
5 N; p2 e" N+ C, Y( ~硬件设备情况，实际上我们几乎无法知晓，因为色 情网站也没公布过。虽然如此，但我们讨论的大型色 情网站会有四核服务器、千兆交换机、负载均衡器。在软件方面，大部分大型色 情网站都会使用超高吞吐量的数据库(比如Redis)来存储和提供视频，还有轻量级的HTTP服务器(比如Nginx)。
最后说带宽。还是以Xvideos为例(基于AdPlanner的数据估测)，大型色 情网站必须有足够的连通性(connectivity)来支撑每秒50GB(400Gbps)。这还只是平均传输速率。在高峰期间，Xvideos或许要1,000Gbps(1Tbps)，或更高。在伦敦和纽约直接的连通性也才15Tbps。
- Q2 n+ F0 o. i有很多方法来处理高流量：自己搞个数据中心，或者去大数据中心租赁几排架的服务器，或者使用诸如AmazonAWS和MicrosoftAzure之类的云服务。
. D+ R4 d0 \) B! k- b' r真实案例
YouPorn是全球第二大的色 情网站，足够提供研究数据。另外要说一下，DoubleClick的AdPlanner中的估测数据比实际数据要低很多的。
5 H4 {7 M  x( g; J2 F, y" tYouPorn有超过100TB的干货，每天网页浏览量超过1亿。总而言，这相当于每天传送950TB数据(大部分都是视频流)，每月大约传送29PB。Xvideos肯定不止28PB这个估测值了，它可能是每月3540TB。

) x7 c' |0 F' Y% Q# P$ f9 d

3 D; D! E6 T# V* l( i" t                               
登录/注册后可看大图

在高峰期，YouPorn每秒得响应4000个网页，相当于有每秒100GB或(800Gbps)的突发流量。这相当月每秒传送10 张双层DVD。
) }& H; L) |8 }  {8 I; a在软件方面，YouPorn的主数据库是Redis，用MySQL作为管理工具，用于管理和向Redis簇中添加数据。后端是Perl和MySQL，不过在2011年改成了PHP Redis。HTTP服务器是Nginx，同时用HAProxy和Varnish做负载均衡。
Redis服务器可以每秒处理30万请求，每小时记录下815GB数据，包括访客日志、行为数据等。据说Redis可以抗住2亿的日PV。
(译注：2012年2月份，YouPorn的技术人员EricPickup在Google群组宣告他们网站改用RedisDB后。扛住了每天1亿PV浏览量，每秒30万请求，已经坚持2周。Eric还将去加拿大一个技术大会分享经验。)
- K. n" S  G" y+ J2 y5 N2 v令人悲伤的是，YouPorn拒绝透露硬件设备信息。从YouPorn的CDN的IP地址来看，它应该没有使用云服务，应该托管在某地的大型数据中心。
互联网每天大约处理1/2EB数据，相当于每秒处理50Tb，YouPorn的800Gbps这个数字，几乎就占了互联网中每秒流量的2%。而全球有几十个和YouPorn规模相当的色 情网站。互联网流量中色 情内容占据了30%，这个说法也就不是不现实的哦。
(译注：1EB=1024PB=1024*1024TB=1024*1024*1024GB)
* d$ e- |6 c, @Theinternetreallyisforporn.
6 r4 o2 Q: R9 _1 p5 k$ Q. Z( A英文原文：extremetech，编译：伯乐在线
* V0 D8 D6 R# N+ q) w译文链接：http://blog.jobbole.com/12479/
! F3 x* M% x, @3 G! t