以下仅为以往工作学习中一些小小的总结,如有不完整的地方还请各位大姥多多提出意见或建议
一.实现web反向代理服务工具
1.Squid(端口号:3128),很古老的反向代理软件,拥有传统代理、身份验证、流量管理等高级功能,但是配置太复杂。它算是目前互联网应用得最多的反向缓存代理服务器,工作于各大古老的cdn上。
squid的优势在于完整的庞大的cache技术资料,和很多的应用生产环境(这应该与squid早出来有关)。
2.Varnish(监听:6081,管理端口号:6082),是新兴的一个软件,设计简单,更符合目前互联网的应用,很多公司都采用了varnish这个软件,比如微博的openapi http://open.t.sina.com.cn 。Varnish是基于内存缓存,重启后数据将消失。但是作为一个只支持内存的缓存系统(有可以持久化的外围手段),使用的场景是有限的。目前使用varnish的,都是一些小站,或者说热点很集中,缓存总量不大的业务场景。在前几年,我了解到新浪微博有在用它。
varnish和squid是专业的cache服务,而apache,nginx这些都是第三方模块完成。 要做cache服务的话,我们肯定是要选择专业的cache服务,优先选择squid和varnish。
varnish 本身的技术上优势要高于squid,它采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。 varnish是不能cache到本地硬盘上的。
还有强大的通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存
3.nginx (端口号:80),nginx的反向代理缓存是通过一个模块实proxy_cache来实现的,目前这个模块还在完善中,但是很多公司已经开始使用了。
nginx是用第三方模块ncache做的缓冲,其性能基本达到varnish,但在架构中nginx一般作为反向(静态文件现在用 nginx的很多,并发能支持到2万+)。在静态架构中,如果前端直接面对的是cdn活着前端了4层负载的话,完全用nginx的cache就够了。
ATS
二.实现session会话保持工具
tomcat实现:
1) ip_hash
2) sticky_cookie_insert 浏览器保持cookie
3) memcached 可用msm实现memcached高可用性
4) redis
PHP实现:
1)Session id
用户Session的唯一标识(随机生成,具有唯一性,随机性)
2)Session data
保存用户状态信息(用户数据)
3)Session file
Session的存储方式,文件存储方式以”sess_”前缀+”Session_id”后缀的方式存储
格式如下:
sess_d3eom13a9r9p5i5nj923voqaf7
4)Session lifetime
Session生存时间(从Session的产生到生命周期的结束)
三.共享存储
1.DAS:(Direct attached storage)直接附加存储
说明:设备直接连接到主机总线上的,距离有限,而且还要重新挂载,之间有数据传输有延时
RAID 阵列
SCSI 阵列
2.NAS:(network attached storage)网络附加存储
说明:文件级别的共享
NFS
FTP
CIFS
Hadoop 分布式文件系统,Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
3.SAN:(storage area network)存储区域网络
说明:块级别的,模拟的scsi协议
FC光网络(交换机的光接口超贵,一个差不多2万,如果使用这个,代价太高)
IPSAN(iscsi)存取快,块级别,廉价
四.实现负载均衡工具
LVS:使用集群技术和Linux操作系统实现一个高性能、高可用的服务器,它具有很好的可伸缩性(Scalability)、可靠性(Reliability)和可管理性(Manageability),感谢章文嵩博士为我们提供如此强大实用的开源软件。
LVS的特点是:
1、抗负载能力强、是工作在网络4层之上仅作分发之用,没有流量的产生,这个特点也决定了它在负载均衡软件里的性能最强的;
2、配置性比较低,这是一个缺点也是一个优点,因为没有可太多配置的东西,所以并不需要太多接触,大大减少了人为出错的几率;
3、工作稳定,自身有完整的双机热备方案;
4、无流量,保证了均衡器IO的性能不会收到大流量的影响;
5、应用范围比较广,可以对所有应用做负载均衡;
6、软件本身不支持正则处理,不能做动静分离。
Nginx的特点是:
1、工作在网络的7层之上,可以针对http应用做一些分流的策略;
2、Nginx对网络的依赖非常小;
3、Nginx安装和配置比较简单,测试起来比较方便;
4、可以承担高的负载压力且稳定,一般能支撑超过几万次的并发量;
5、Nginx可以通过端口检测到服务器内部的故障,比如根据服务器处理网页返回的状态码、超时等等;
6、Nginx仅能支持http和Email;
HAProxy的特点是:
1、HAProxy是支持虚拟主机的;
2、能够补充Nginx的一些缺点比如Session的保持,Cookie的引导等工作;
3、支持url检测后端的服务器出问题的检测会有很好的帮助;
4、它跟LVS一样,本身仅仅就只是一款负载均衡软件;
5、HAProxy可以对Mysql读进行负载均衡,对后端的MySQL节点进行检测和负载均衡,不过在后端的MySQL slaves数量超过10台时性能不如LVS;
6、HAProxy的算法多;
五.实现高可用工具
corosync+pacemaker
keepalived+lvs
六.实现mysql高可用性
Keepalived 适用于小型环境,双主mysql
MMM (Master-Master replication manager for Mysql) 适用于大型环境,多主mysql
MHA (Master High Availability)最少有三台数据库服务器,一主二从,即一台充当master,一台充当备用master,另外一台充当从库
七.实现MySQL主从复制与读写分离工具
主从复制:
1.在主服务器上开启binlog日志,设置server_id,mysql的UUID号不能相同
2.从服务器上binlog日志不是必要开启的,但server_id必需不同
3.主服务器上为从服务器分配一个账号,就像一把钥匙,从服务器拿着这个钥匙,才能到主服务器上来共享主服务器的日志文件
4.查看主服务器BIN日志的信息
5.先在从服务器配置完成,启动从服务器, start slave;
6.show slave status;
读写分离的三种方式:
1 程序修改mysql操作类
可以参考PHP实现的Mysql读写分离,阿权开始的本项目,以php程序解决此需求。
优点:直接和数据库通信,简单快捷的读写分离和随机的方式实现的负载均衡,权限独立分配
缺点:自己维护更新,增减服务器在代码处理
2 amoeba (变形虫)由陈思儒开发,曾就职与阿里巴巴,该程序由java语言进行开发,阿里巴巴将其应用于生成环境,它不支持事物和存储过程
参考官网:http://amoeba.meidusa.com/
优点:直接实现读写分离和负载均衡,不用修改代码,有很灵活的数据解决方案
缺点:自己分配账户,和后端数据库权限管理独立,权限处理不够灵活
3 mysql-proxy 如:atlas mysqlnd_ms
参考 mysql-proxy。
优点:直接实现读写分离和负载均衡,不用修改代码,master和slave用一样的帐号
缺点:字符集问题,lua语言编程,还只是alpha版本,时间消耗有点高
注:
如果你不能安装软件来解决读写分离,那可以尝试阿权的项目解决思路。
如果你可以安装软件,那amoeba是不错的,mysql-proxy不太建议,目前只有alpha版本,效率还不太理想,amoeba目前在阿里巴巴是内部项目,正在生产环境使用的。
八.实现MySQL缓存工具
1.Redis
优点:
(1) 速度快,因为数据存在内存中,类似于HashMap,HashMap的优势就是查找和操作的时间复杂度都是O(1)
(2) 支持丰富数据类型,支持string,list,set,sorted set,hash
(3) 支持事务,操作都是原子性,所谓的原子性就是对数据的更改要么全部执行,要么全部不执行
(4) 丰富的特性:可用于缓存,消息,按key设置过期时间,过期后将会自动删除
2.memcache
Memcache与Redis的区别都有哪些?
1)、存储方式
Memecache把数据全部存在内存之中,断电后会挂掉,数据不能超过内存大小。
Redis有部份存在硬盘上,这样能保证数据的持久性。
2)、数据支持类型
Memcache对数据类型支持相对简单。
Redis有复杂的数据类型 Strings, Lists, Hashes, Sets 及 Ordered Sets 数据类型操作。
3)、使用底层模型不同
它们之间底层实现方式 以及与客户端之间通信的应用协议不一样。
Redis直接自己构建了VM 机制 ,因为一般的系统调用系统函数的话,会浪费一定的时间去移动和请求。
4),value大小
redis最大可以达到1GB,而memcache只有1MB
九.实现MySQL备份工具
(1)mysqldump备份工具
(2)xtrabackup: 支持在线热备份(备份时不影响数据读写),是商业备份工具InnoDB Hotbackup的一个很好的替代品,但只能备份InnoDB和XtraDB两种数据表,而不能备份MyISAM数据表
(3)innobackupex: 所以能同时备份处理innodb和myisam,但在处理myisam时需要加一个读锁
十.实现自动化运维工具
1.puppet 适合小型环境(几十台)
2.ansible 适合中型环境(几十上百台)
3.saltstack 适合大型环境(上千台)