分类目录归档:Aliyun

自动备份db数据到阿里云OSS

做运维的都知道,最怕就是数据丢失,其它故障什么都好说,数据没了,那可是要死人的,所以DBA这个岗位在公司都比较重视(可惜我不是),当然薪水也不错,一个合格的DBA要做的事很多,远不止只做数据备份恢复工作(数据备份恢复是最基本基本的了),像调优,数据库设计什么的也都需要参与,甚至在项目立项时就要介入了。

前面说了那么多关于DBA的事,就是简单跟大家铺垫下,告诉大家数据对公司或个人来讲是多么的重要,那既然重要,我们就要备份好它,一般做法都是数据库本机留一个备份,然后再异地备份一份,但是随着目前云成为大家选择的主流,数据备份方式也因此发生了改变,今天我们就讲下如何将数据库备份到阿里云的OSS上,你要问为什么选择OSS,因为OSS阿里承诺数据安全性是99.999999999%, 按阿里工程师的说法,放到OOS上的数据,永远不用担心丢失的问题,其实跟AWS的S3类似,如果要问S3是啥,好吧,给你条捷径,请参看我之前的文章,我有对亚马逊的S3详细介绍。

经过前两段介绍,大家对数据重要性都有了一个认识,我们废话不多说,直接进入正题,我先介绍下环境和准备工作:

1、阿里云的1台云主机,上面有要备份的数据库(我的是mysql),今天我们任务就是把数据库备份到OSS上。

2、登录阿里云控制台,点解最上面导航栏中accesskey选项,获取accessKeyId 和accessKeySecret。

3、准备好数据库备份脚本

4、下载阿里云OSS的SDK,https://docs.aliyun.com/#/pub/oss/sdk/python-sdk&preface

 

万事俱备,只欠行动了,go,go,go!!

第一步:将我们数据库备份到某目录下,注明时间:

运行备份脚本(注意在备份目录下,我的在/home/dbback/下)

查看目录是否生成备份文件,心细的兄弟可能发现我这个mysqldump没有指定用户名和密码,为啥我运行的时候费用输入密码呢?莫着急,马上为你揭晓答案,因为mysql5.6后(具体版本编号不记得了),如果你把密码写到脚本里,运行会有警告,告诉你不要把密码写到脚本里,会有危险,那我的小伙伴该怎么办呢,官方给了解决方案,期望你是配置到my.cnf文件中,所以,现在打开你的my.cnf,加入如下字段:

有了以上这两条,运行脚本时就不会在提示要输入密码了,马上测试下,看是否成功,如果没问题,我们进入下一步。

 

第二步:如何自动备份到oss中,开始前我们要做两件事,

1、登录阿里云控制台,点右上“管理控制台”,然后点左上“产品与服务”,在第二列中点击“对象存储OSS”,如果没开通就要开通,如果开通了直接点击右上的“新建bucket”,来创建一个bucket,记住buket的名字。(注:其实通过api也是可以直接创建bucket的,因为这个操作不多,所以我就用控制台来创建了,降低理解的难度。)

2、开始写上传脚本,因为要导入oss的sdk,所以要下安装下,比较简单,跟安装其他python包没啥区别,解压进入目录,然后运行python setup.py install 就安装完毕了,接下来看我们如何使用它,全部代码如下:

 

我们接下来分析下脚本内容,其中 脚本中注释的行都不用看,是我编写过程中测试用的,最开始我们设定了备份文件的目录和记录日志的时间,然后生成了一个备份目录所有文件的列表(列表其实不是最好的方式,我是用最简单的方式了,因为文件多了,列表会慢),然后定义了两个函数,get_time()函数是获取文件的创建时间戳,get_dist()函数是获取文件名和时间戳的字典,主函数部分比较难理解的根据字典value排序获得文件名了,d.iteritems()获得字典中的每个key,value对,key指定了一个函数,operator.itemgetter(1)表示用value来排序(因为就两个元素,key 是0,value就是1了),就是时间戳,排序完后返回key,最后的[0]做了这个工作,脚本其它部分的内容我就不多说了,都是很常见的用法,没什么难于理解的,好,脚本就介绍到这里,接下来进入我们最后一步。

第三步:将脚本写入crontab中,具体什么时候执行,就根据大家各自业务不同来设置了,没什么特别的。

 

好了,到这里就全部结束了,欢迎大家交流。

 

 

 

 

 

阿里云ecs上用nginx+uwsgi搭建flask运行环境

之所以写这篇文章,是因为搭建python环境相对复杂一些,还有就是网上很多资料写的都不算完整,按照文档归最后都不成功,所以为避免后续兄弟们再重蹈覆辙,我提前扫了下雷,给大家分享下,避免再遇到问题,另外这个是简易版环境,算是开发版环境,如果要正式用,请深入学习下nginx 和uwsgi官网文档,其实搭建flask环境可以采用很多不同方法,例如apache 的mod_wsgi,不过网上说uwsgi是效率最高的一个,所以后续环境就打算用它了,准备开始,我是用的阿里云ECS机器,如果你是在自己服务器上,请作为参考,基本步骤:

  1. 安装nginx
  2. 安装uwsgi
  3. 配置nginx 文件
  4. 配置 uwsgi文件
  5. 测试

1、安装nginx,我直接yum安装的

yum install nginx

安装完的版本是nginx-1.0.15-12

2、安装uwsgi

3、修改nginx 配置文件

4、配置uwsgi文件

我的项目文件目录是在/home/flaskc下,所以先cd 到这个目录,然后vi myapp_config.xml (这个文件是新增,配置如下:

简单解释,flaskc是你写的模块程序名称,也就是你在当前目录下由一个 flaskc.py的文件,127.0.0.1:5000是与nginx通信用的。

5、启动测试

启动nginx

/etc/init.d/nginx start

启动uwsgi

uwsgi -x myapp_config.xml -d uwsgi.log

-x 是指定xml配置文件,-d是后台运行,日志写入uwsgi.log文件

6、访问http://domain or ip:8080将看到可以正常访问,我因为在服务器上已经有80了,所以我用的8080,大家不必这样做,直接用80就可以。

7、关闭uwsgi,killall -9 uwsgi

 

 

阿里云服务器开启swap分区

 

购买的阿里云服务器默认是不开启swap 分区的,如果你买的云服务器内存较小,可以手动开启,以下是开启方法:

1、首先检查当前swap分区情况,一般显示都是0

命令:swapon -s

2、dd命令生成swap分区文件

dd if=/dev/zero of=/var/swapfile bs=1024 count=2097152

3、进入/var目录,创建 swap分区
cd /var/
mkswap swapfile

 

这步一般会有如下提示,不需要管,是一个提醒。

mkswap: swapfile: warning: don’t erase bootbits sectors         on whole disk. Use -f to force…..
swapon /var/swapfile
4、开启swap分区
/sbin/swapon -s

5、重新检查当前swap情况,你会看到已经有了

free -m

完成。