最近在整理爬虫,采用scrapy,想部署一套分布式爬虫系统,graphite作为爬虫的监控,废话不多说直接上手
系统版本:CentOS release 6.5 (Final)
Python版本:Python 2.7.6
开始部署Graphite
1、系统依赖
引用
yum -y install libpng-devel
2、安装mysql、nginx(此处省略,可用源码或者yum安装,这里遇到一点问题,刚开始安装的是mysql5.6的版本,但是后面安装mysql-python,测试的时候 import MySQLdb出现问题,一直提示找不到libmysqlclient_r.so.16,进mysql lib目录一看,尼玛根本没有这个只有libmysqlclient_r.so.15和libmysqlclient_r.so.18,回忆以前安装mysql5.1时没有遇到这个问题,为了节省时间,只要对mysql降级)
3、安装Django(pip视为已安装,不做过多赘述,这里也需要说明下,这里耽误我不少时间,刚开始没有制定django版本,默认装了个1.8,麻痹啊,各种不兼容啊,还找不到问题,经过一番努力,偶然返现版本兼容问题,降级,安装指定版本1.5.8)
引用
pip install Django==1.5.8
pip install django-tagging
4、有用到mysql数据库安装mysql模块
引用
pip install mysql-python
5、开始搞Graphite(默认安装目录为/opt/graphite)
引用
pip install carbon
pip install whisper
pip install graphite-web
6、cairo和pycairo(这里直接用yum,版本为1.8.X,也可以使用源码安装)
7、配置carbon(这里直接采用默认配置)
引用
cd /opt/graphite/conf
cp carbon.conf.example carbon.conf
cp storage-schemas.conf.example storage-schemas.conf
8、修改Django的数据库配置(配置文件位置/opt/graphite/webapp/graphite/settings.py)
引用
#Initialize deprecated database settings
DATABASE_ENGINE = ''
DATABASE_NAME = ''
DATABASE_USER = ''
DATABASE_PASSWORD = ''
DATABASE_HOST = ''
DATABASE_PORT = ''
DATABASES = {
'default': {
'NAME': 'name',
'ENGINE': 'django.db.backends.mysql',
'USER': 'user',
'PASSWORD': 'password',
'HOST': '192.168.2.244',
'PORT': '3306'
}
}
9、设置完成数据库,需要进行数据同步
引用
cd /opt/graphite/webapp/graphite
python manage.py syncdb
10、安装Twisted(注意版本)
引用
pip uninstall Twisted
pip install "Twisted<12.0"
11、启动carbon-cache服务
引用
cd /opt/graphite
bin/carbon-cache.py start
12、OK基础完成,接下来配置WEB(Nginx+uWSGI模式)
12.1、需要先安装uwsgi
引用
pip install uwsgi
12.2、配置、启动uwsgi服务
引用
cd /opt/graphite/conf
cp graphite.wsgi.example wsgi.py
cd /opt/graphite/
touch uwsgi.xml
vim uwsgi.xml
<uwsgi>
<socket>127.0.0.1:8630</socket>
<chdir>/opt/graphite/conf</chdir>
<module>wsgi</module>
<master>True</master>
<processes>4</processes>
<pidfile>/var/run/uwsgi-graphite.pid</pidfile>
<vacuum>True</vacuum>
<max-requests>5000</max-requests>
<daemonize>/var/log/uwsgi-graphite.log</daemonize>
<stats>127.0.0.1:9192</stats>
<protocol>http</protocol>
</uwsgi>
12.3、启动uwsgi
uwsgi /opt/graphite/uwsgi.xml
12.4/nginx配置
引用
server {
listen 80;
server_name localhost;
proxy_buffer_size 64k;
proxy_buffers 32 32k;
proxy_busy_buffers_size 128k;
location / {
include uwsgi_params;
proxy_pass http://127.0.0.1:8630;
}
location /static/admin/ {
alias /usr/local/lib/python2.7/site-packages/django/contrib/admin/static/admin/;
}
}
12.5、配置完成,重新启动nginx,访问主机ip,就会出现graphite的页面
分享到:
相关推荐
基于centos6.5 的 supervisor离线部署包,解压后,执行shell脚本即可完成supervisor部署操作,由于supervisor依赖于python2.7 在本安装包内,后将系统python升级到python2.7 ,如果对此操作有异议的同学需谨慎。...
Centos6.5镜像文件 Linux。。
centos 6.5 telnet 客户端 安装文件 rpm包 centos 6.5 telnet 服务端 安装文件 rpm包 http://vault.centos.org/6.5/os/x86_64/Packages/ 从官网下载亲测可以用
CentOS6.5的64位镜像文件iso。CentOS是基于linux内核而扩展的操作系统。
基于centos6.5 已经编译好的hadoop-2.6.4 Hadoop2.6.4 重新编译 64 位本地库
安装RabbitMQ真的废了一番周折,版本问题,安装包问题数不胜数,终于找到一条可以成功安装的...esl-erlang_20.2.2-1~centos~6_amd64.rpm socat-1.7.1.3-1.el6.rf.x86_64.rpm rabbitmq-server-3.6.15-1.el6.noarch.rpm
Linux centos 6.5 官网版本Bt下载种子
经过一个月的奋斗,终于搞清楚了在linux上部署oracle集群的每个步骤及容易犯的错误,并对关键步骤进行标注。其中包括操作系统安装、RAID配置、存储设置等一直到RAC数据库安装配置完成。希望对你有所帮助!内有本人...
CentOS 6.5 的 软件源很多官方已经停止维护,该文件包内配置好的yum源是可以正常使用的。将原/etc/yum.repos.d/目录下原来的 .repo 备份, 然后把本文件包内的repo文件复制过去, yum clean all 后,再 yum ...
linux下centos6.5静默安装oracle 12c(图形化安装教程)
Centos6.5下安装Oracle 11g.docxCentos6.5下安装Oracle 11g.docx
CentOS6.5 一键安装 Mysql5.6 包含安装包
Centos 6.5 Oracle 11G R2 安装文档
centos 6.5配置mysql5.5
按照需要,将centos6.5离线安装oracle需要的依赖包进行整理,并发布
资源名称:CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南内容简介: CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南主要讲述的是CentOS 6.5 x64下安装19实体节点Hadoop 2.2.0集群配置指南;...
centos6.5 安装专门针对oracle 分区稍有不同,基于图像界面 不过里面也有介绍其他不同的分区
centos6.5rar oracle rpm依赖包centos6.5rar oracle rpm依赖包centos6.5rar oracle rpm依赖包centos6.5rar oracle rpm依赖包
CentOS 6.5系统镜像有32位和64位两个版本,生产服务器如果是大内存(4G以上内存) 建议安装64位版本CentOS-6.5-x86_64-bin-DVD1.iso 1、CentOS 6.5系统镜像有两个,安装系统只用到第一个镜,即CentOS-6.5-i386-bin-...
介绍VMware安装CentOS6.5,VMware:一款虚拟机,该教程在 VMware上介绍安装 Linux 的过程