80082828的博客
80082828 · 共 19 篇文章
scrapy缺省配置
BOT_NAME = ‘scrapybot’ CLOSESPIDER_TIMEOUT = 0 CLOSESPIDER_PAGECOUNT = 0 CLOSESPIDER_ITEMCOUNT = 0 CLOSESPIDER_ERRORCOUNT = 0 COMMANDS_MODULE = ” CONCURRENT_ITEMS = 100 CONCURRENT_REQUESTS = 16 CONCURRENT_REQUESTS_PER_DOMAIN = 8 CONCURRENT_REQUESTS_PER_IP = 0 COOKIES_ENABLED = True COOKIES_DEBUG = …
2016-03-09 13:02 · 评论(0)
基于CentOS6.5,statsD和Graphite的部署过程
最近在整理爬虫,采用scrapy,想部署一套分布式爬虫系统,graphite作为爬虫的监控,废话不多说直接上手 系统版本:CentOS release 6.5 (Final) Python版本:Python 2.7.6 开始部署Graphite 1、系统依赖 yum -y install libpng-devel 2、安装mysql、nginx(此处省略,可用源码或者yum安装,这里遇到一点问题,刚开始安装的是mysql5.6的版本,但是后面安装mysql-python,测试的时候 import MySQLdb出现问题,一直提示找不到libmysqlclient_r.so.16,进mysql…
2015-05-06 18:52 · 数据挖掘 · linux install · linux、服务器 · 评论(0)
CentOS6.5添加163yum源
cd /etc/yum.repos.d mv CentOS-Base.repo CentOS-Base.repo.bk wget http://mirrors.163.com/.help/CentOS6-Base-163.repo yum makecache
2015-04-02 16:21 · linux、服务器 · 评论(0)
linux服务器优化
linux服务器优化 ①、/etc/sysctl.conf 文件 kernel.shmall = 4294967296 net.ipv4.tcp_fin_timeout = 30 net.ipv4.tcp_keepalive_time = 1800 net.ipv4.tcp_syncookies = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_timestamps=0 net.ipv4.ip_local_port_range = 1024 65000 ②、/etc/security/limits.c…
2015-01-26 10:57 · linux、服务器 · 评论(0)
Spring - 资源文件properties的配置(加载多个)
Spring简化了加载资源文件的配置,可以通过<context:property-placeholder去加载,这个元素的写法如下: <context:property-placeholder location="classpath:jdbc.properties"/> 如果想要配置多个properties文件 <context:property-placeholder location="classpath:jdbc.properties"/> <context:property-placeholder location="classpath:jdbc.properties"/> 这种方式…
2015-01-09 14:54 · spring · 评论(0)
yum 安装 redis
redis在官方源上是没有的,需要安装其他的源,其他源的地址为 http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm 安装步骤如下 wget http://mirrors.ustc.edu.cn/fedora/epel/6/x86_64/epel-release-6-8.noarch.rpm rpm -ivh epel-release-6-8.noarch.rpm yum install redis 这样就安装成功了 启动redis service redis start 后台启动redis n…
2014-12-28 12:57 · linux install · 评论(0)
CentOS Linux搭建独立SVN Server
1.首先 看看机器上安装了svn了没有 rpm -qa |grep svn 2.如果没有安装 执行 yum -y install subversion 3.安装好了之后 新建一个svn目录 mkdir /home/svn 4.新建一个版本仓库 svnadmin create /home/svn/project 红色部分是版本仓库名 在配置文件中会使用的 5.将你需要放在svn上的工程 放进project目录中 6.初始化一下你的版本仓库 svn import 需要放到svn上的文件夹/ file:///home/svn/project -m “版本说明” --username xx --pa…
2014-12-24 00:33 · linux install · 评论(0)
CentOS6.5使用yum命令方便快捷安装Nginx
1.为了追加 nginx 的 yum 仓库,需要创建一个文件 /etc/yum.repos.d/nginx.repo,并将下面的内容复制进去: name=nginx repo baseurl=http://nginx.org/packages/centos/$releasever/$basearch/ gpgcheck=0 enabled=1 2.编辑并保存/etc/yum.repos.d/nginx.repo文件后,在命令行下执行 yum list | grep nginx nginx.i386 1.4.7-1.el6.ngx @nginx nginx-debug.i386 1.4.7-1…
2014-12-22 11:15 · 问题收集 · 评论(0)
linux mysql
一、设置mysql远程访问 grant all on . to root@'%' identified by '密码'; flush privileges; 二、设计mysql开机启动 chkconfig mysqld on 三、查看开机启动项 chkconfig --list 字符集修改 default-character-set=utf8 default-character-set=utf8 default-character-set=utf8 增加普通用户后,不能登录,提示ERROR 1045 (28000): Access denied for user 'kbm'@'localho…
2014-12-13 16:27 · 问题收集 · 评论(0)
scrapy install
一、安装Python2.7.6 更新CentOS lib库文件 yum -y update 安装开发工具包 yum groupinstall -y development 安装扩展包 yum install -y gcc libffi-devel zlib-dev openssl-devel sqlite-devel bzip2-devel 下载Python2.7.11 wget https://www.python.org/ftp/python/2.7.11/Python-2.7.11.tar.xz 解压Python2.7.11 tar -xvf Python-2.7.11.tar.xz …
2014-11-21 22:31 · 数据挖掘 · 评论(0)
高并发访问httpclient抛出Too many open files的解决办法
代码种只用post.releaseConnection()关闭连接,经过再网上查找资料,说这种关闭并没有真正关闭连接,而是将该连接提交给 MultiThreadedHttpConnectionManager,等待复用。Close_wate需要延迟几秒钟才能关闭连接,而每个Socket连接都需要等待几秒钟,压力过大时,开启的Socket连接超过了系统所能承受的最大连接数(ulimit -u 10240),所以抛出Too many open files异常。 该异常的解决办法:1、增大系统所能承受的最大连接数;2、增加post.addRequestHeader( "Connection", "c…
2014-09-17 10:34 · 问题收集 · 评论(0)
IO中同步、异步与阻塞、非阻塞的区别
一、同步与异步 同步/异步, 它们是消息的通知机制 1. 概念解释 A. 同步 同步,就是在发出一个功能调用时,在没有得到结果之前,该调用就不返回。 按照这个定义,其实绝大多数函数都是同步调用(例如sin isdigit等)。 但是一般而言,我们在说同步、异步的时候,特指那些需要其他部件协作或者需要一定时间完成的任务。 最常见的例子就是 SendMessage。 该函数发送一个消息给某个窗口,在对方处理完消息之前,这个函数不返回。 当对方处理完毕以后,该函数才把消息处理函数所返回的值返回给调用者。 B. 异步 异步的概念和同步相对。 当一个异步过程调用发出后,调用者不会立刻得到结果。 实际处…
2014-09-16 17:43 · 理论概念 · 评论(0)
如何使用spring的autowire为servlet注入bean
在应用中一般普通的JavaPojo都是由Spring来管理的,所以使用autowire注解来进行注入不会产生问题,但是有两个东西是例外的,一个是 Filter,一个是Servlet,这两样东西都是由Servlet容器来维护管理的,所以如果想和其他的Bean一样使用Autowire来注入的 话,是需要做一些额外的功夫的。 对于Filter,Spring提供了DelegatingFilterProxy,所以本文主要讲述Servlet的解决。 1、比较直观但是不大优雅的做法是重写init()方法,在里面使用AutowireCapableBeanFactory来手工告诉Spring:我这个Servl…
2014-09-15 10:19 · spring · 评论(0)
JAVA 生成 指定范围 随机数
生成指定范围内的随机数 这个是最常用的技术之一。程序员希望通过随机数的方式来处理众多的业务逻辑,测试过程中也希望通过随机数的方式生成包含大量数字的测试用例。问题往往类似于: 如何随机生成 1~100 之间的随机数,取值包含边界值 1 和 100。 或者是: 如何随机生成随机的3位整数? 等等…… 以 Java 语言为例,我们观察其 Random 对象的 nextInt(int) 方法,发现这个方法将生成 0 ~ 参数之间随机取值的整数。例如(假设先有 Random rand = new Random();,下同): rand.nextInt(100); 这行代码将生成范围 0~100 之间的…
2014-08-29 10:49 · java工具类 · 评论(0)
Java程序员应该了解的10个面向对象设计原则
面向对象设计原则是OOPS(Object-Oriented Programming System,面向对象的程序设计系统)编程的核心,但大多数Java程序员追逐像 Singleton 、 Decorator 、 Observer 这样的设计模式,而不重视面向对象的分析和设计。甚至还有经验丰富的Java程序员没有听说过OOPS和 SOLID 设计原则,他们根本不知道设计原则的好处,也不知道如何依照这些原则来进行编程。 众所周知,Java编程最基本的原则就是要追求高内聚和低耦合的解决方案和代码模块设计。查看Apache和Sun的开放源代码能帮助你发现其他Java设计原则在这些代码中的实际运用。J…
2014-08-26 10:05 · java代码设计 · 评论(0)