错误1：Command “python setup.py egg_info” failed with error code 1 in /tmp/pip-install-u_NBeS/pycurl/
解决：
pip install –upgrade
pip install pycurl==7.43.0
错误2：运行时报错：
|
1 2 3 4 5 6 |
ImportError: pycurl: libcurl link-time ssl backend (openssl) is different from compile-time ssl backend (none/other)jiej 解决： pip uninstall pycurl export PYCURL_SSL_LIBRARY=nss easy_install pycurl |
[……]
接上篇的内容，这篇我们要解决第二个问题，就是如何将我们转换完成的json数据发送到es中去，上篇提到了要存储到es中，我们要使用kafka来做消息队列，实现发布和订阅消息流模式，因为涉及kafka内容，所以我们先说一下Kafka的一些基本知识，然后再看代码不然一是一头雾水。
kafka介绍：
1、什么是kafka?
|
1 2 3 4 5 6 7 8 |
Kafka是最初由Linkedin公司开发，是一个分布式、支 持分区的（partition）、多副本的（replica），基于 zookeeper协调的分布式消息系统，它的最大的特性就是可 以实时的处理大量数据以满足各种需求场景：比如基于 hadoop的批处理系统、低延迟的实时系统、storm/Spark 流式处理引擎，web/nginx日志、访问日志，消息服务等 等，用scala语言编写，Linkedin于2010年贡献给了Apache 基金会并成为顶级开源 项目。 |
2、kafka特性
|
1 2 3 4 5 6 7 8 |
- 高吞吐量、低延迟：kafka每秒可以处理几十万条消息， 它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 - 可扩展性：kafka集群支持热扩展 - 持久性、可靠性：消息被持久化到本地磁盘，并且支持 数据备份防止数据丢失 - 容错性：允许集群中节点失败（若副本数量为n,则允许n1个节点失败） - 高并发：支持数千个客户端同时读写 |
3、kafka解决了什么问题？
|
1 2 3 4 5 |
kafka能在系统或应用程序之间构建可靠的用于传输实时数据的管道， 是一种高吞吐量的分布式发布订阅消息系统， 将不同的数据通过不同的topic实现发布订阅， 生产者生成的数据发布到对应的topic中，订阅这个topic的消费者 都可以消费这个topic中的数据。 |
4、ka[……]
做运维的小伙伴应该都知道nginx日志的重要性，一般出现访问问题，我们可能第一时间要去看日志去分析问题，但除了协助我们排查问题外，如果对nginx日志进一步分析可以得到更有用的数据，例如可以监控某站点的http状态码、PV,UV情况，request_time和response_time等，如果辅助其它工具进一步分析可以预防一些安全问题，比如同一个IP的访问某页面超出了限制，我们可以设置策略发现后可以自动拒绝有危险的IP访问，这也是我们经常说的防刷功能，今天要跟大家分享的是如何将nginx日志存储到es中，存储的目的当时是为了更好的分析它，大家都知道，如果要存储到es中，数据必须是json格式的[……]
sudo在日常运维中我们经常使用的工具，可以给普通用户授予root用户权限执行某些特殊操作，但这里也有个问题，在设置完后，普通用户通过su -i 仍然可以切到root用户下，那如何防止呢，我们就从基本的先看看如何设置sudo用户：
新建文件webadminsudo 写入：
webadmin ALL=(ALL) NOPASSWD:ALL,!/usr/bin/passwd,!/bin/bash,!/bin/sh,!/bin/tcsh,!/bin/su
看我配置文件内容，sudo -i 默认是调用bash命令切换到root的shell下获取root权限的所有只要禁用bash就可以[……]
这篇介绍mongodb和Python使用， 从基本的安装说起，先熟练mongodb的基本操作，然后通过python实现数据插入、查询，以及mongoengine使用，最后是图形化界面连接mongodb数据库，我们从安装开始：
Mongodb 安装
wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.6.4.tgz
tar -zxvf mongodb-linux-x86_64-rhel62-3.6.4.tgz
mv mongodb-linux-x86_64-rhel62-3.6.4 /us[……]
在目录 /etc/yum.repos.d/ 下新建文件 google-chrome.repo
内容如下：
|
1 2 3 4 5 6 |
[google-chrome] name=google-chrome baseurl=http://dl.google.com/linux/chrome/rpm/stable/$basearch enabled=1 gpgcheck=1 gpgkey=https://dl-ssl.google.com/linux/linux_signing_key.pub |
yum -y install google-chrome-stable –nogpgcheck
安装后查看安装目录：
which google-chrome-stable
which google-chrome
查看版本号：
google-chrome –version
如果想看更多内容就用
google-chrome –help #会列出所有参数
然而在使用s[……]
在windows下安装selenium 反复安装了几次，都报这个错误：
File “c:\users\jibingchuan\appdata\local\programs\python\python36-32\lib\conte
xtlib.py”, line 99, in __exit__
self.gen.throw(type, value, traceback)
File “c:\users\jibingchuan\appdata\local\programs\python\python36-32\lib\site-
packages\pip\_vendor\urllib3[……]
有时候tomcat停不掉，需要租如下修改：
在catalina.sh文件的PRGDIR=dirname "$PRG"行后面添加
if [ -z “$CATALINA_PID” ]; then
CATALINA_PID=$PRGDIR/CATALINA_PID
cat $CATALINA_PID
fi
在shutdown.sh文件的最后一行 stop后面添加
-force
在bin目录创建存id的文件
touch CATALINA_PID[……]
1、操作系统优化：
/etc/sysctl.conf里增加：
vm.max_map_count=262144
/etc/security/limits.conf 增加：
* soft nofile 65536
* hard nofile 65536
* soft nproc 16384
* hard nproc 32768
/etc/s[……]
准备三台机器， 安装centos7系统。
配置Host：
192.168.137.131 gluster1
192.168.137.132 gluster2
192.168.137.133 gluster3
建议防火墙都先关闭，部署完成后再加上然后在看整个集群状态，如果正常，就可以了。
防火墙添加：iptables -I INPUT -p tcp –dport 24007 -j ACCEPT
三台上都安装：
yum insta[……]