分布式日志系统scribe使用手记

228浏览 / 2回复

检查是否被占用

检查是否被占用

检查是否被占用(ID:lnbsd)

检查是否被占用
  • 帖    子:490
  • 精    华:8
  • 粉    丝:93
  • Z 金 豆:0
  • 城    市:北京
  • 最后登录:2017-06-05
  • 注册时间:2006-09-19
榜眼 榜眼榜眼榜眼

当前经验6340分,升级还需6410

下一等级:状元状元状元状元状元如何升级?

  • 帖子:490
  • 精华:8
  • Z金豆:0
  • 城市:北京
  • 注册:2006-09-19
  • 登录:2017-06-05

所有帖子>>

发布于 2011-05-26 11:12:19
快速回复 只看楼主 收藏本帖 私信楼主
分享

scribe 是facebook 开源的分布式日志系统 。其使用了thrift传输log,由于使用thrift,所以不论是什么语言的项目都可以实现日志收集,可达到远程或者是本地同步远程的分布式日志收集效果,在其示例配置中,并发量可达到max_msg_per_second=2000000,对普通的应用来说,每秒上百万的访问量可能性很小,因此基本上即使最简单的配置,远程收集所有项目的log也是可靠的,如果压力大的话,可以采取主从的配置,将日志打到本地后由scribe的主从配置来自动同步。下面讲述如何安装和使用scribe。

下载boost、thrift、scribe

boost_1_45_0.tar.gz
thrift-0.5.0.tar.gz
facebook-scribe-2ee14d3.zip

通过yum安装需要的依赖

yum install libevent libevent-devel python-devel
yum install gcc-c++
yum install automake
yum install byacc flex

安装boost

tar -zxvf boost_1_45_0.tar.gz
cd boost_1_45_0
./bootstrap.sh
./bjam install –prefix=/opt/soft/bootstrap

安装thrift-0.5.0

tar zxvf thrift-0.5.0.tar.gz
./configure –with-php-config=/opt/soft/php/bin/php-config –with-boost=/opt/soft/boost/ –with-java –prefix=/opt/soft/thrift
make
make install

安装fb303

cd contrib/fb303
./bootstrap.sh –prefix=/opt/soft/thrift/fb303 –with-boost=/opt/soft/boost/ –with-thriftpath=/opt/soft/thrift/
make
make install

安装scribe

unzip facebook-scribe-2ee14d3.zip
cd facebook-scribe-2ee14d3

export BOOST_ROOT=/opt/soft/boost/
export LD_LIBRARY_PATH=/opt/soft/thrift/lib:/usr/lib:/usr/local/lib:/opt/soft/boost/lib/
./bootstrap.sh –prefix=/opt/soft/scribe –with-boost=/opt/soft/boost/ –with-thriftpath=/opt/soft/thrift/
make
make install

启动scribe服务

cd facebook-scribe-2ee14d3
cp example/exmaple1.conf /opt/soft/scribe/bin
cd /opt/soft/scribe/bin/
export BOOST_ROOT=/opt/soft/boost/
export LD_LIBRARY_PATH=/opt/soft/thrift/lib:/usr/lib:/usr/local/lib:/opt/soft/boost/lib/
./scibed example1.conf

生成客户端使用scribe

先产生java的thrift代码:
cd facebook-scribe-2ee14d3/if/
thrift -r -I ../../thrift-0.5.0/contrib/(这里需要指到你的thrift的源码目录) -gen java scribe.thrift

使用

gen-java目录下有thrift的客户端,即取即用。javaeye里有一篇写配置log4j使用scribe的不错:http://www.javaeye.com/topic/800208

popslay

popslay

popslay(ID:popslay)

popslay
  • 帖    子:901
  • 精    华:0
  • 粉    丝:105
  • Z 金 豆:0
  • 城    市:北京
  • 最后登录:2015-04-01
  • 注册时间:2008-03-25
状元 状元状元状元状元

当前经验6976分,升级还需18574

下一等级:九品九品九品如何升级?

  • 帖子:901
  • 精华:0
1楼 发表于 2011-05-31 19:23:10

顶,学习了~!

limons

limons

limons(ID:limons)

limons
  • 帖    子:1074
  • 精    华:0
  • 粉    丝:14
  • Z 金 豆:0
  • 城    市:北京
  • 最后登录:2014-11-10
  • 注册时间:2010-06-04
探花 探花探花

当前经验2907分,升级还需3443

下一等级:榜眼榜眼榜眼榜眼如何升级?

  • 帖子:1074
  • 精华:0
2楼 发表于 2011-07-30 17:53:19

学习

回复本帖:分布式日志系统scribe…… 高级回复表情
看完了感觉怎样?评论两句再走吧
Ctrl+Enter 快捷发布积分规则

针对ZOL论坛您有任何使用问题和建议 您可以 联系论坛管理员查看帮助  或  给我提意见

http://techbbs.zol.com.cn true http://techbbs.zol.com.cn/1/60_1924.html report 1984 scribe 是facebook 开源的分布式日志系统 。其使用了thrift传输log,由于使用thrift,所以不论是什么语言的项目都可以实现日志收集,可达到远程或者是本地同步远程的分布式日志收集效果,在其示例配置中,并发量可达
我的ZOL
免费抽奖

每日大转盘

免费抽奖
上一个 下一个

    回复2| 当前关注:0人