Clear Blog

Look what's happening here,it's magical

docker搭建SSDB

Dockerfile 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 FROM alpine LABEL maintainer="Leonard Buskin <leonardbuskin@gmail.com>" ARG VERSION=${VERSION:-master...

Posted by Clear Blog on August 12, 2018

mac安装pyenv

brew install pyenv config ```` echo ‘export PYENV_ROOT=”$HOME/.pyenv”’ » ~/.bash_profile echo ‘export PATH=”$PYENV_ROOT/bin:$PATH”’ » ~/.bash_profile echo -e ‘if command -v pyenv ...

Posted by Clear Blog on August 10, 2018

mongo数据导入导出

指定字段导出 ./mongoexport -h=127.0.0.1 -p=27017 -u spider -p spider -c newsDO -f title,author,publishDate,category,url,content -o /Users/clear/news.txt -d spider 全量导出 ./mongoexport -h=127.0.0.1 -p=270...

Posted by Clear Blog on July 12, 2018

xpath语法

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 选取节点 ...

Posted by Clear Blog on July 11, 2018

搭建mongo服务

镜像 docker pull mongo 宿主机相关目录 cd /mnt mkdir mongodb cd ./mongodb mkdir data mkdir backup mkdir logs 运行容器 docker run –name mongo -p 27017:27017 -v /Users/clear/data/mongodb/data:/data/db -v /Users/...

Posted by Clear Blog on July 11, 2018

kafka如何保证消息不丢失

高可用的实现 kafka的高可用机制即每个topic会配置多个partition,每个partition负责存储topic的部分数据，而每个partition又会有多副本做冗余，其中有一个副本为leader副本，其他为follower副本。副本间的数据同步如果有一个客户端往一个Partition写入数据，此时一般就是写入这个Partition的Leader副本。然后Leader副本...

Posted by Clear Blog on May 20, 2018

kafka消费者分区策略

kafka中分区分配策略。 kafka官方提供了三种策略，当然我们也可以自定义分区策略，这里我简单介绍下官方提供的三种策略。 RangeAssignor 文字描述有点难理解，按照消费者和分区数来获得一个跨度，然后将分区按照跨度进行平均分配，以保证分区尽可能均匀的分配给所有消费者。公式：n=分区数/消费者数,m=分区数%消费者数，前m个消费者每个分配n+1个分区，后面的消费者...

Posted by Clear Blog on May 20, 2018

kafka基本操作

single partition and only one replica create topic with a single partition and only one replica 1 bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --t...

Posted by Clear Blog on May 20, 2018

Abtest搭建过程

安装redis make make test 提示需要tcl 8.5或者newer yum install -y tcl make install 安装nginx 需要提前准备pcre 和 zlib PCRE(Perl Compatible Regular Expressions) 是一个Perl库，包括 perl 兼容的正则表达式库。 nginx 的 http 模块使用 pcre ...

Posted by Clear Blog on May 12, 2018

lua学习

源码安装Lua5.1 在INSTALL中查看platform: aix ansi bsd freebsd generic linux macosx mingw posix solaris 修改Makefile: INSTALL_TOP= /Users/xuguangwu486/software/lua5.1.5 make macosx make test make install 安装c...

Posted by Clear Blog on May 10, 2018