webdis实现Redis的http接口及多数据格式共享 [含json,restful]

本文涉及的产品
云数据库 Redis 版,社区版 2GB
推荐场景:
搭建游戏排行榜
简介:

前言:

最近用tornado写了redis的接口,为自己的做cs之间的数据中转,以及后期给别部门的临时数据调用。这些东西难度真不大,但是很杂乱,还要保证性能。

朋友推荐了我这款redis的http的服务端利器,要功能他有,要性能他也有。。。


webdis是一个简单的 Web 服务器,提供了 HTTP 接口来访问 Redis 服务器,使用了 hiredis, jansson, libevent, and http-parser 等软件。


Redis 一直以来只提供纯文本操作协议(只有在 Cluster 中应用了二进制协议),这可能令很多推崇 RESTFul 的同学感觉不爽了,最近,一位名叫高手的同学业余开发了一个支持 HTTP 协议的 Redis Proxy,取名Webdis。其在Redis 的讨论区一发布,则引来一遍赞扬之声。(鼓掌!!!)

开始:

项目地址https://github.com/nicolasff/webdis/


1
2
3
4
5
git clone git: / / github.com / nicolasff / webdis.git
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                   
cd webdis
make
. / webdis &


配置webdis

233334840.jpg

但是提示错误~

为了彻底点,咱们把主要的开发包都搞下,redis-server也配置下 ~

1
yum install libevent-devel

1
yum install redis


233609998.jpg

redis server 的启动 !

233158438.jpg

编译文件及启动webdis~

234030695.jpg

简单的测试下哈~

1
2
3
4
5
6
curl http: //127.0.0.1:7379/SET/hello/world
→ { "SET" :[ true , "OK" ]}
curl http: //127.0.0.1:7379/GET/hello
→ { "GET" : "world" }
curl -d  "GET/hello"  http: //127.0.0.1:7379/
→ { "GET" : "world" }


235450639.jpg

webdis还支持post的方式 ~


110230744.png

webdis支持很多的格式:

1
2
3
4
5
6
7
8
9
10
.json  for  application/json ( this  is  the  default  Content-Type).
.msg  for  application/x-msgpack. See http: //msgpack.org/ for the specs.
.txt  for  text/plain
.html  for  text/html
xhtml  for  application/xhtml+xml
xml  for  text/xml
.png  for  image/png
jpg or jpeg  for  image/jpeg
Any other  with  the ?type=anything/youwant query string.
Add a custom separator  for  list responses  with  ?sep=, query string.


下面是txt的格式 ~


235924823.jpg

下面是json的格式 ~

000041223.jpg


webdis也可以直接上传文件的 ~

1
2
Webdis supports file upload using HTTP PUT. The command URI  is  slightly different,  as  the last argument  is  taken from the HTTP body. For example: instead of /SET/key/value, the URI becomes /SET/key and the value  is  the entirety of the body. This works  for  other commands such  as  LPUSH, etc.
webdis 是支持文件上传的~


上传文件~

000932745.jpg

查看上传好的页面 ~

001036452.jpg

对于二进制文件的上传 ~

上传 ~

我上传了一个nginx文件,下载成一个nginx rpm文件 ~

002136470.jpg

查看长传的情况 ~

002513465.jpg

但是有个极大的问题是,二进制的文件不能太大 ~

咱们测试下在速度快的情况下他的大小能到多少~ 5.3m 没啥压力~速度很快 ~

003416398.jpg

我测试了100M左右的文件~ 速度还算可以~ 在3.1s秒左右~

大小就这样了,这算是个小应用,可以做共享数据的时候,也能搞搞数据文件啥的,但是没有共享数据的应用,估计就没人这么蛋疼用redis存文件。

004148549.jpg


webdis 也是支持ACL的,来源的ip地址限制以及基本认证的方式 !


webdis.json是webdis的配置文件 ~


这个可以配置webdis连接后端时候的所需要的信息,以及自己的配置信息。

哎呀~ 居然还有多线程和线程池的配置~ 不错不错 !!!

1
2
3
4
5
6
7
8
9
10
"redis_host" :    "127.0.0.1" ,
"redis_port" :    6379 ,
"redis_auth" :    null ,
"http_host" :     "0.0.0.0" ,
"http_port" :     7379 ,
"threads" :       5 ,
"pool_size" 20 ,
"daemonize" :     false ,
"websockets" :    false ,
"database" :      0


下面是安全的信息~ 基本认证,ip地址的限制 ~

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
{
     "disabled" : [ "DEBUG" "FLUSHDB" "FLUSHALL" ],
},
{
     "http_basic_auth" "user:password" ,
     "disabled" : [ "DEBUG" "FLUSHDB" "FLUSHALL" ],
     "enabled" :  [ "SET" ]
},
{
     "ip" :        "192.168.10.0/24" ,
     "enabled" :  [ "SET" ]
},
{
     "http_basic_auth" "user:password" ,
     "ip" :        "192.168.10.0/24" ,
     "enabled" :  [ "SET" "DEL" ]
}


webdis还有个websocket的模式~


1
2
3
4
5
6
7
8
9
10
11
12
function  testJSON() {
     var  jsonSocket =  new  WebSocket( "ws://127.0.0.1:7379/.json" );
     jsonSocket.onopen =  function () {
         console.log( "JSON socket connected!" );
         jsonSocket.send(JSON.stringify([ "SET" "hello" "world" ]));
         jsonSocket.send(JSON.stringify([ "GET" "hello" ]));
     };
     jsonSocket.onmessage =  function (messageEvent) {
         console.log( "JSON received:" , messageEvent.data);
     };
}
testJSON();


我们开始来个简单的性能测试吧~ (我原本想用gevent和curllib2来测试,但是没找到以前写过的demo例子。。。只能简单用ab来测试啦~)

10000个请求用了不到3秒解决 ~没有报错的~

010225198.jpg

又测试了一遍~ (我晕,居然又到1.8啦~ )

010559980.jpg

他的cpu情况,每个内核都有跑,每个核心都在有效的利用~ 不像python,nodejs那样只能单核的跑~

011013912.jpg


好嘞~ 就介绍这里啦~~~ 希望这webdis 越来越好,github里有不少人fork他的代码,issue里面也是很热乎的~

我现在尽量用这个做redis的http,而不是像以前python自己写了。

总结:

webdis是个很方便的redis http接口程序~ 推荐大家使用~ 前提是你懒得自己写http的接口 ~



 本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1320624,如需转载请自行联系原作者



相关实践学习
基于Redis实现在线游戏积分排行榜
本场景将介绍如何基于Redis数据库实现在线游戏中的游戏玩家积分排行榜功能。
云数据库 Redis 版使用教程
云数据库Redis版是兼容Redis协议标准的、提供持久化的内存数据库服务,基于高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求。 产品详情:https://www.aliyun.com/product/kvstore     ------------------------------------------------------------------------- 阿里云数据库体验:数据库上云实战 开发者云会免费提供一台带自建MySQL的源数据库 ECS 实例和一台目标数据库 RDS实例。跟着指引,您可以一步步实现将ECS自建数据库迁移到目标数据库RDS。 点击下方链接,领取免费ECS&RDS资源,30分钟完成数据库上云实战!https://developer.aliyun.com/adc/scenario/51eefbd1894e42f6bb9acacadd3f9121?spm=a2c6h.13788135.J_3257954370.9.4ba85f24utseFl
相关文章
|
15天前
|
Java API Spring
SpringBoot项目调用HTTP接口5种方式你了解多少?
SpringBoot项目调用HTTP接口5种方式你了解多少?
58 2
|
26天前
|
XML 开发框架 JSON
flea-jersey使用之Flea RESTful接口客户端接入
本篇介绍 Flea框架下的 flea-jersey-client模块,并提供客户端依赖管理及接入步骤
25 1
flea-jersey使用之Flea RESTful接口客户端接入
|
27天前
|
开发框架 API 网络架构
flea-jersey使用之Flea RESTful接口服务端接入
本篇介绍 Flea框架下的 flea-jersey-server模块,并提供服务端依赖管理及接入步骤
28 1
flea-jersey使用之Flea RESTful接口服务端接入
|
2月前
|
算法 API UED
基于Gin框架的HTTP接口限速实践
基于Gin框架的HTTP接口限速实践
27 0
|
2月前
|
JSON 搜索推荐 网络协议
玩转curl指令—测试简单的HTTP接口
玩转curl指令—测试简单的HTTP接口
50 0
|
3月前
|
DataWorks 大数据 API
DataWorks RunTriggerNode接口是只能调度 http触发器节点吗?
DataWorks RunTriggerNode接口是只能调度 http触发器节点吗?
137 1
|
2月前
|
监控 安全 测试技术
《Eolink 征文活动- -RESTful接口全解测试-全方位了解Eolink-三神技超亮点》
《Eolink 征文活动- -RESTful接口全解测试-全方位了解Eolink-三神技超亮点》
61 0
|
26天前
|
JSON 前端开发 数据格式
糊涂工具类真是场景下请求http接口的案例
糊涂工具类真是场景下请求http接口的案例
21 0
|
28天前
|
前端开发 API 网络架构
Python 如何开发出RESTful Web接口,DRF框架助力灵活实现!
Python 如何开发出RESTful Web接口,DRF框架助力灵活实现!