作者: 行者武松
1563人浏览
评论数：0
5年前
分类 分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿 着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可
作者: skyme张
1273人浏览
评论数：0
7年前
分类 分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能
作者: it乾坤
2129人浏览
评论数：0
3年前
分布式id主要用到哪些地方 在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID来标识一条数据或消息，数据库的自增ID显然不能满足需求；特别
作者: it乾坤
2598人浏览
评论数：0
3年前
首先是项目地址： https://github.com/maqiankun/distributed-id-redis-generator 关于Redis集群生成分布式ID，这里要先了解redis使用lua脚本的时候的EVAL，EVALSHA命令： https
作者: 悠悠悠然然
4342人浏览
评论数：0
6年前
呵呵，昨天看到两新粉，一激动，就想着今天来写这篇文章。 其实一直在关注这个领域，但是一直没有信心来写，所以一直期望着有一个开源的来用。 看到了彭渊大师的淘宝分布式框架Fourinone介绍，确实有一种相见恨晚的感觉，于是就准备去研究一番，详细见本人的感想文章由
作者: 小金子
600人浏览
评论数：0
6年前
一致性哈希算法是分布式系统中常用的算法。比如，一个分布式的存储系统，要将数据存储到具体的节点上，如果采用普通的hash方法，将数据映射到具体的节点上，如key%N，key是数据的key，N是机器节点数，如果有一个机器加入或退出这个集群，则所有的数据映射都无效
作者: it乾坤
3890人浏览
评论数：0
3年前
UUID的生成策略： UUID的方式能生成一串唯一随机32位长度数据，它是无序的一串数据，按照开放软件基金会(OSF)制定的标准计算，UUID的生成用到了以太网卡地址、纳秒级时间、芯片ID码和许多可能的数字。UUID的底层是由一组32位数的16进制数字构成，
作者: skyme
3932人浏览
评论数：0
6年前
分类 分布式网络爬虫包含多个爬虫，每个爬虫需要完成的任务和单个的爬行器类似，它们从互联网上下载网页，并把网页保存在本地的磁盘，从中抽取URL并沿着这些URL的指向继续爬行。由于并行爬行器需要分割下载任务，可能爬虫会将自己抽取的URL发送给其他爬虫。这些爬虫可能
作者: 管理贝贝
19522人浏览
评论数：15
4年前
阿里极客公益活动： 或许你挑灯夜战只为一道难题 或许你百思不解只求一个答案 或许你绞尽脑汁只因一种未知 那么他们来了，阿里系技术专家来云栖问答为你解答技术难题了 他们用户自己手中的技术来帮助用户成长 本次活动特邀百位阿里技术
作者: godofwww
1238人浏览
评论数：1
5年前
最近学习了grails+groovy，脑中一直有一些疑问，其中最主要的一个是：在类似支付系统这样较大型的分布式系统中，哪些项目用groovy+grails替代java+主流java框架比较好？ 我把自己目前所有系统都梳理了一遍(同样是支付系统),发现除了那些
作者: 隐林
36996人浏览
评论数：30
5年前
 大数据计算服务
作者: hbase小能手
561人浏览
评论数：4
3年前
hbase 大量写入很慢 https://yq.aliyun.com/ask/50074 发现hbase文件大规模的丢失了 https://yq.aliyun.com/ask/46584 hbase启动脚本start-hbase的疑问 htt
作者: yq传送门
2051人浏览
评论数：0
5年前
 大数据计算服务（MaxCompute，原名 ODPS）是一种快速、完全托管的 GB/T
作者: 薯条酱
55293人浏览
评论数：49
5年前
#基础语言百问-Python# 软件界最近非常流行一句话“人生苦短，快用Python”，这就展示出了Python的特点，那就是快，当然这个快并不是指的Python运行快，毕竟是脚本语言，再怎样也快不过C语言和C++这样的底层语言，这里的快指的是使用Pytho
作者: 滴滴didi
1646人浏览
评论数：1
4年前
以下是报错信息，实在搞不懂到底是哪块配错了。。。 严重: Context initialization failed org.springframework.beans.factory.parsing.BeanDefinitionParsingExce
作者: jay01
555人浏览
评论数：1
4年前
在和mybatis 整合中使用drds 进行查找，sql 在navicat 中已执行，没有问题，mybatis.xml 中sql语句
