百度外卖分享的Greenplum技术点

简介:

百度外卖的同仁主要分享了他们自己的运维平台,知识点都在平台上,下面记录的比较零散,有需要的小伙伴可以留言跟我要PPT~

GPDB在百度外卖的实践

物理架构:

  • 总共60个节点
  • 单个节点1T多的数据
  • 总空间100T左右
  • 目前已经使用80T左右

选型:

前期使用Hadoop平台,上面计算用Impala,使用过程中,发现Impala无法满足业务场景下,数据查询快速返回,经过选型,选择了Greenplum。

监控平台实践:

  • 分布键监控策略 - 分布键是否经常用于join;分布键数据分布是否均匀
  • 角色资源分配 - 根据角色重要性分配资源,对于资源要求高的情况,动态的调整资源
  • 锁 - 根据Greenplum的锁机制,实现了操作影响范围提示功能,当操作一个SQL时,提示可能导致的锁影响范围

技术点

  • 有时候一些满查询,从Master杀掉后,在segment依然可以看到,也就是说杀不干净,这时候可以使用ps -ax查询到相关进程并杀掉

Ends~

目录
相关文章
|
1月前
|
运维 网络协议 安全
长连接网关技术专题(十):百度基于Go的千万级统一长连接服务架构实践
本文将介绍百度基于golang实现的统一长连接服务,从统一长连接功能实现和性能优化等角度,描述了其在设计、开发和维护过程中面临的问题和挑战,并重点介绍了解决相关问题和挑战的方案和实践经验。
72 1
|
5月前
|
搜索推荐 中间件
系统入门到实战学习某项技术、有问题找"百度"、学习大佬的技术博客、找开源代码等资料
系统入门到实战学习某项技术、有问题找"百度"、学习大佬的技术博客、找开源代码等资料
55 0
|
3月前
|
传感器 机器学习/深度学习 自动驾驶
百度Apollo:激光雷达检测技术深度解析
百度Apollo:激光雷达检测技术深度解析
47 2
|
3月前
|
传感器 自动驾驶 数据可视化
Apollo 开放平台9.0 :百度驾自动驾驶技术的全新升级(文末赠送apollo周边)
Apollo 开放平台9.0 :百度驾自动驾驶技术的全新升级(文末赠送apollo周边)
43 1
|
3月前
|
存储 监控 网络协议
百度基于金融场景构建高实时、高可用的分布式数据传输系统的技术实践
本文将通过一个百度搜索旗下的金融场景案例来分享构建高实时、高可用的分布式数据传输系统的技术实践。
48 0
|
5月前
|
存储 缓存 安全
百度搜索:蓝易云【【HTTP 协议】掌握 Web 的核心技术】
以上是关于HTTP协议的核心知识点,深入理解和掌握这些内容将有助于开发和管理Web应用程序。HTTP是Web开发的基础,熟悉其工作原理和相关概念对于构建高效、安全的Web应用至关重要。
39 2
|
8月前
|
域名解析 缓存 网络协议
百度统一socket长连接组件从0到1的技术实践
本文旨在探讨socket长连接技术在移动端的实践,并以iOS端为例,重点分享了百度在实现统一socket长连接组件过程中的技术选型和整体架构设计逻辑。并结合IM即时通讯聊天应用案例,展示长连接组件是如何在移动应用领域为类似业务场景提供解决方案的。
140 0
|
9月前
|
自然语言处理 API 开发工具
百度语言处理应用技术API:NLP开发SDK的简单调用
百度语言处理应用技术API:NLP开发SDK的简单调用
62 0
|
10月前
|
Web App开发 Linux
计算机技术|Aria2下载神器——突破百度云限速
计算机技术|Aria2下载神器——突破百度云限速
478 0
|
11月前
|
存储 缓存 自然语言处理
揭秘百度IM消息中台的全量用户消息推送技术改造实践
本文介绍了百度现有IM消息中台系统的主要组成,并对比多种实现方案的优劣,以“公有信箱”通知读扩散的技术方案对现有IM消息中台系统进行改造,从而达成了低成本、高时效地实现全量用户通知推送需求。
221 0