1. 阿里云>
  2. 云栖社区>
  3. 主题地图>
  4. F>
  5. 复杂化

当前主题:复杂化

面向海量数据的极致成本优化-云HBase的一体化冷热分离

前言 随着业务的持续发展,业务数据库存储量会持续增长。通常数据量过亿时,就需要考虑做分库分表,或者选择扩展能力更好的NOSQL/NewSQL数据库,如HBase就可以单表支持PB级数据,足够满足大多数业务的存储需求。然而,对于大量存储瓶颈类业务,存储成本依然

阅读全文

日志服务在CDN流量指标中的异常检测实战(上)

本次专题主要包括四个方面内容,第一部分介绍AIOps平台,以及具备的能力和功能。第二部分讲解阿里云日志服务平台的作用,以及支撑AIOps的应用。第三部分为目前关注的异常检测算法的介绍。第四部分以一个实际的场景作为案例介绍流量场景中的实战,并加以分析。 本文为

阅读全文

【译】Hadoop发生了什么?我们该如何做?

原文:https://insidebigdata.com/2019/08/10/what-happened-to-hadoop-and-where-do-we-go-from-here/ Apache Hadoop出现在IT领域是在2006年,它可以支持使用

阅读全文

3个点说清楚分库分表扩容问题

前言 像我这样的菜鸟,总会有各种疑问,刚开始是对 JDK API 的疑问,对 NIO 的疑问,对 JVM 的疑问,当工作几年后,对服务的可用性,可扩展性也有了新的疑问,什么疑问呢?其实是老生常谈的话题:服务的扩容问题。 正常情况下的服务演化之路 让我们从最初

阅读全文

我被“非结构化数据包围了”,请求支援!

![1](https://yqfile.alicdn.com/2b7d773019c491ceec3a70ee48912fb10bd9839b.png) 阿里妹导读:非结构化数据的内容占据了当前数据海洋的80%。换句话来说,就是我们都被“非结构化数据”包围了

阅读全文

3D 真的很难吗,瞧瞧支付宝怎么做?

![1](https://yqfile.alicdn.com/4eedb5ffe11323dcb367569602e23ed568baf8a3.png) 阿里妹导读:图像作为人类感知世界的视觉基础,是我们在这个信息化时代获取信息、表达信息及传递信息的重要手段

阅读全文

Unity火爆插件Behavior Designer行为树插件学习

如果要让游戏里的角色或者**NPC**能执行预设的**AI逻辑**,最简单的用**IF..ELSE...神器**既可以实现, 但是再复杂的一般用经典的状态机来切换状态,但是写起来比较麻烦。相对的,**行为树**(Behavior Tree)理解和编辑起来就非

阅读全文

结构化数据存储,如何设计才能满足需求?

![1](https://yqfile.alicdn.com/9bfc4cb69cad1607e7a072f658fc7d13782a7051.png) 阿里妹导读:任何应用系统都离不开对数据的处理,数据也是驱动业务创新以及向智能化发展最核心的东西。数据处理

阅读全文

复杂化相关问答

查看更多 提问题

使用htmlunit实现带有Ajax复杂页面的静态化技术

我使用htmlunit模拟测试时,发现没有拿到异步的数据,下边是我设置的htmlunit参数 WebClient mWebClient = new WebClient(BrowserVersion.CHROME); mWebClient.g

阅读全文

flink解析复杂protobuf,注册成table遇到问题

目标:kafka protobuf--》row--》table--》sql--》hdfs。 问题:protobuf是嵌套结构,转成row时,制定type出现问题。 第一步:自定义反序列化方式,将protobuf转成row ![_](https://yqf

阅读全文

即使数据不敏感,使用身份验证保护API是一种好的做法还是必要的?

我的Vue.js应用程序通过Node.js后端与数据交互,可访问敏感数据和非敏感数据。我已经能够使用google身份验证API保护节点服务器上的API,即使用敏感数据(例如更新定价信息)的API。这要求用户必须先使用Google帐户登录才能与这些API进行互动

阅读全文

了解Flink - 任务不可序列化

我正在研究一个Flink项目,并遇到了一个问题,我在Stackoverflow的帮助下设法解决了这个问题。但是,我不清楚为什么提出的解决方案实际可行,我发现有关该主题的信息很少。请考虑以下代码: object DeCP { def main(arg

阅读全文

Spark Task不可序列化/没有为第三方Jar定义的类

我一直在谷歌或Stackoverflow上搜索一个星期,仍然无法找到一个好的答案。 我有一个化合物数据集,我需要使用第三方Jar来读取SDF中的这些化合物(类似JSON的数据格式)。然后我必须计算不同化合物之间的相似性。读取和计算需要非常复杂的化学细节,

阅读全文

以json / text格式的Apache Spark DAG可视化

我正在考虑优化一些相当大的Apache Spark作业,并观察到DAG可视化对于特定阶段来说非常复杂。 我无法理解外向箭头的位置,各种交叉点和猜测/假设是为了理解它。 这是我可以下载DAG的text / json格式的方式,使用vim / text

阅读全文

[@小川游鱼][¥20]hive 或者 presto 有没有类似于mybatis 能把表给结构化 并把sql语句提取出来的框架

现在我们的产品,通过presto 查询hive;ElasticSearch;mysql里面的数据,并且这些不同存储的会通过presto进行关联查询, 但是我们的业务比较复杂,sql比较长 是直接写在java里面的 这样维护难度很大 有没有类似于mybatis

阅读全文

如何使用Spark结构化流媒体为Kafka流实现自定义反序列化?

我正在尝试迁移我当前的流媒体应用程序,这是基于使用RDD(从他们的文档)到他们使用结构化流媒体的新数据集API,我被告知这是使用Spark进行实时流媒体的首选方法。 目前,我的应用程序设置使用了一个名为“SATELLITE”的主题,该主题包含一个包含密钥

阅读全文