深度解析大数据在公安领域的应用

简介:

深度解析大数据在公安领域的应用

近一两年,大数据开始在公安等行业领域得到普及应用,除了行业自身的特殊要求外,大数据也带动了相关行业的需求发展。未来,基于大数据的行业应用会变得更加深入,更多的相关厂商也会涉及其中,大数据在公安领域的商业模式架构逐渐清晰起来。

在安防的细分领域中,大数据在公安及智能交通探索应用得比较早,相关的解决方案和技术也比较成熟,在广西等地也已经有相关的项目落地,大数据应用系统已经上线运营,取得了预期的效果。

项目应用前景看好

以相关的案例来讲,在广西公安厅投入使用的大数据系统中,整个项目是以自治区的总数据为出发点,对每天在所有卡口过道产生的上千万条数据,每年大概 三十亿条的数据进行分布式存储和快速检索。在此基础上,后续可以给公安用户提供进一步的解决方案和增值服务,比如已经推出的卡口过车大数据、视频图像大数 据和公安情报大数据三方面的解决方案。这些方案提供多种功能的查询,以及基于测控的分析和基站行业的服务,目的就是让公安能快速科学地侦破案件。

在智能交通领域,目前主要应用于车辆的疏导,比如基于不同道路、路口车流量的统计(时、日、月统计等),根据这些统计可以分析不同时段某条道路实时 的车流密度、发展方向和趋势等。这些项目的应用已经在很多大城市落地,比如平时大家在公交上看到的移动电视里播放的上下班高峰路段实时画面,就是基于大数 据的技术分析所得。从应用上看,用户切实感到便捷好用,所以市场潜力很大,未来的应用会更加广泛。

大数据应用存在的难题

大数据本身是针对数据的存储、检索、关联、推导等有价值的挖掘,这些数据本身来说是通用的。但在安防领域,哪些数据是有用的,哪些是我们需要关心和提取的,这是目前在摸索的问题。也就是说,当前的困难在于如何让技术热点和相关业务进行结合,以提取更有价值的数据。

从技术上分析,有两个技术难点:

第一个难点是如何从非结构化的数据中提取结构化的数据出来。所谓非结构化数据是指在视频里面进行特征的提取,这 些可能是人类不能理解和不能处理的;结构化数据则是人可以理解和处理的,比如在视频里有几个活动目标、是人还是车。如果是人,身上穿的是什么样的衣服;如 果是车,车牌号是多少、什么样的品牌型号、颜色、行进速度、方向等数据,这些都是可以转化为结构化数据为人所用。目前,安防的数据很多涉及到视频数据,而 视频数据本身是不能够被结构化的数据,也就不能被计算机直接所处理。所以未来摆在技术人员面前的课题是如何把视频数据转换成计算机能够处理的结构化或者半 结构化数据。

第二个难点是寻找这些数据之间的关联和价值。数据是有关联没关联之分的,我们只能通过工具来找。所有这些存储的 特征数据,包括公安行业、平安城市中每天产生的海量视频数据,可以为很多案件的侦查提供有价值的线索。现在技术需要攻克的难题就是能不能把这些数据通过相 应的工具模块,通过大数据技术把原来被忽视的数据信息关联起来,找到或提取这些数据之间的相关性,为案件的侦破和方案决策提供科学的数据依据。

公安数据流动的单向性

公安行业每天获取的数据数以千万,如何确保这些数据信息的安全成为行业共同关注的热点。从传统意义上讲,数据产生之后,首先要确保数据本身的安全, 目前行业内有非常成熟的技术和解决方案。在海量数据面前,如果你对数据不了解,就算把这些数据摆在面前,你也很难去提取有用的数据,但这并不能作为行业忽 视其重要性的借口。因为对安防厂商而言,很多有价值的数据是需要提供保护的,也就是对数据应用模式采取高规格的保护措施,因为这些数据一旦被不法分子挖掘 并关联起来,可能整个地区的安全漏洞就会被利用。

现在,公安的数据一般在局域网内运行,并有相关的保护措施来提供安全保障。如会把数据分成不同的网络和不同的层次,让数据在不同的网络安全系统之 间,从低安全性网络向高安全性网络实行单向流动,最后在公安的核心网络里汇集所有的数据(这个安全等级是最高的,通过安全边界、物理隔离来保护)。同时在 外围的视频网,主要以视频数据为主,辅以视频相关的业务,这些数据只有进入公安网后才与其他的数据发生关联,才能发掘出一些有价值的数据。比如办案民警在 视频网络上,可以获取犯罪嫌疑人的照片,但这个人是谁,他的信息是什么,只有进入公安网以后才能获取,才能将相关信息匹配关联起来,然后通过其他数据库的 关联,进一步挖掘出他在哪个网吧出现过,在哪个酒店居住过……以上信息都可以挖掘出来,但这种挖掘只能在高安全性网络中进行,这种信息流动都是单向的。

未来的商业模式

从传统的安防业务来讲,还是以公安客户投资建设系统为主,厂商提供产品和集成的解决方案,最终由集成商来做落地实施,最后交付给客户使用并进行相应 的维护。同时,未来行业对大数据中数据的获取、存储、分析、处理会变得更加的专业,用户本身在处理和应用时可能会遇到各种困难,那么针对这类问题可能会有 一些小型的服务公司出现,给终端用户提供各种各样专业的数据服务。比如专业的视频提取会有专业的公司切入,用专业的算法工具帮助你把视频里面的数据提取出 来,或者有那些专业的通讯厂商对数据进行挖掘和处理,包括提供一些工具和服务的模式(未来会更倾向于服务的模式)。但限于公安行业的特点,这些公共服务在 公安行业目前还比较难做,不过未来也可以由一些厂家对整个应用系统进行构建,以运营服务收费的方式与公安客户或者政府机构进行合作。

对于大型、特别大型的项目,比如涉及到一个城市、一个省乃至全国范围的项目,一般来说可能会找专业的IT厂商来做,特别是互联网公司(现在也有牵涉 其中),他们更多是以技术提供商的角色参与,安防厂商侧重点放在业务上。这样大家分工比较明确,因为即使是技术比较领先的行业厂商,它也很难或者没有必要 投大量的研发在大数据基础的研发上,而是应该将重点放在大数据的基础应用或业务解决方案上,然后底层的基础架构由IT厂商来分担完成。彼此互利共赢,持续 发展。


本文作者:佚名

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
19天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
21天前
|
存储 缓存 安全
掌握Go语言:Go语言中的字典魔法,高效数据检索与应用实例解析(18)
掌握Go语言:Go语言中的字典魔法,高效数据检索与应用实例解析(18)
|
24天前
|
存储 缓存 算法
Python中collections模块的deque双端队列:深入解析与应用
在Python的`collections`模块中,`deque`(双端队列)是一个线程安全、快速添加和删除元素的双端队列数据类型。它支持从队列的两端添加和弹出元素,提供了比列表更高的效率,特别是在处理大型数据集时。本文将详细解析`deque`的原理、使用方法以及它在各种场景中的应用。
|
26天前
|
安全 Java 数据安全/隐私保护
【深入浅出Spring原理及实战】「EL表达式开发系列」深入解析SpringEL表达式理论详解与实际应用
【深入浅出Spring原理及实战】「EL表达式开发系列」深入解析SpringEL表达式理论详解与实际应用
57 1
|
29天前
|
数据采集 分布式计算 大数据
Java语言在大数据处理中的应用
传统的大数据处理往往依赖于庞大的数据中心和高性能的服务器,然而随着大数据时代的到来,Java作为一种强大的编程语言正在被广泛应用于大数据处理领域。本文将探讨Java语言在大数据处理中的优势和应用,以及其在分布式计算、数据处理和系统集成等方面的重要作用。
|
2天前
|
SQL 分布式计算 资源调度
一文解析 ODPS SQL 任务优化方法原理
本文重点尝试从ODPS SQL的逻辑执行计划和Logview中的执行计划出发,分析日常数据研发过程中各种优化方法背后的原理,覆盖了部分调优方法的分析,从知道怎么优化,到为什么这样优化,以及还能怎样优化。
|
2天前
|
Java
并发编程之线程池的应用以及一些小细节的详细解析
并发编程之线程池的应用以及一些小细节的详细解析
16 0
|
7天前
|
Java API 数据库
深入解析:使用JPA进行Java对象关系映射的实践与应用
【4月更文挑战第17天】Java Persistence API (JPA) 是Java EE中的ORM规范,简化数据库操作,让开发者以面向对象方式处理数据,提高效率和代码可读性。它定义了Java对象与数据库表的映射,通过@Entity等注解标记实体类,如User类映射到users表。JPA提供持久化上下文和EntityManager,管理对象生命周期,支持Criteria API和JPQL进行数据库查询。同时,JPA包含事务管理功能,保证数据一致性。使用JPA能降低开发复杂性,但需根据项目需求灵活应用,结合框架如Spring Data JPA,进一步提升开发便捷性。
|
11天前
|
SQL API 数据库
Python中的SQLAlchemy框架:深度解析与实战应用
【4月更文挑战第13天】在Python的众多ORM(对象关系映射)框架中,SQLAlchemy以其功能强大、灵活性和易扩展性脱颖而出,成为许多开发者首选的数据库操作工具。本文将深入探讨SQLAlchemy的核心概念、功能特点以及实战应用,帮助读者更好地理解和使用这一框架。
|
12天前
|
机器学习/深度学习 分布式计算 BI
Flink实时流处理框架原理与应用:面试经验与必备知识点解析
【4月更文挑战第9天】本文详尽探讨了Flink实时流处理框架的原理,包括运行时架构、数据流模型、状态管理和容错机制、资源调度与优化以及与外部系统的集成。此外,还介绍了Flink在实时数据管道、分析、数仓与BI、机器学习等领域的应用实践。同时,文章提供了面试经验与常见问题解析,如Flink与其他系统的对比、实际项目挑战及解决方案,并展望了Flink的未来发展趋势。附带Java DataStream API代码样例,为学习和面试准备提供了实用素材。
34 0

推荐镜像

更多