王小雷 + 关注
专注大数据,人工智能的多面手,对新兴的技术与知识充满了好奇与渴望!

人工智能之机器学习算法体系汇总

发布时间:2017-08-02 10:49:04 浏览:10289 评论 :1

参加完2017CCAI,听完各位专家的演讲后受益匪浅。立志写“人工智能之机器学习”系列,此为开篇,主要梳理了机器学习算法体系,人工智能相关趋势,Python与机器学习,以及结尾的一点感想。抱着一颗严谨学习之心,有不当之处欢迎斧正。

python 深度学习 大数据 算法 机器学习 云计算 HTTPS 人工智能 Algorithm Machine network 神经网络

Apache Beam WordCount编程实战及源码解读

发布时间:2017-02-21 10:41:00 浏览:2804 评论 :0

概述:Apache Beam WordCount编程实战及源码解读,并通过intellij IDEA和terminal两种方式调试运行WordCount程序,Apache Beam对大数据的批处理和流处理,提供一套先进的统一的编程模型,并可以运行大数据处理引擎上。完整项目Github源码 负责公司大数据处理相关架构,但是具有多样性,极大的增加了开发成本,急需统一编程处理

大数据 Apache sdk 源码 spark string pipeline xml class 编程 IDEA github

基于Docker的TensorFlow机器学习框架搭建和实例源码解读

发布时间:2017-02-17 19:23:00 浏览:3754 评论 :0

概述:基于Docker的TensorFlow机器学习框架搭建和实例源码解读,TensorFlow作为最火热的机器学习框架之一,Docker是的容器,可以很好的结合起来,为机器学习或者科研人员提供便捷的机器学习开发环境,探索人工智能的奥秘,容器随开随用方便快捷。源码解析TensorFlow容器创建和示例程序运行,为热爱机器学者降低学习难度。 默认机器已经装好了Docker(D

python docker 源码 人工智能 镜像 浏览器 容器 开发环境

Spark jdbc postgresql数据库连接和写入操作源码解读

发布时间:2017-02-10 09:08:00 浏览:2696 评论 :0

概述:Spark postgresql jdbc 数据库连接和写入操作源码解读,详细记录了SparkSQL对数据库的操作,通过java程序,在本地开发和运行。整体为,Spark建立数据库连接,读取数据,将DataFrame数据写入另一个数据库表中。附带完整项目源码(完整项目源码github)。 1.首先在postgreSQL中创建一张测试表,并插入数据。(完整项目源码G

java PostgreSQL postgres Apache 源码 数据库 Maven spark JDBC Driver PUT github

spark (java API) 在Intellij IDEA中开发并运行

发布时间:2017-02-07 20:50:00 浏览:3286 评论 :0

概述:Spark 程序开发,调试和运行,intellij idea开发Spark java程序。 分两部分,第一部分基于intellij idea开发Spark实例程序并在intellij IDEA中运行Spark程序.第二部分,将开发程序提交到Spark local或者hadoop YARN集群运行。Github项目源码 图1,直接在intellij IDEA(社区版)

分布式 java hadoop ubuntu Apache http 源码 集群 Maven spark API string IDEA github

React-Native-Android-Studio整合开发+环境配置+官方实例

发布时间:2016-12-21 16:56:00 浏览:2814 评论 :0

linux下React Native开发环境搭建,使用Android-studio工具进行React Native整合开发。 参考React Native的官方文档,通过图文详细记录开发过程。可以查看本文档中涉及Github源码。 步骤1,2,3来配置React Native开发环境步骤4,5做react-native与Android运行demo整合开发。 1.

android native react 源码 path 配置 开发环境 github

docker 开发常用命令总结

发布时间:2016-12-14 16:08:00 浏览:1437 评论 :0

Docker 常用命令总结,镜像下载,到docker容器创建,常用docker命令的 增删查 1.镜像下载,从hub.docker.com中下载最新版本的postgres docker pull postgres 2.首次启动一个容器,名称为--name docker-postgresql,把容器/root文件挂在到 ~/codehub下 -v ~/code

docker postgres 配置 镜像 容器 Registry

pgAdmin4 ubuntu python 安装

发布时间:2016-12-05 10:53:00 浏览:1904 评论 :0

ubuntu安装pgAdmin4,通过python的pip 安装 pgAdmin4.(首更时间20161205) 新版本的pgAdmin4目前支持mac/window/linux/python,可是linux中只用YUM可以直接安装,而其他发行版只能通过python来安装pgAdmin4。 ubuntu16.04.1通过python3(Python2也可以)安装pgAdm

linux python ubuntu http 模块 pip

用windows浏览器打开Linux的Jupyter notebook开发、调试示例

发布时间:2016-11-25 13:51:00 浏览:3305 评论 :0

1.场景,在windows浏览器中打开Linux环境下的jupyter notebook。Jupyter notebook开启远程服务,Spark、python计算环境在Linux服务器中,而工作环境是windows。在windows下使用jupyter notebook环境进行开发、调试。涉及的配置文件Github源码 场景如下 通过windows登录Linu

linux python 服务器 ubuntu windows 源码 配置 浏览器 spark Server 开发环境 chrome github

超详细从零记录Hadoop2.7.3完全分布式集群部署过程

发布时间:2016-10-27 16:12:00 浏览:2378 评论 :0

超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含,Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。(首更时间2016年10月27日) 主机名/hostname IP 角色 hadoop1 192.168.193.131 Re

分布式 服务器 hadoop ubuntu HTTPS 源码 配置 集群 SSH 主机 远程连接 JDK github

安装配置postgreSQL+pgcli+pgadmin3

发布时间:2016-09-05 15:46:00 浏览:1983 评论 :0

记录了postgreSQL数据库的完整的安装配置过程,以及postgreSQL的pgcli命令行智能提醒扩展,pgadmin3图形化管理客户端的配置安装。此postgresql是bigsql版安装详情,另bigsql刚出新版9.6 www.bigsql.org 1.环境前提 linux(ubuntu16.04) postgresql-95 在postgreSQL官网

python PostgreSQL postgres 配置 Server database

Spark企业级应用开发和调优

发布时间:2016-09-05 13:22:00 浏览:1424 评论 :0

1.Spark企业级应用开发和调优 Spark项目编程优化历程记录,主要介绍了Spark企业级别的开发过程中面临的问题和调优方法。包含合理分配分片,避免计算中间结果(大数据量)的collect,合理使用map,优化广播变量等操作,降低网络和磁盘IO,提高计算效率。 2.核心技术优化方法对比 首先如下图(2.1),Spark应用开发在集群(伪分布式)中的记录,每一种不

分布式 大数据 集群 spark 并行计算 数组

实例解析Docker数据卷+数据卷容器+flocker数据共享+DockerHub操作

发布时间:2016-08-21 19:55:00 浏览:1765 评论 :0

Docker内部数据管理和Docker之间的数据共享为数据卷和数据卷容器,实例解析1.将本地的文件作为容器的数据卷,2.数据卷flocker插件实现容器集群(或者Docker Swarm)的数据共享3.数据卷容器作为其他容器的数据卷.降低磁盘开销.4.数据的备份,恢复和迁移.5.Docker hub的常用操作. 1.0.数据卷(Data volumes) Data vol

python docker postgres ubuntu 镜像 集群 主机 容器 volume 插件 磁盘 hub 数据管理

Docker网络管理机制实例解析+创建自己Docker网络

发布时间:2016-08-09 20:49:00 浏览:1309 评论 :0

实例解析Docker网络管理机制(bridge network,overlay network),介绍Docker默认的网络方式,并创建自己的网络桥接方式,将开发的容器添加至自己新建的网络,提高Docker网络安全和通信. 1.给自己的docker (Dcoker1.12GA)容器起个名称 给docker名称的好处是: - 容易记 - 可以通过特殊命令,使得名

docker web 镜像 容器 Ping statistics network

创建Python数据分析的Docker镜像+Docker自定义镜像commit,Dockerfile方式解析+pull,push,rmi操作

发布时间:2016-08-07 13:15:00 浏览:1955 评论 :0

实例解析Docker如何通过commit,Dockerfile两种方式自定义Dcoker镜像,对自定义镜像的pull,push,rmi等常用操作,通过实例创建一个Python数据分析开发环境的Docker镜像.1.通过commit操作在一个已有的镜像上做更改而保存为新的镜像.2.实例解析Dockerfile自定义镜像原理过程和命令规则.3.实例解析对自定义镜像做pull,pu

python docker 镜像 容器 Image 数据分析 centos pip Commit wget

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

发布时间:2016-08-02 07:36:00 浏览:1951 评论 :0

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,

分布式 架构 hbase hdfs hadoop shell path 配置 test zookeeper 存储

Ubuntu16.04安装后开发环境配置和常用软件安装

发布时间:2016-07-26 22:36:00 浏览:2431 评论 :0

Ubuntu16.04安装后1.安装常用软件搜狗输入法+编辑器Atom+浏览器Chome+视频播放器vlc+图像编辑器GIMP Image Editor安装+视频录制软件RcordMyDesktop安装.2.开发环境配置.JDK环境配置+scala环境配置+nodejs环境配置+开发工具intellij IDEA安装+Python数据分析环境配置+Jupyter开发工具安装+

python ubuntu path 配置 scala 开发环境 开发工具 pip source dpkg

Ubuntu16.04安装Docker1.12+开发实例+hello world+web应用容器

发布时间:2016-07-21 17:45:00 浏览:1395 评论 :0

本次主要是详细记录Docker1.12在Ubuntu16.04上的安装过程,创建Docker组(避免每次敲命令都需要sudo),Docker常用的基本命令的总结,在容器中运行Hello world,以及创建一个基于Python Flask的web应用容器的全过程。 1.Docker1.12在Ubuntu16.04上安装 1.1.先决条件1,添加Docker源 wxl

python docker ubuntu web 配置 镜像 容器 update Socket Unix flask

云端基于Docker的微服务与持续交付实践

发布时间:2016-07-20 13:28:00 浏览:2164 评论 :0

云端基于Docker的微服务与持续交付实践笔记,是基于易立老师在阿里巴巴首届在线技术峰会上《云端基于Docker的微服务与持续交付实践》总结而出的。 本次主要讲了什么? Docker Swarm Docker Swarm mode 微服务支持(Docker集群架构体系) Docker的发展趋势和前沿成果 在Docker技术方面还是很佩服大牛的,所以赶紧写下笔记,追随大

架构 docker 阿里云 阿里巴巴 集群 微服务 持续集成 容器 持续交付 沙箱 版本管理 自动化运维 service single

Spark应用(app jar)发布到Hadoop集群的过程

发布时间:2016-07-19 16:13:00 浏览:1063 评论 :0

记录了Spark,Hadoop集群的开启,关闭,以及Spark应用提交到Hadoop集群的过程,通过web端监控运行状态。 1.绝对路径开启集群 (每次集群重启,默认配置的hadoop集群中tmp文件被清空所以需要重新format) 我的集群安装位置是/opt/hadoop下,可以根据自己路径修改。 /opt/hadoop/bin/hdfs namenode -f

hadoop http web cluster 集群 spark

7