实现网络图片爬虫,只需5秒快速把整个网页上的图片全下载打包zip

  1. 云栖社区>
  2. 博客>
  3. 正文

实现网络图片爬虫,只需5秒快速把整个网页上的图片全下载打包zip

不淡定的哥 2019-01-28 21:55:39 浏览468
展开阅读全文

我们经常需要用到互联网上的一些共享资源,图片就是资源的一种,怎么把网页上的图片批量下载下来?有时候我们需要把网页上的图片下载下来,但网页上图片那么多,怎么下载我们想要的东西呢,如果这个网页都是我们想要的图片,难道我们要一点一点一张一张右键下载吗? 当然不好,这里提供一段Java实现的网络爬虫抓图片代码,程序员同志有喜欢的记得收藏哦,

这个工具我已经发布了,地址就是:http://www.yzcopen.com/img/imgdown

材料:必须会java开发,用到的核心jar Jsoup自己去网上下载很多。

以下是我已经实现的界面化的抓取图片的在线工具,有兴趣的朋友可以按照图片地址打开看看

实现网络图片爬虫,只需5秒快速把整个网页上的图片全下载打包zip

下图是抓取效果网络上随便找第一个美女图片网站

实现网络图片爬虫,只需5秒快速把整个网页上的图片全下载打包zip

实现网络图片爬虫,只需5秒快速把整个网页上的图片全下载打包zip

这个是要抓取的网站的主界面:


这里是抓取的结果已经到我本地电脑了


下面是实现代码:

/**

*模拟用户请求

*/

public final static String UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.6821.400

QQBrowser/10.3.3040.400";

/*

*

*抓取全部图片地址 备注:zfilepath是zip文件路径 url是网页地址 pp是img的其中属性一般是src即可

*/

public static boolean getImgSrc(String zfilepath,String url,String pp){

boolean isb =false;

// 利用Jsoup获得连接

Connection connect = Jsoup.connect(url).timeout(5000);

connect.header("Connection", "Keep-Alive");

connect.header("Content-Type", "application/x-www-form-urlencoded");

connect.header("Accept-Encoding", "gzip, deflate, sdch");

connect.header("Accept", "*/*");

connect.header("User-Agent",Const.UserAgent);

ZipOutputStream out = null;

try {

// 得到Document对象

Document document = connect.ignoreContentType(true).timeout(5000).get();

// 查找所有img标签

Elements imgs = document.getElementsByTag("img");

File zipfile = new File(zfilepath);

out=new ZipOutputStream(new FileOutputStream(zipfile));

int i=1;

List<String> listimg = new ArrayList<String>();

for (Element element : imgs) {

//获取每个img标签URL "abs:"表示绝对路径

String imgSrc = element.attr("abs:"+pp);

listimg.add(imgSrc);

}

listimg = removeCf(listimg);

if(listimg!=null && listimg.size()>0){

for(int x=0;x<listimg.size();x++){

long stime = System.currentTimeMillis();

String imgSrc =listimg.get(x);

// 打印URL

System.out.println(imgSrc);

//下载图片到本地

boolean is = downImages(imgSrc,out);

long etime = System.currentTimeMillis();

float alltime = (float)(etime - stime)/1000;

Map<String,String> rest = new HashMap<String,String>();

rest.put("img",imgSrc);

rest.put("time",(alltime)+"");

rest.put("num",i+"");

rest.put("status","true");

if(is){

rest.put("http","成功");

}else{

rest.put("http","失败");

}

i++;

}

Map<String,String> rest1 = new HashMap<String,String>();

rest1.put("status","true");

rest1.put("msg","打包完成");

System.out.println("下载完成");

isb =true;

}else{

Map<String,String> rest1 = new HashMap<String,String>();

rest1.put("status","true");

rest1.put("msg","未抓取到数据,有可能反爬虫了");

client.sendEvent("chatevent", rest1);

}

} catch (IOException e) {

e.printStackTrace();

Map<String,String> rest = new HashMap<String,String>();

rest.put("status","false");

} catch (InterruptedException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}finally{

try {

if(out!=null){

out.close();

}

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

return isb;

}

/**

* 下载图片到指定目录

*

* @param filePath 文件路径

* @param imgUrl 图片URL

*/

public static boolean downImages(/*String filePath,*/ String imgUrl,ZipOutputStream outStream) {

boolean is = false;

// 若指定文件夹没有,则先创建

/* File dir = new File(filePath);

if (!dir.exists()) {

dir.mkdirs();

}*/

// 截取图片文件名

String fileName = imgUrl.substring(imgUrl.lastIndexOf('/') + 1, imgUrl.length());

try {

// 文件名里面可能有中文或者空格,所以这里要进行处理。但空格又会被URLEncoder转义为加号

String urlTail = URLEncoder.encode(fileName, "UTF-8");

// 因此要将加号转化为UTF-8格式的%20

imgUrl = imgUrl.substring(0, imgUrl.lastIndexOf('/') + 1) + urlTail.replaceAll("\+", "\%20");

/**

* 验证图片格式保证获取动态图片

*/

fileName = vidImg(fileName);

if(fileName.equals("")){

return is;

}

} catch (UnsupportedEncodingException e) {

e.printStackTrace();

}

// 写出的路径

InputStream in = null;

try {

// 获取图片URL

URL url = new URL(imgUrl);

// 获得连接

HttpURLConnection connection = (HttpURLConnection) url.openConnection();

connection.setRequestProperty("User-Agent",Const.UserAgent);

// 设置10秒的相应时间

connection.setConnectTimeout(10 * 1000);

// 获得输入流

in = connection.getInputStream();

byte[] data=readInputStream(in);

outStream.putNextEntry(new ZipEntry(fileName));

outStream.write(data);

is = true;

return is;

} catch (MalformedURLException e) {

e.printStackTrace();

} catch (IOException e) {

e.printStackTrace();

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}finally{

try {

outStream.closeEntry();

in.close();

} catch (IOException e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

}

return is;

}

/**

* 去除重复的图片

* @param list

* @return

*/

public static List<String> removeCf(List<String> list){

List<String> listTemp = new ArrayList<String> ();

for(int i=0;i<list.size();i++){

if(!listTemp.contains(list.get(i))){

listTemp.add(list.get(i));

}

}

return listTemp;

}

喜欢的记得收藏哦


网友评论

登录后评论
0/500
评论
不淡定的哥
+ 关注