开发者社区> 问答> 正文

linux下php多线程问题

今天遇到个问题,写了个程序从网上抓了150000个图片的地址,存到了txt文档中,每行存了一个图片的地址。现在想将图片下载下来,保存到本 机,但是下载的速度不是很快。所以用到了php在linux下面实现多线程,首先将txt文件拆成了10个大小相等的文件,每个文件存储了15000条图 片的地址,同时开启10个进行运行保存图片的程序,这样的时间可能就只是原来的1/10。下面将程序贴出来 ,大家指导一下有没有更好的方法。

function for_save_img($num)
 {
     for($i = 0; $i <= $num; $i++)
     {
         system("/usr/local/bin/php index.php crawl save_img {$i} & > /tmp/null");
     }
 }
 
 function save_img($num)
 {
     static $i = 0;
     //把文件读成一个数组
     $img_urllists = ROOTDIRPATH . "/static/image_{$num}.txt";
     $arr_img_url = file($img_urllists);
     foreach($arr_img_url as $imageurl)
     {
         $imageurl = trim($imageurl);
         echo $imageurl;
         $this->benchmark->mark("code_start");
         //存图片
         $final_imageurl = "http://www.****.com/upload/UploadFile/" . $imageurl;
         $img_open = file_get_contents($final_imageurl);
         $ret = file_put_contents(ROOTDIRPATH . '/static/uploadimg/' . $imageurl, $img_open);
         if($ret)
         {
             echo "Success......";
         }
         $this->benchmark->mark('code_end');
 
         echo $this->benchmark->elapsed_time('code_start', 'code_end');
     }
 }

该程序为ci框架下 在linux的shell下 网站的根目录运行 php index.php crawl for_save_img 大家有好的建议欢迎提出 虚心接受

展开
收起
a123456678 2016-06-12 17:04:03 2179 0
1 条回答
写回答
取消 提交回答
  • 调用system会连带启动shell环境的 ,所以, 拿fcntl_fork弄个进程池可以省掉$num个bash开销

    下载这种IO堵塞问题, 用stream_select弄一个简易协程更好一下, 不用线程进程的开销, 而且能跑满带宽

    2019-07-17 19:34:38
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Alibaba Cloud Linux 3 发布 立即下载
ECS系统指南之Linux系统诊断 立即下载
ECS运维指南 之 Linux系统诊断 立即下载