Python查询MySQL进行远程采集图片实例


这是四五年以前做小说站采集图片时写过唯一一次 Python 代码

#!/usr/bin/python
#-*-coding:utf-8-*-
                       
import MySQLdb, os, socket, time;
import MySQLdb.cursors;
import urllib
                       
User = 'root';
Passwd = '123';
Host = 'localhost';
Db = 'database_name';
conn = MySQLdb.connect(user=User,passwd=Passwd,host=Host,db=Db);
mysql = conn.cursor(cursorclass = MySQLdb.cursors.DictCursor);
                       
mysql.execute("select * from image order by id asc");
result = mysql.fetchall();
                       
startTime = time.time();
                       
timeout = 10; # in seconds
socket.setdefaulttimeout(timeout);
                       
for row in result:
  dir = os.path.dirname(row['path']);
                       
  if not os.path.exists(dir):
    os.makedirs(dir);
    os.chmod(dir, 0777);
    os.chmod(os.path.dirname(dir), 0777);
                       
  data = urllib.urlretrieve(row['url'], row['path']);
  os.chmod(row['path'], 0777);
                       
  mysql.execute("delete from image where id = %d", row['id']);
                         
  passTime = int(time.time()) - int(startTime);
  if passTime >= 1750:
    break;
                       
  print str(row['id']);
                       
mysql.close();
conn.close();

优质内容筛选与推荐>>
1、几个数据库的驱动、连接
2、datawhale爬虫task04
3、股票配资中需要注意的细节
4、《你的灯还亮着吗》读书笔记3
5、Enterprise Library 4.1 Policy Injection Block 快速使用图文笔记


长按二维码向我转账

受苹果公司新规定影响,微信 iOS 版的赞赏功能被关闭,可通过二维码转账支持公众号。

    阅读
    好看
    已推荐到看一看
    你的朋友可以在“发现”-“看一看”看到你认为好看的文章。
    已取消,“好看”想法已同步删除
    已推荐到看一看 和朋友分享想法
    最多200字,当前共 发送

    已发送

    朋友将在看一看看到

    确定
    分享你的想法...
    取消

    分享想法到看一看

    确定
    最多200字,当前共

    发送中

    网络异常,请稍后重试

    微信扫一扫
    关注该公众号