Python如何多线程并发下载图片

最终效果

这就是我们最终要构建的效果。

Python如何多线程并发下载图片

Python如何多线程并发下载图片

安装依赖项

让我们安装每个人最喜欢的 requests 库。

pip install requests

现在,我们将看到一些用于下载单个 URL 并尝试自动查找图像名称以及如何使用重试的基本代码。

import requestsres = requests.get(img_url, stream=True)count = 1while res.status_code != 200 and count <= 5:    res = requests.get(img_url, stream=True)    print(f'Retry: {count} {img_url}')    count += 1

在这里,我们重试下载图像五次,以防失败。现在,让我们尝试自动找到图像的名称并保存它。

import more required libraryimport iofrom PIL import Image# lets try to find the image nameimage_name = str(img_url[(img_url.rfind('/')) + 1:])if '?' in image_name:    image_name = image_name[:image_name.find('?')]

解释

假设我们要下载的 URL 是:

instagram.fktm7-1.fna.fbcdn.net/vp…

好吧,这是一团糟。让我们分解一下代码对 URL 的作用。我们首先使用 rfind 找到最后一个正斜杠(/),然后选择之后的所有内容。这是结果:

65872070_1200425330158967_6201268309743367902_n.jpg?_nc_ht=instagram.fktm7–1.fna.fbcdn.net&_nc_cat=111

现在我们的第二部分找到一个 ?,然后只取它前面的任何东西。

这是我们最终的图像名称:

65872070_1200425330158967_6201268309743367902_n.jpg

这个结果非常好,适用于大多数用例。

现在我们已经下载了图像名称和图像,我们将保存它。

i = Image.open(io.BytesIO(res.content))i.save(image_name)

如果你在想,「我到底应该怎么使用上面的代码?」那么你的想法是正确的。这是一个漂亮的函数,我们在上面所做的一切都被扁平处理了。在这里,我们还测试了下载的类型是否为图像,以防找不到图像名称。

def image_downloader(img_url: str):    """    Input:    param: img_url  str (Image url)    Tries to download the image url and use name provided in headers. Else it randomly picks a name    """    print(f'Downloading: {img_url}')    res = requests.get(img_url, stream=True)    count = 1    while res.status_code != 200 and count <= 5:        res = requests.get(img_url, stream=True)        print(f'Retry: {count} {img_url}')        count += 1    # checking the type for image    if 'image' not in res.headers.get("content-type", ''):        print('ERROR: URL doesnot appear to be an image')        return False    # Trying to red image name from response headers    try:        image_name = str(img_url[(img_url.rfind('/')) + 1:])        if '?' in image_name:            image_name = image_name[:image_name.find('?')]    except:        image_name = str(random.randint(11111, 99999))+'.jpg'    i = Image.open(io.BytesIO(res.content))    download_location = 'cats'    i.save(download_location + '/'+image_name)    return f'Download complete: {img_url}'

现在,你可能会问:「这个人所说的多处理在哪里?」。

这很简单。我们将简单地定义我们的池并将我们的函数和图像 URL 传递给它。

results = ThreadPool(process).imap_unordered(image_downloader, images_url)for r in results:    print(r)

让我们把它放在一个函数中:

def run_downloader(process:int, images_url:list):    """    Inputs:        process: (int) number of process to run        images_url:(list) list of images url    """    print(f'MESSAGE: Running {process} process')    results = ThreadPool(process).imap_unordered(image_downloader, images_url)    for r in results:        print(r)

再一次,你可能会说,「这一切都很好,但我想立即开始下载我的 1000 张图像列表。我不想复制和粘贴所有这些代码并试图弄清楚如何合并所有内容。」

这是一个完整的脚本。它执行以下操作:

  • 以图像列表文本文件和进程号作为输入

  • 按照您想要的速度下载它们

  • 打印下载文件的总时间

  • 还有一些不错的函数可以帮助我们读取文件名并处理错误和其他东西

完整的脚本

# -*- coding: utf-8 -*-import ioimport randomimport shutilimport sysfrom multiprocessing.pool import ThreadPoolimport pathlibimport requestsfrom PIL import Imageimport timestart = time.time()def get_download_location():    try:        url_input = sys.argv[1]    except IndexError:        print('ERROR: Please provide the txt filen$python image_downloader.py cats.txt')    name = url_input.split('.')[0]    pathlib.Path(name).mkdir(parents=True, exist_ok=True)    return namedef get_urls():    """    通过读取终端中作为参数提供的 txt 文件返回 url 列表    """    try:        url_input = sys.argv[1]    except IndexError:        print('ERROR: Please provide the txt filen Example nn$python image_downloader.py dogs.txt nn')        sys.exit()    with open(url_input, 'r') as f:        images_url = f.read().splitlines()    print('{} Images detected'.format(len(images_url)))    return images_urldef image_downloader(img_url: str):    """    输入选项:    参数: img_url  str (Image url)    尝试下载图像 url 并使用标题中提供的名称。否则它会随机选择一个名字    """    print(f'Downloading: {img_url}')    res = requests.get(img_url, stream=True)    count = 1    while res.status_code != 200 and count <= 5:        res = requests.get(img_url, stream=True)        print(f'Retry: {count} {img_url}')        count += 1    # checking the type for image    if 'image' not in res.headers.get("content-type", ''):        print('ERROR: URL doesnot appear to be an image')        return False    # Trying to red image name from response headers    try:        image_name = str(img_url[(img_url.rfind('/')) + 1:])        if '?' in image_name:            image_name = image_name[:image_name.find('?')]    except:        image_name = str(random.randint(11111, 99999))+'.jpg'    i = Image.open(io.BytesIO(res.content))    download_location = get_download_location()    i.save(download_location + '/'+image_name)    return f'Download complete: {img_url}'def run_downloader(process:int, images_url:list):    """    输入项:        process: (int) number of process to run        images_url:(list) list of images url    """    print(f'MESSAGE: Running {process} process')    results = ThreadPool(process).imap_unordered(image_downloader, images_url)    for r in results:        print(r)try:    num_process = int(sys.argv[2])except:    num_process = 10images_url = get_urls()run_downloader(num_process, images_url)end = time.time()print('Time taken to download {}'.format(len(get_urls())))print(end - start)

将其保存到 Python 文件中,然后运行它。

python3 image_downloader.py cats.txt

这是 GitHub 存储库的链接。

用法

python3 image_downloader.py <filename_with_urls_seperated_by_newline.txt> <num_of_process>

这将读取文本文件中的所有 URL,并将它们下载到名称与文件名相同的文件夹中。

num_of_process 是可选的(默认情况下,它使用 10 个进程)。

例子

python3 image_downloader.py cats.txt

Python如何多线程并发下载图片

Python如何多线程并发下载图片

读到这里,这篇“Python如何多线程并发下载图片”文章已经介绍完毕,想要掌握这篇文章的知识点还需要大家自己动手实践使用过才能领会,如果想了解更多相关内容的文章,欢迎关注亿速云行业资讯频道。

文章标题:Python如何多线程并发下载图片,发布者:亿速云,转载请注明出处:https://worktile.com/kb/p/28773

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
亿速云的头像亿速云认证作者
上一篇 2022年9月22日 下午10:01
下一篇 2022年9月22日 下午10:02

相关推荐

  • WebView File域同源策略绕过漏洞实例分析

    基本知识Android架构 Kernel内核层 漏洞危害极大,通用性强 驱动由于多而杂,也可能存在不少漏洞 Libaries系统运行库层 系统中间件形式提供的运行库 包括libc、WebKit、SQLite等等 AndroidRunTime Dalvik虚拟机和内核库 FrameWork应用框架层 …

    2022年9月21日
    69600
  • 数据库mdf文件怎么还原

    数据库还原mdf文件的方法: 1、打开mssql2008 r2管理器。 2、右击“数据库—>附加”弹出附加操作窗体。 3、点击“添加”加入mdf文件。 4、如果只有mdf文件会显示log未找到。 5、选中log文件,点击“删除”删除log文件。 6、删除后点击“确定”附加数据库。 感谢各位的阅…

    2022年9月8日
    1.2K00
  • word字体放大怎么在页面中间

    word字体放大在页面中间的方法 1、首先选中我们需要放大的字体。 在悬浮框的字号中填写或者选择你需要的字号大小。 2、然后点击上方菜单栏中的居中功能。 3、然后点击上方菜单栏中的页面布局,找到页面设置。 4、点开后找到版式页面,在页面的垂直对齐方式中选择居中。 然后点击确定就可以了。 关于“wor…

    2022年9月10日
    69200
  • mysql hint的概念是什么

    在mysql中,hint指的是“查询优化提示”,会提示优化器按照一定的方式来生成执行计划进行优化,让用户的sql语句更具灵活性;Hint可基于表的连接顺序、方法、访问路径、并行度等规则对DML(数据操纵语言,Data Manipulation Language)语句产生作用。 本教程操作环境:win…

    2022年9月21日
    1.3K00
  • python中DataFrame数据合并merge()和concat()方法怎么用

    merge() 1.常规合并 ①方法1 指定一个参照列,以该列为准,合并其他列。 import pandas as pddf1 = pd.DataFrame({‘id’: [‘001’, ‘002’, ‘003’], ‘num1’: [120, 101, 104], ‘num2’: [110, 10…

    2022年9月21日
    1.6K00
  • mysql如何统计查询结果

    在mysql中,可以使用COUNT()函数来统计查询结果;该函数用于统计查询结果的行数,返回表中符合特定条件的记录行数。COUNT()函数有三种语法:1、“COUNT(*)”,返回总行数,包含NULL和非NULL值的行;2、“COUNT(字段名)”,返回不包含NULL值的行数,会忽略空值行;3、“C…

    2022年9月22日
    1.5K00
  • 开源WEB应用防火墙jxwaf怎么用

    jxwaf jxwaf(锦衣盾)是一款基于openresty(nginx+lua)开发的下一代web应用防火墙,独创的业务逻辑防护引擎和机器学习引擎可以有效对业务安全风险进行防护,解决传统WAF无法对业务安全进行防护的痛点。内置的语义分析引擎配合机器学习引擎可以避免传统WAF规则叠加太多导致速度变慢…

    2022年9月24日
    54000
  • mdf文件打开方法是什么

    mdf文件怎么开: 如果mdf是镜像文件,我们需要虚拟光驱进行加载,下载并安装Daemon Tools虚拟光驱软件,打开就行了。 如果mdf是数据库文件,我们需要使用SQLServer管理工具进行打开,打开后点击文件,选择导入连接,选择需要打开的mdf文件 1、找到要打开的数据库文件 2、该数据库文…

    2022年9月8日
    1.9K00
  • windows驱动精灵dx如何修复

    驱动精灵dx修复方法: 1、打开驱动精灵点击“百宝箱”。 2、点击右下方的“软件管理”。 3、在搜索栏中输入“Directx”。 4、找到“Directx 修复工具”点击“安装”即可。 感谢各位的阅读,以上就是“windows驱动精灵dx如何修复”的内容了,经过本文的学习后,相信大家对windows…

    2022年9月10日
    54000
  • mysql中not null是不是索引

    “not null”不是索引而是非空约束,用于指定字段的值不能为空;对于使用了非空约束的字段,如果添加数据时没有指定值,则会报错。设置非空约束的两种方法:1、建表时设置,语法“CREATE TABLE 表名(字段名 数据类型 NOT NULL);”;2、修改表时设置,语法“ALTER TABLE 表…

    2022年9月22日
    60100
站长微信
站长微信
电话联系

400-800-1024

工作日9:30-21:00在线

分享本页
返回顶部