从零开始,hg0088新2网址大全|官方网站论坛

快捷导航
广告联系qq1031180668广告位
查看: 35|回复: 0
打印 上一主题 下一主题

[python] python 爬虫如何使用代理IP

[复制链接]
  • ta_mind
    开心
    2019-8-2 17:46
  • classn_01: 19 classn_02

    [LV.4]偶尔看看III

    24

    主题

    30

    帖子

    108

    积分

    注册会员

    Rank: 2

    积分
    108
    QQ
    跳转到指定楼层
    楼主
    发表于 4?天前 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式

    作为一名数据采集者,我们都是知道,一个网站要是频繁访问都会被封IP,那要怎么解决这个问题呢?不可能一直频繁的更换设备,不光数据不能同步,这些设备的成本也是无法预计的,所以这个时候就需要代理IP了。以亿牛云(https://www.16yun.cn/)代理为例,代理IPpython的使用.
    ? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?? ?
    亿牛云官网提供了两种模式的代理使用方式
    1.优质API代理:通过api连接获取代理信息,返回的是ip和端口。? ?
    2.动态转发隧道代理:接入固定代理服务器,动态转发请求,无须切换IP,连接上代理服务器后,每一个请求都是一个随机IP,按照每秒的请求量进行收费。
    1 先获取api连接
    http://ip.16yun.cn:817/bills/sale_dashboard/
    在后台直接把代理连接拷贝到程序里面
    import requests
    # 生成的API链接
    url = 'http://http://ip.16yun.cn:817/myip/pl/111bad2b-7bc5-4903b-82d1-9a700fa132685/?s=gduffcpucm&u=dadada12
    resp = requests.get(url=url)
    if resp.status_code == 200:
    ? ? data_json = resp.text
    ? ? for d in data_json['msg']:
    ? ?? ???port = d['port']
    ? ?? ???ip = d['ip']
    ? ?? ???full_ip = ip + ':' + port
    ? ?? ???print(full_ip)
    程序配置好后直接启动程序就可以获取代理ip,然后把代理ip拼到请求参数里面就可以进行数据采集了。

    游客
    回复
    您需要登录后才可以回帖 登录 | 立即注册

    手机版|Archiver|小黑屋|sitemap| 从零开始,hg0088新2网址大全|官方网站论坛 - 一个单纯的hg0088新2网址大全|官方网站学习交流论坛 ( 豫ICP备15032706号 )

    GMT+8, 2019-8-20 10:32 , Processed in 1.662067 second(s), 23 queries .

    Powered by Discuz! X3.4

    ? 2001-2013 Comsenz Inc.

    快速回复 返回顶部 返回列表