首页 > 家居生活 > 办公经验 >

Python 获取兴趣悬赏经验

来源:互联网 2023-03-17 23:48:31 217

百度悬赏经验有钱赚,但是要想找到自己感兴趣的悬赏经验还真不是一个“高兴”的事情,如何让自己高兴起来,简单快速找到自己感兴趣的助学经验呢?本文将介绍如何通过Python编写程序来完成此任务。oIm办公区 - 实用经验教程分享!

工具/原料

  • Python
  • Zend Studio Pydev

一、简单介绍

  • 1

    百度悬赏经验有钱赚,但是要想找到自己感兴趣的悬赏经验还真不是一个“高兴”的事情,本文将介绍如何通过Python编写程序来查找兴趣悬赏经验的方法。oIm办公区 - 实用经验教程分享!

  • 1此文章未经许可获取自百度经验
  • 2

    用Python获取网页数据通常用urllib和Beautiful Soup模块oIm办公区 - 实用经验教程分享!

    其中urllib为Python自有模块,不需要安装。oIm办公区 - 实用经验教程分享!

    Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库,它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。Beautiful Soup会帮你节省数小时甚至数天的工作时间。oIm办公区 - 实用经验教程分享!

    为Python安装BeautifulSoup模块,其命令为:oIm办公区 - 实用经验教程分享!

    pipinstallbeautifulsoup4oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 二、数据获取页面调查

  • 1

    打开百度经验悬赏令可见:oIm办公区 - 实用经验教程分享!

    1、访问地址为:https://jingyan.baidu.com/patch?cid=0&pn=0oIm办公区 - 实用经验教程分享!

    其中cid参数表示全部,pn表示记录偏移量,pn值/15 1即为页数oIm办公区 - 实用经验教程分享!

    2、每页显示了15条记录,见图红色框选部分oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 2

    右击悬赏列表,选择“检查”(我使用的是谷歌浏览器,不同浏览器可能不同),查看原代码。oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 3

    通过查看网页原代码可见,悬赏列表均在CSS类为“query-content”所在的div标签内oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 三、代码书写

  • 1

    新建一个Python文件,并输入初始代码,导入urllib和Beautiful Soup模块。oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 2

    设置搜索列表,书写自己感兴趣的关键字oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 3

    设置查找结束记录值、每页记录数及访问地址oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 4

    获取页面悬赏记录并查找兴趣悬赏经验oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 5

    运行程序查看结果,如果找到则可根据所显示的page值,定位到相关页面领取,即:oIm办公区 - 实用经验教程分享!

    https://jingyan.baidu.com/patch?cid=0&pn= page值oIm办公区 - 实用经验教程分享!

    ( 号不必写入)oIm办公区 - 实用经验教程分享!

    如:oIm办公区 - 实用经验教程分享!

    page=0675 python 高效编程技巧实战oIm办公区 - 实用经验教程分享!

    则打开页面:oIm办公区 - 实用经验教程分享!

    https://jingyan.baidu.com/patch?cid=0&pn=675oIm办公区 - 实用经验教程分享!

    Python 获取兴趣悬赏经验oIm办公区 - 实用经验教程分享!

  • 四、附:全部代码

  • 1

    #!/usr/bin/env python3oIm办公区 - 实用经验教程分享!

    # encoding: utf-8oIm办公区 - 实用经验教程分享!

    oIm办公区 - 实用经验教程分享!

    '''oIm办公区 - 实用经验教程分享!

    Created on 2018年8月29日oIm办公区 - 实用经验教程分享!

    @author: 王佳辉oIm办公区 - 实用经验教程分享!

    '''oIm办公区 - 实用经验教程分享!

    oIm办公区 - 实用经验教程分享!

    from urllib.request import urlopenoIm办公区 - 实用经验教程分享!

    from bs4 import BeautifulSoupoIm办公区 - 实用经验教程分享!

    oIm办公区 - 实用经验教程分享!

    searchList = ['word', 'excel', 'ppt',oIm办公区 - 实用经验教程分享!

    'php', 'python', 'vb',oIm办公区 - 实用经验教程分享!

    'window',oIm办公区 - 实用经验教程分享!

    'js', 'html', 'css',oIm办公区 - 实用经验教程分享!

    '计算机']oIm办公区 - 实用经验教程分享!

    oIm办公区 - 实用经验教程分享!

    searchEnd = 1000oIm办公区 - 实用经验教程分享!

    recordPerPage = 15oIm办公区 - 实用经验教程分享!

    url = "https://jingyan.baidu.com/patch?cid=0&pn="oIm办公区 - 实用经验教程分享!

    oIm办公区 - 实用经验教程分享!

    # 遍历查找第0条记录到指定结束记录(不包含指定记录)oIm办公区 - 实用经验教程分享!

    for page in range(0, searchEnd, recordPerPage):oIm办公区 - 实用经验教程分享!

    # 获取网页原代码oIm办公区 - 实用经验教程分享!

    html = urlopen(url str(page))oIm办公区 - 实用经验教程分享!

    # BeautifulSoup解析原代码oIm办公区 - 实用经验教程分享!

    bsObj = BeautifulSoup(html.read(), 'html.parser')oIm办公区 - 实用经验教程分享!

    # 遍历悬赏列表div标签中的所有链接oIm办公区 - 实用经验教程分享!

    for link in bsObj.find('div', {'class':'query-content'}).find_all('a'):oIm办公区 - 实用经验教程分享!

    # 将链接文本转换为小写字母oIm办公区 - 实用经验教程分享!

    linkText = link.get_text().lower()oIm办公区 - 实用经验教程分享!

    # 查找是否有自己感兴趣的关键字oIm办公区 - 实用经验教程分享!

    for sear in searchList:oIm办公区 - 实用经验教程分享!

    # 找到则显示oIm办公区 - 实用经验教程分享!

    if linkText.find(sear) != -1:oIm办公区 - 实用经验教程分享!

    print('page=d %s' % (page, link.get_text()))oIm办公区 - 实用经验教程分享!

    oIm办公区 - 实用经验教程分享!

    print('运行结束')oIm办公区 - 实用经验教程分享!

  • 注意事项

    • 需要注意的就是爽
    • 大数据量的采集会被百度禁止,只是我们查找兴趣悬赏,每天运行一次或两次即可,访问记录数量不宜过大,如有必要可以在每页采集后暂停几秒

    以上方法由办公区教程网编辑摘抄自百度经验可供大家参考!oIm办公区 - 实用经验教程分享!


    标签: python百度经验

    办公区 Copyright © 2016-2023 www.bgqu.net. Some Rights Reserved. 备案号:湘ICP备2020019561号统计代码