Python 《零基础:21天搞定Python分布爬虫》csv模块

import csv def readlist():     # 列表的方式读取     with open('csv.csv','r',encoding='utf-8') as fp:         reader

高蒙 2019/04/01 16:26 1.8k浏览 0评论


Python 《零基础:21天搞定Python分布爬虫》练习-百思不得姐-精华抓取

import threading import requests from queue import Queue from lxml import etree import re import csv import time csv_header_num = 0 # 生产者 class Producter(thread

高蒙 2019/04/01 16:23 1.8k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》练习-斗图啦(多线程)

from urllib import request from lxml import etree from queue import Queue import requests import os import re import threading IMAGES_DIR = './images/' #

高蒙 2019/04/01 16:22 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》练习-斗图啦(传统抓取)

import requests from urllib import request from lxml import etree import os import re IMAGES_DIR = './images/' def parse_url(url):     headers =&n

高蒙 2019/04/01 16:21 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》GIL全局解释器锁

GIL虽然是一个假的多线程。但是在处理一些IO操作(比如文件读写与网络请求)还是可以在很大程度上提高效率的。 在IO操作上建议使用多线程提高效率,在一些CPU计算密集的操作上不建议使用多线程,而是建议使用多线程。

高蒙 2019/04/01 16:19 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》Queue线程安全队列

from queue import Queue # q = Queue(3) # 设置队列最大的长度 # q.empty() # 判断队列是否为空 True False # q.qsize() # 判断队列的大小 # q.full() # 判断队列是都满了 True False

高蒙 2019/04/01 16:18 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》Condition版生产者与消费者模式

import threading import random import time gMoney = 1000  # 初始化金额 gConsition = threading.Condition()  # 锁 gTotalTimes = 10  # 总次数 gTimes = 0&n

高蒙 2019/04/01 16:17 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》Lock生成者与消费者模式

import threading import random import time gMoney = 1000  # 初始化金额 gLock = threading.Lock()  # 锁 gTotalTimes = 10  # 总次数 gTimes = 0  

高蒙 2019/04/01 16:15 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》多线程共享全局变量-锁

import threading VALUE = 0 gLock = threading.Lock() def add_value():     global VALUE     gLock.acquire()  # 加锁     for x

高蒙 2019/04/01 16:14 1.9k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》threading模块(类的方式)

import threading import time # 用类的方式去实现多线程 class CodingThread(threading.Thread):     def run(self):         for i in range(3):   &

高蒙 2019/04/01 16:13 2.0k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》threading模块(原始方式)

import threading import time def codeing():     for i in range(3):         print('正在写代码%s' % threading.current_thread())   

高蒙 2019/04/01 16:11 1.9k浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》练习-豆瓣电影

import requests from lxml import etree urls = 'https://movie.douban.com/cinema/nowplaying/nanjing/' headers = {     'Referer':'https://movie.douban.com/', &n

高蒙 2019/04/01 16:10 357浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》练习-古诗文网

import requests import re def main():     url = 'https://www.gushiwen.org/default_1.aspx'     headers = {         

高蒙 2019/04/01 16:09 308浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》练习-电影天堂

import requests from lxml import etree urls = 'https://www.dy2018.com/html/gndy/dyzz/index_12.html' BASE_URL = 'https://www.dy2018.com' headers = {     '

高蒙 2019/04/01 16:08 196浏览 0评论

Python 《零基础:21天搞定Python分布爬虫》练习-腾讯招聘

import requests from lxml import etree import json BASE_URL = 'https://hr.tencent.com/' headers = {     'Referer': 'https://hr.tencent.com/position.php&#

高蒙 2019/04/01 16:07 215浏览 0评论

...

高蒙

男, PHP程序猿

文章

484

标签

41

热度

10w+

南京, 江苏, 中国

人生要是没有理想, 那跟咸鱼有什么分别。