一、线程 1、概念 线程 在一个进程的内部，要同时干多件事，就需要同时运行多个“子任务”，我们把进程内的这些“子任务”叫做线程 是操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。 线程通常叫做轻型的进程。线程是共享...

高效编程 一、多任务原理 概念 现代操作系统比如Mac OS X，UNIX，Linux，Windows等，都是支持“多任务”的操作系统 什么叫多任务？ 就是操作系统可以同时运行多个任务 单核CPU实现多任务原理 操作系统轮流让各个任务交替执行，QQ执行2us（微秒），切换到微信，在执行2us，再切换到陌...

三、requests模块处理cookie相关的请求 学习目标 掌握requests处理cookie的三种方法 1 爬虫中使用cookie 为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求 1.1 爬虫中使用cookie的利弊 带上cookie的好处 能够访问登录后的页面 ...

爬虫案例网址 Website Link 豆瓣影评 https://movie.douban.com/review/best/ 豆瓣电影 Top 250 https://movie.douban.com/top250?start=1 ...

一、urllib 的学习 学习目标 了解 urllib 的基本使用 1、urllib 介绍 除了 requests 模块可以发送请求之外，urllib 模块也可以实现请求的发送，只是操作方法略有不同! urllib 在 Python 中分为 urllib 和 urllib2，在 Python3 中为 urllib 下面以 Python3 的 urllib 为例进行讲解 2、ur...

前情摘要 一、web请求全过程剖析 我们浏览器在输入完网址到我们看到网页的整体内容, 这个过程中究竟发生了些什么? 我们看一下一个浏览器请求的全过程 接下来就是一个比较重要的事情了. 所有的数据都在页面源代码里么? 非也~ 这里要介绍一个新的概念 那就是页面渲染数据的过程, 我们常见的页面渲染过程有两种, 服务器渲染, 你需要的数据直接在页面源代码里能...

xpath 1、xpath安装与使用 安装 安装lxml库 pip install lxml -i pip源 2、解析流程与使用 解析流程 实例化一个etree的对象，把即将被解析的页面源码加载到该对象 调用该对象的xpath方法结合着不同形式的xpath表达进行标签定位和数据提取 使用 导入lxml.etree ...

beautifulsoup Docs https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 中文版 https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/ 一、beautifulsoup 的简单使用 简单来说，Beautiful Soup 是 Python 的一个库，最...

一、正则基础 1、为什么使用正则 需求 判断一个字符串是否是手机号 解决 编写一个函数，给函数一个字符串，如果是手机号则返回 True，否则返回 False 代码 def isPhone(phone): # 长度为 11 # 全部都是数字字符 # 以 1 开头 pass ...

HTML(HyperText Markup Language) 前言 软件架构 B/S ​ Browser/Server 网站 C/S ​ Client/Server QQ HTML的简介、发展史： 万维网联盟（W3C）维护。包含HTML内容的文件最常用的扩展名是.html，但是像DOS这样的旧操作系统限制扩展名为最多3个字符，所以.htm扩展名也被使用。虽...