Scrapy框架 01
Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及mongodb数据库,那么接下来会我们学习一个上场率非常高的爬虫框架:scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标: 了解 scrapy的概念 掌握 scrapy框架的运行流程 掌握 s...
Scrapy框架 一、前言 1、介绍 前面我们学习了基础的爬虫实现方法和selenium以及mongodb数据库,那么接下来会我们学习一个上场率非常高的爬虫框架:scrapy 2、内容 scrapy的基础概念和工作流程 scrapy入门使用 二、scrapy的概念和流程 学习目标: 了解 scrapy的概念 掌握 scrapy框架的运行流程 掌握 s...
Overview 主要内容 Math 类 BigInteger 类 BigDecimal 类 基本类型包装类 异常 教学目标 能够使用 Math 类的方法 能够说出自动装箱、自动拆箱的概念 能够将基本类型转换为对应的字符串 能够将字符串转换为对应的基本类型 能够使用 BigInteger 类的加减乘除方法 能够使用 BigDecima...
主要内容 Object类 日期类 日期格式化 日历类 System Arrays 正则表达式 教学目标 能够说出Object类的特点 能够重写Object类的toString方法 能够重写Object类的equals方法 能够使用将日期格式化为字符串的方法 能够使用将字符串转换成日期的方法 能够使用日历对象的方法 能够使用M...
今日内容 final static 访问权限 内部类 引用类型参数 教学目标 描述final修饰的类的特点 描述final修饰的方法的特点 描述final修饰的变量的特点 能够掌握static关键字修饰的变量调用方式 能够掌握static关键字修饰的方法调用方式 能够写出静态代码块的格式 能够说出权限修饰符作用范围 ...
一、面向对象基础 1、面向对象思想简介 软件编程就是将我们的思维转变成计算机能够识别语言的一个过程 什么是面向过程? 自上而下顺序执行,逐步求精 其程序结构是按功能划分为若干个基本模块,这些模块形成一个树状结构; 各模块之间的关系尽可能简单,在功能上相对独立 每一模块内部均是由顺序、选择和循环三种基本...
今日内容 接口 多态 教学目标 能够写出接口的定义格式 能够写出接口的实现格式 能够说出接口中的成员特点 能够说出接口和抽象类的区别 能够说出多态的前提 能够写出多态的格式 能够理解多态向上转型和向下转型 能够完成笔记本案例 第一章 接口 1.1 概述 接口,是Java语言中一种引用类型,是方法的集合,如果说类的内部封装了成员变量、...
今日内容 继承 方法重写 this/super关键字 抽象类 教学目标 能够写出类的继承格式 能够说出继承的特点 能够区分this和super的作用 能够说出方法重写的概念 能够说出方法重写的注意事项 能够写出抽象类的格式 能够写出抽象方法的格式 能够完成员工类综合案例 第一章 面向对象回顾 1.1 类与对象 什么是...
selenium 一、前期准备 1、概述 selenium本身是一个自动化测试工具。它可以让python代码调用浏览器。并获取到浏览器中加载的各种资源。 我们可以利用selenium提供的各项功能。 帮助我们完成数据的抓取。 2、学习目标 掌握 selenium发送请求,加载网页的方法 掌握 selenium简单的元素定位的方法 掌握 selenium的基础属性和方法...
抓取m3u8视频 1、思路分析 视频url:https://www.9tata.cc/play/96310-4-0.html 上面那个资源被删了,笑死了 https://www.9tata.cc/play/13408-0-0.html 打开网址分析当前视频是由多个片段组成还是单独一个视频 如果是一个单独视频,则找到网址,直接下载即可,如果为多个片段的视频,则需要找到片段的文件进...
一、协程 概念 协程 又称微线程(纤程),是一种用户态的轻量级线程 子程序 在所有的语言中都是层级调用的,比如A中调用B,B在执行过程中调用C,C执行完返回,B执行完返回,最后是A执行完毕。这是通过栈实现的,一个函数就是一个执行的子程序,子程序的调用总是有一个入口、一次返回,调用的顺序是明确的 理解协程 ...