第1章 数据库介绍 1 数据库概述 什么是数据库 数据库就是存储数据的仓库，其本质是一个文件系统，数据按照特定的格式将数据存储起来。用户可以对数据库中的数据进行增加，修改，删除及查询操作。 集合、文件、数据库，三者进行存储数据的对比： 集合：数据存储在内存中；问题是，一旦程序执行完毕了，数据消失了，数据不能永久性的储存。 文件：数据储存在磁盘中，可以永久性...

学习目标： 应用 scrapy中使用中间件使用随机UA的方法 了解 scrapy中使用代理ip的的方法 1、scrapy中间件的分类和作用 1.1 scrapy中间件的分类 根据scrapy运行流程中所在位置不同分为： 下载中间件 爬虫中间件 1.2 scrapy中间的作用 主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构...

一、模拟登陆 学习目标： 应用 scrapy直接携带cookie模拟登陆的方法 应用 scrapy.FormRequest()发送post请求进行登陆 1、回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies请求页面 找url地址，发送post请求存储cookie 1.2 selenium是如何模拟登陆的...

Overview 今日内容 Lock 接口 线程通信，等待与唤醒 多生产多消费 Condition 接口 线程池思想 JDK 提供的线程池 Callable 和 Future 接口 Timer 定时器 教学目标 能够理解等待唤醒案例 能够说出 sleep 和 wait 方法区别 能够说出 Lock 接口的特点 能够使用 Lock ...

Overview 今日内容 进程概念 线程概念 线程的创建方式 线程名字设置获取 线程安全问题引发 同步代码块 同步方法 死锁 教学目标 说出进程的概念 说出线程的概念 能够使用继承类的方式创建多线程 能偶获取线程的名字 能够使用实现接口的方式创建多线程 能够说出实现接口方式的好处 能够解释安全问题的出现的原因 能...

集合-3 第一章 Map 集合 1.1 概述 现实生活中，我们常会看到这样的一种集合：IP地址与主机名，身份证号与个人，系统用户名与系统用户对象等，这种一一对应的关系，就叫做映射。Java提供了专门的集合类用来存放这种对象关系的对象，即java.util.Map接口。 我们通过查看Map接口描述，发现Map接口下的集合与Collection接口下的集合，它们存储数据的形式不同，如下图...

Scrapy深入使用-存储 scrapy的深入使用 学习目标： 了解 scrapy debug信息 了解 scrapy shell的使用 掌握 scrapy的settings.py设置 掌握 scrapy管道(pipelines.py)的使用 掌握scrapy下载图片 1、了解scrapy的debug信息 2、了解scrapyShell scrap...

集合-2 第一章 Collections工具类 1.1 概述 java.util.Collections此类完全由在 collection 上进行操作或返回 collection 的静态方法组成。 1.2 常用方法 public static void shuffle(List<?> list) ：打乱集合顺序。 public static <T>...

集合-1 第一章 对象数组 数组是容器，既可以存储基本数据类型也可以存储引用数据类型，存储了引用数据类型的数组称为对象数组，例如：String[]，Person[]，Student[]。 public static void main(String[] args){ // 创建存储Person对象的数组 Person[] persons = { new ...

1.ArrayList 1.1ArrayList类概述【理解】 什么是集合 ​ 提供一种存储空间可变的存储模型，存储的数据容量可以发生改变 ArrayList集合的特点 ​ 底层是数组实现的，长度可以变化 泛型的使用 ​ 用于约束集合中存储元素的数据类型 1.2ArrayList类常用方法【应...