假期必看全网最全Ph爬虫库
1、Mechanical Soup一一个与网站自动交互Python库。mechanize-有状态、可编程的Web浏览库。socket-底层网络接口(stdlib) 。1Uni rest for Python-Uni rest是一套可用于多种语言的 轻量级的HTTP库。
2、urllib(Python3)，这是Python自带的库，可以模拟浏览器的请求，获得Response用来解析，其中提供了丰富的请求手段，支持Cookies、Headers等各类参数，众多爬虫库基本上都是基于它构建的。
3、requests 这个库是爬虫最常用的一个库 Selenium Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作 对于一些用JS做谊染的页面来说，这种抓取方式是非常有效的。
redis客户端选型-Jedis、lettuce、Redisson
lettuce： 高级redis客户端，支持各种模式的redis连接和操作，高级特性几乎没有。 Redisson： 高级redis客户端，支持各种模式的redis连接和操作，同时提供一大堆的实用功能。
我是使用java语言开发的，针对java语言，redis client也提供了多种客户端支持，按照推荐类型依次是：Jedis、Redisson、JRedis、JDBC-Redis、RJC、redis-protocol、aredis、lettuce。
Jedis是一个Java语言编写的用于连接和操作Redis数据库的客户端库。Redis是一个基于内存的高性能键值存储系统，Jedis提供了一组用于与Redis进行通信的Java API，允许开发人员在Java应用程序中使用Redis数据库。
Redis数据的过期与淘汰
会。Redis提供了自动的键过期功能，通过该功能，用户可以让特定的键在指定的时间之后自动被移除，从而避免了需要在指定时间内手动执行删除操作的麻烦，所以redis数据会自动过期。
那对于过期数据，一般有三种方式进行处理：Redis的过期删除策略： 惰性删除 和 定期删除 两种策略配合使用。spring-boot-starter-data-redis 包中提供了监听过期的类，对于key过期，需要得到通知，做业务处理的，可以做此监听。
Redis 对于已经过期的数据，采用两种策略来处理这些数据，分别是惰性删除和定期删除。惰性删除不会去主动删除数据，而是在访问数据的时候，如果发现数据已经过期，就会自动删除。
redis根据maxmemory-samples随机抽取一部分数据，将最旧的数据淘汰，指到内存降下来。
采用过期策略。redis淘汰机制的存在是为了更好的使用内存，用一定的缓存丢失来换取内存的使用效率，该淘汰机制采用过期策略避免删掉不常用的key，定期删除redis默认是每隔100ms就随机抽取一些设置了过期时间的key。
所以，虽然key过期了，但是没被清理的话，还是会占内存的。内存淘汰管理机制Memory Management 当内存占满之后，redis提供缓存淘汰机制。
关于nodejs下redis/mysql需不需要连接池的问题
1、nodejs是个单线程的过程，异步处理很方便，redis又支持pipelining，通过异步处理，可以在复用一个连接的情况下完成大部分任务。
2、node.js使用redis也是应该配置连接池的。
3、建议使用中间件连接，操作数据库的代码更加简单。我们的后台接口就是用的中间件连接。nodejs的设计特点，使得他本身就很快，即使是读写数据库这样耗时的操作。用连接池的目的其实就是想就加快数据库的IO速度。
想要系统学习java到底要学习哪些知识
第一阶段：企业入门级项目阶段，可掌握Java核心基础、面向对象、JavaSE API、MySQL数据库、JDBS、HTML+CSS、Servlet、JSP、JavaScript等，可以完成常见中小型互联网项目开发，达到初级Java开发工程师能力。
学习Java应该掌握的内容有 Java SE部分 初级语法，面向对象，异常，IO流，多线程，Java Swing，JDBC，泛型，注解，反射等。数据库部分，基础的sql语句，sql语句调优，索引，数据库引擎，存储过程，触发器，事务等。
更系统全面的学习资料，点击查看学习Java编程语言需要掌握以下几个主要方面的知识： Java语言基础：学习Java编程语言的第一步是掌握基本的语法规则、数据类型、运算符、流程控制等基础知识。
面向对象的知识 Java是一个面向对象的开发语言，因此熟悉面向对象对学习Java很有必要，您要了解：什么是对象，什么是类；什么是封装，什么是多态，什么是继承；什么是抽象类，什么是接口。
redis任务池的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于redis应用在任务队列场景中、redis任务池的信息别忘了在本站进行查找喔。