如何抓取js动态生成的网页
用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。
用前嗅的ForeSpider数据采集软件可以抓取JS生成的网页。
可以考虑用phantonjs或者它的衍生物casperjs以及spookyjs。phontonjs是个无界面的浏览器，通过js代码来控制浏览器的浏览行为。casper在它上面封装了很多好用的API，很方便的实现点击、等待某元素出现等动作。
pip install scrapy-splash scrapy-splash使用的是Splash HTTP API， 所以需要一个splash instance，一般采用docker运行splash，所以需要安装docker。安装docker， 安装好后运行docker。
驱动浏览器内核，这个方法的优点是编程实现比较简单，只要学会了驱动浏览器的 api 就可以在很少的改动下用于很多不同网站的抓取。但是缺点也很明显，慢，占用的资源比较多，不如抓包分析获取数据灵活。
首先明确我指的动态数据是什么。名词定义：动态数据在这里指的是网页中由Javascript动态生成的页面内容，即网页源文件中没有，在页面加载到浏览器后动态生成的。下面进入正题。
phantomjs怎么抓取页面的动态数据
1、用dryscrape库动态抓取页面 js脚本是通过浏览器来执行并返回信息的，所以，抓取js执行后的页面，一个最直接的方式就是用python模拟浏览器的行为。
2、（如果是windows，cmd）命令行运行，liunx直接运行路径/phantomjs页面url图片存放地址三个参数，中间是空格。
3、利用WebBrowser控件。利用phantomjs这个开源项目。利用phantomjs的一个包装类库。
4、可以通过浏览器的调试功能，例如Firefox按F12，点网络标签，然后就可以看到网页的所有数据信息，网页通过AJAX异步加载的数据也可以得到。
js获取网页源代码
1、CodePen：CodePen更侧重于代码展示和分享，但它也是一个很好的资源平台，可以找到很多前端静态网页的示例代码。这些代码通常都是简洁并且容易理解的，非常适合初学者学习和参考。
2、查看api请求的参数，如果没参数，直接第5步。如果api的参数是在网页上面的。到页面去找api的参数。（参数都是且必须是有规律的，没规律的话他就不可能把网页做成动态的了。
3、方法在源代码中搜索视频格式为FLV、MP4等视频格式，可以找到视频文件的绝对路径或相对路径，将其复制到下载工具中就可以下载了。
如何抓取别人网站的js信息
1、js的数据比较麻烦了，一般采集器都搞不定，需要针对网站的js逻辑分析之后再想办法。不过也有做的很牛逼的采集，通吃任何js，iframe等，比如数据农场 这个就不需要分析js了，不过专业的好像要收费。不过价钱还算很实惠。
2、第一步：打开visual studio 2017 新建一个控制台项目，打开nuget包管理器。第二部：搜索Selenium，安装Selenium.WebDriver。注意：如果要使用代理的话最好安装0.0版本。第三步：写下如下图所示的代码。
3、有两种方式供选择我推荐第一种，一：去阅读相关的网页里的js和网页请求之后的header，通过hander知道这个获取这个信息的接口。通过httpclient来获知你想要的信息。
4、在站内寻找API入口；用搜索引擎搜索“某网站API”；抓包。有的网站虽然用到了ajax，但是通过抓包还是能够获取XHR里的json数据的（可用抓包工具抓包，也可以通过浏览器按F12抓包：F12-Network-F5刷新）。
5、打开浏览器，以google chrome为例，输入你上面的网址。然后按F12打开调试窗口，然后尝试勾选左边某一个选项，马上可以看到右边的调试窗口有东西输出。找到第一个输出的行，点击header，可以看到每一个都是用的post方法。
6、在网页中点右键，然后查看源文件，如果JS代码是直接写在HTML文件中的这样就能看到了，如果JS代码是在外部文件的，那就从HTML代码中找到js外部文件的网址，然后下载回来就能看了。
JS获取某DIV区域内图片或带ID属性的IMG图片代码
新建一个web项目 然后新建js文件和html文件 这是使用的是jquery 所以要引入jquery库。定义了一个p标签 我们接下来将在p标签中添加div。
首先通过js获取到当前img对象，可以使用document.getElementById()的方式，然后通获取到的对象的parentElement属性指向的就是当前元素的直接父级元素。
在test.html文件内，创建一个p模块，在p内，使用img标签创建一张图片，图片地址为images文件夹下面的jpg图片。在test.html文件内，设置img标签的id属性，下面将通过此id来绑定点击事件，例如，设置img标签的id属性为myimg。
用于触发执行js函数。在js标签内，创建函数，在函数内，使用getElementById()方法通过id（mydiv）获是div对象，再使用getElementsByTagName()方法获得div下面的p元素对象，最后，使用alert()方法输出p元素的内容。
document.getELementById(“id”).innerHTML；才可以获取到其中的内容。document.getElementById(con)获取的只是P标签，返回的[objectHTMLParagraphElement]。
关于js抓取代码和js 获取html代码的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。