JavaScript 3D渲染往后的 HTML 传到 GNE

无需加好友免费技术支持

第一时间送到优质文章！

文 | 青南

来源 | 开拓者

GNE（GeneralNewsExtractor）是通用性新闻网址文本提取控制模块，键入新闻网页页面 HTML， 导出文本具体内容、文章标题、创作者、发布日期、文本里的图片地址和文本所属标签的源码。GNE 提取今日今日头条，网易游戏新闻，游民星空 环球日报，新浪网，腾讯官方新闻，ReadHub、新浪网新闻等数百个我国新闻网站效果极好，基本上可以完成 准确度为100%。

应用简单方法：

GNE 的填写是 HTML 编码，因此 GNE 也可以使用 Selenium 或是 Pyppeteer 应用。

下图是 GNE 相互配合 Selenium 完成的一个 Demo：

相对应的编码为：

下图是 GNE 相互配合 Pyppeteer 达到的 Demo：

相匹配编码如下所示：

如今也可以用了 pip 组装 GNE 了：

假如浏览 pypi 官方网由来很慢，你也可以用网易游戏由来：

如图所示：

在 在不含有一切附加参数的情形下，方式只键入网页源码，GNE 回到下列字段名：

title：新闻文章标题

publish_time：新闻发布日期

author：新闻创作者

content：新闻文章正文

images: 文本里的图片(绝对路径或相对路径)

有的朋友很有可能希望获得新闻文本标签的源码，这时能够得出 方式传到参数，设为 True：

回到数据信息将加上一个字段名 ，它值相匹配于文本 HTML 源码。

如图所示：

默认设置前提下，假如新闻里的图片应用绝对路径，则 GNE 返回的 字段名相对应的值都是图片绝对路径的目录。

当你想一直妥协 GNE 回到相对路径，那么你能够给它 提升参数的办法是图片的网站域名，比如：

那样，假如新闻里的图片是 ，那样 GNE 回到的时候会全自动变为。

GNE 界定了一组 XPath 和正则表达式用以提取新闻文章标题。但是一些特殊新闻网址可能不能提取文章标题，这时你能给它们 方式特定提取新闻关键词的参数：

有一些新闻下边可能有废话连篇评论，看起来比新闻文本更像文本。为了避免她们影响新闻提取，能通过给与他们 此方法键入参数，并提早删掉这种噪音连接点。值是一个目录，其中一个或几个 XPath：

API 里的参数 、、、不仅立即入方式外，也可以通过环境变量设定。

请在项目网站根目录中创建文件 ，可以使用环境变量 YAML 也可以用格式 JSON 格式。

YAML 格式环境变量

JSON 格式环境变量

这几种书写彻底等额的。

环境变量与 方式参数同样，不是所有字段名都要给予。大家可以组成填好您可以的字段名。

倘若一个参数，既在 在环境变量中，方式中的参数优先比较高，但值不一样。

GNE 并不是网络爬虫，它项目规划 General News Extractor 表明通用性新闻提取器。它键入是 HTML，导出是一本字典，包含新闻文章标题、新闻文本、作者和发布日期。您可以试着获得总体目标网页页面 HTML。

GNE 如今不容易，未来都不会给予要求网页页面功能的。

GNE 不兼容换页 GNE 它不会给予网页页面要求功能的，因此你必须得到每一个网页页面 HTML，并分别传送 GNE。

不低于 Python 3.6.0

我就用 requests/Scrapy 获得的 HTML 传到 GNE，为什么不可以提取文章正文？

GNE 都是基于 HTML 提取文本，因此详细介绍 HTML 一定要通过 JavaScript 3D渲染往后的 HTML。而 requests 和 Scrapy 获得的只是 JavaScript 3D渲染前源码，没法恰当提取。

除此之外，还有一些网页页面，现如今日今日头条，其新闻文本事实上都是基于 JSON 格式立即写上网页源码上，当网页页面用浏览器上打开后，JavaScript 将源码里的文本剖析为 HTML。在这样的情况下，你一直在 Chrome 上边看不到 Ajax 要求。

因此建议你应用

Puppeteer/Pyppeteer/Selenium 根据3D渲染得到设备等专用工具 HTML 再传到 GNE。

原文链接：