常见问题解疑

探知 • 创造美好

不断超越客户的期望值,源自我们对这个行业的热爱

3bmmm.com栏目导航 - 3bmmm.com

来源:常见问题解疑 - 远策科技 | 2022-01-24 继续了解

火车采集器几乎所有网页都能采集,用途很广。 对照阅读比如网站采集内容、采集数据挖掘客户、舆情监测、文件批量下载等。我日常主要用于网站日常采集文章,今天分享下如何通过火车采集器得到一个”标准“的内容。


这里所谓的标准,是所采集的文章每一个段落都是

,没有多余的HTML标签和与主题无关的字符。这里我们可以通过 纯正则替换 达到我们的目的。


以下为一些常用的 纯正则替换 规则示例:


清除与正文无关的内容

正则

[\s\S]*?
|| |规则4|规则5 

替换空

如文中的广告,注释等。 继续了解例如如果发布到一些免费平台,有的HTML特殊字符并不会被转化,只需在末尾加入'|&.*?;'过滤掉最后特殊HTML字符即可。


只保留图片以及常用的块级元素

正则 (?i)<(?!/?h|/?p|/?div|br|img).*?> 

替换空

只保留标题标签 h 分段标签 p、div、br 以及图像标签 img ;前面的(?i)表示不区分大小写


把标签修改为p

正则<(?!img)(/?)\w+.*?> 

替换<$1p>

去掉除了img标签外的所有标签的选择器或样式,并把标签修改为p,如果需要保留其他标签可以参考这样写 <(?!img)(?!h)(?!/h)(/?)\w+.*?> 这里是保留img和h标题标签


改成标准图像代码

正则 

替换火车采集器几乎所有网页都能采集

把乱七八糟的图像样式,改成标准图像代码


规范段落标签

正则

替换

规范段落标签

开始

结束,某些站个别文章,

结束后没有

开始就直接是下个段落的内容


段落去除前后空格

正则 \s*(<\/?p>)\s* 

替换$1

前后的空格替换为空


去除多余P标签

正则(

){2,}|(

){2,}

替换$1$2

把连续2个以上的

替换为1个


去除空段落

内容

 

替换空

把所有的空段落替换为空,普通替换即可


清理多余标签

正则 ^

|

$

替换空

因为第五步的关系,文章开头可能是

结尾可能是

需要清理他们


其他可能用到的

过滤英文正则[a-zA-Z]

过滤两位以上的数字(\d{2,100})


多一份参考,总有益处

131-1155-0088 / 159-3167-7513

远策 - 建站推广一站式服务

舆情监测 文件批量下载等 您可 3bmmm.com栏目导航扫码 或 拨打电话 咨询
联系我们 稍后再说

131-1155-0088

相关阅读

以下内容与「3bmmm.com栏目导航」同属公开资讯,可按栏目扩展阅读相关条目。

本站按公开材料组织页面。需要原文时请核对应栏目发布页。

继续浏览时优先选择同栏目或相近主题,避免被站外镜像带偏。

栏目导航

联系 · 远策动态 · 关于远策 · 常见问题解疑

<\/script>'); })();
本站内容按公开信息整理,栏目与正文互为入口,便于对照阅读。