3bmmm.com栏目导航扫码 立即咨询
✖
不断超越客户的期望值,源自我们对这个行业的热爱
来源:常见问题解疑 - 远策科技 | 2022-01-24 继续了解
火车采集器几乎所有网页都能采集,用途很广。 对照阅读比如网站采集内容、采集数据挖掘客户、舆情监测、文件批量下载等。我日常主要用于网站日常采集文章,今天分享下如何通过火车采集器得到一个”标准“的内容。
这里所谓的标准,是所采集的文章每一个段落都是
,没有多余的HTML标签和与主题无关的字符。这里我们可以通过 纯正则替换 达到我们的目的。以下为一些常用的 纯正则替换 规则示例:
清除与正文无关的内容
正则
替换空
如文中的广告,注释等。 继续了解例如如果发布到一些免费平台,有的HTML特殊字符并不会被转化,只需在末尾加入'|&.*?;'过滤掉最后特殊HTML字符即可。
只保留图片以及常用的块级元素
正则 (?i)<(?!/?h|/?p|/?div|br|img).*?>
替换空
只保留标题标签 h 分段标签 p、div、br 以及图像标签 img ;前面的(?i)表示不区分大小写
把标签修改为p
正则<(?!img)(/?)\w+.*?>
替换<$1p>
去掉除了img标签外的所有标签的选择器或样式,并把标签修改为p,如果需要保留其他标签可以参考这样写 <(?!img)(?!h)(?!/h)(/?)\w+.*?> 这里是保留img和h标题标签
改成标准图像代码
正则
替换
把乱七八糟的图像样式,改成标准图像代码
规范段落标签
正则?p>
替换
规范段落标签
开始
结束,某些站个别文章,结束后没有开始就直接是下个段落的内容
段落去除前后空格
正则 \s*(<\/?p>)\s*
替换$1
把
或
前后的空格替换为空去除多余P标签
正则(
){2,}|(
){2,}替换$1$2
把连续2个以上的
或
替换为1个去除空段落
内容
替换空
把所有的空段落替换为空,普通替换即可
清理多余标签
正则 ^
|$
替换空
因为第五步的关系,文章开头可能是
结尾可能是需要清理他们
其他可能用到的
过滤英文正则[a-zA-Z]
过滤两位以上的数字(\d{2,100})
✖