童年原是一生最美妙的阶段,那时的孩子是一朵花,也是一颗果子,是一片懵懵懂懂的聪明,一种永远不息的活动,一股强烈的欲望。——巴尔扎克
现在位置:首页 > 包含标签 网站链接提取 的所有文章
  • 《网站链接抓取器》抓取规则详细讲解

    在重写软件的时候发现有这么一个设置,想到有些朋友可能不明白怎么设置。所以就借这篇文章来解释一下。 “包含”的意思是指只保留符合此规则里的链接。如果留空,则保留所有链接。 “排除”的意思是指不保留符合此规则里的链接。如果留空,则不排除任何链接。 在设置规则的地方,有一个输入框,后面有“或”和“且”。 输入框里,就要“包含”或者“排除”的内容。 比如在包含里输入 “tags”(不含引号) ,那么软件就只会保留有“tags”这几个字符的链接,其它链接一概舍去。 同要的,在“排除”里输入某内容,软件就不保留包含此内容的链接。 然后输入框里并不是只能输入一条内容。而是一行一条。可以输入N条。 各条内容之类的关系就需要选择后面的“或”和“且”了。 还是拿“包含”来举例。 比如有4条链接: aaa/dsfjniwoewer/bbb/dspo22.html aaa/ds1f56we8sd/ccc/dsewodsf2.html aaa/iejwo2834sd/bbb/1s022.html  123/fs0lkop[pw/bbb/6dfwisll.html  然后我只想保留第1条和第3条怎么办?如果只输入 aaa 会保留1、2、3条。如果只输入 bbb 会保留 1、3、4条。 这时候就可以输入两个条件。 第一行输入 aaa 然后换行,在第二行输入 bbb 再选择后面的 “且” “且”的意思就是同时满足前面的条件,才保留(或者排除)链接。 “或”的意思就是前面的条件,只要满足一条,就保留(或者排除)链接。 下载和使用可以去https://gzsstz.com/zzgj/64.html
  • 网站链接提取器|全站链接提取

    先说一下作用:   网站链接抓取器顾名思义,主要是用来抓取网站链接的。   也就是输入一个网站的首页地址,然后软件可以把整个网站页面地址给抓取下来并保存。   有啥作用呢?   一、制作网站地图   使用软件保存的TXT。直接上传到网站根目录就可以成为一个简单的TXT网站地图。   制作成网站地图后,可到 http://zhanzhang.baidu.com/sitemap/index进行提交,以增加收录。   二、检查失误。   所谓的失误,是指某些后台链接。不想让用户知道的。但是由于不小心在程序的某个地方有该网页的链接自己没注意到。这时候就可以使用软件把整个网站的链接抓取下来。然后检查看看有没有敏感链接。   三、检查收录。   可以查看一下百度对本站的索引量。然后使用软件把网站的所有链接都抓取下来。看看数量上的差距是否比较大。如果差距过大,则要注意是否空间不稳定或者文章质量太低或者暴光率太低。   使用方法:   1、输入需要抓取的网站首页地址。   2、设置线程数量。(线程越少,速度越慢,耗CPU及网速越低,越不容易漏掉链接。线程越多,速度越快,耗CPU及网速越高,漏抓取机率高。)   3、设置包含或排除规则。(使用方法见:https://gzsstz.com/zzgj/65.html) 4、选择抓取后的链接保存地址。(注:如果选择的TXT名称为 abc.txt的话。软件会保存为 abc_*.txt 的形式)   5、选择每个TXT保存的条数。(以第3条举例,如果这里设置为5000,当abc_1.txt保存的链接数到达5000,后面的链接会自动保存到abc_2.txt里,依此类推。)