站长工具,伪原创工具,长尾关键词挖掘 - 5118营销大数据 https://www.5118.com/

robots协议

https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797?fromtitle=robots.txt&fromid=9518761&fr=aladdin

robots协议也叫robots.txt（统一小写）是一种存放于网站根目录下的ASCII编码的文本文件，它通常告诉网络搜索引擎的漫游器（又称网络蜘蛛），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下

例子：https://www.loupan.com/robots.txt

User-agent: *
Disallow: /index.php/ad/index/
Disallow: /index.php/jsdata/index/
Disallow: /session/show_session_status
Disallow: /*.js$
Disallow: /public/assets/images/*.gif$
Disallow: /public/assets/images/*.png$
Disallow: /*.swf$
Disallow: /*.css$
Disallow: /*.zip$
Disallow: /api/
Disallow: /api_im/
Disallow: /index.php/
Sitemap: https://www.loupan.com/xml_pc/sitemap_index.xml

sitemap_index.xml 例子

<?xml version="1.0" encoding="utf-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://www.loupan.com/xml_pc/zxtc_map_0.xml</loc>
    <lastmod>2021-11-12</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://www.loupan.com/xml_pc/zxnews_map_0.xml</loc>
    <lastmod>2021-11-12</lastmod>
  </sitemap> 
</sitemapindex>
 

二级sitemap 例子 https://www.loupan.com/xml_pc/zxtc_map_0.xml

<?xml version="1.0" encoding="utf-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://wlmq.zx.loupan.com/zxtc/154.html</loc>
    <changefreq>daily</changefreq>
    <priority>0.4</priority>
  </url>
  <url>
    <loc>https://wlmq.zx.loupan.com/zxtc/153.html</loc>
    <changefreq>daily</changefreq>
    <priority>0.4</priority>
  </url> 
</urlset>