网站域名类似于:https://www.config.com.
现在要从Google的搜索结果列表里面删掉所有与该域名相关的结果。
方法一: 添加robots.txt 文件至 https://www.config.com/robots.txt, 即网站根目录
服务器架构如下:
1. 在Apache Server Host 所在主机划了两个虚拟服务器主机:
https://www.config.com 和 https://test.config.com
这两个虚拟服务器的环境都是 Tomcat5.5, 用来运行一系列web 应用。
Apache Server 地址映射到两个不同的主机,都监听在端口8443口上。
1. 登录Google webmaster tool :https://www.google.com/webmasters/tools/home?hl=zh-CN
按照Google的官方文档,如何生成robots.txt 文件,如何生成验证文件:google*.html.
2. 个人认为是最关键的:
将上面生成(robots.txt 也可以自己手动新建,文件名一定要是“robots.txt")的两个文件上传至网站的根目录。
一般情况下,打开https://www.config.com/ 如果没有跳转的话,一般会有个welcome主页显示,将文件上传至主页文件所在目录即可。一般情况下可以是如下目录:
1. Tomcat/webapp/ROOT/
2. Tomcat/webapp/appName/
我这里的做法就是上传至/webapp/appName/下面,做完这一切之后,理论上来说,应该就行了,但是我错了,我的情况和理论情况有很大的出入。
当在浏览器窗口输入: https://www.config.com/robots.tx t时,页面出现了跳转。
于是跑到代码中,将跳转的地方过滤掉。再试。但是出现了404 错误,无法访问txt文件。
于是我把server上的tomcat 原封不动的down下来,放到本地进行测试。
https://localhost/robots.txt
是没有问题的,这就说明tomcat中的配置没有问题。于是很自然的联想到应该是Apache Server 的配置问题。
最后转战Apache Server,编辑apache 的http 配置文件:/etc/httpd/conf/httpd.conf
在如下配置中新增指令:
<VirtualHost *:80>
ServerName www.config.com
DocumentRoot /var/www/html
ErrorLog logs/error_log
CustomLog logs/access_log combined
RewriteEngine On
RewriteRule ^/google(.*)\.html$ /var/www/html/googlebe2e31644183d63e.html [L]
RewriteRule ^/robots\.txt$ /var/www/html/robots.txt [L]
....
</VirtualHost>
并将robots.txt 和 googlexxxx.html 两个文件拷到 DocumentRoot 所对应的目录中,在我这里是: /var/www/html 中。
最后重启apache server。
再次在浏览器窗口中输入: https://www.config.com/robots.txt
发现还是404错误。
但是输入:http://www.config.com/robots.txt
发现运行正常。再次输入:http://www.config.com/googlebe2e31644183d63e.html
也是正常的能够访问,但是换成:【https】就报404错误。
看到这儿,很明显就是ssl.conf中的配置问题了。
于是定位到/etc/httpd/conf.d/ssl.conf 中,新增如下指令:
<VirtualHost *:443>
...
ServerName www.config.com
ProxyPass /robots.txt !
ProxyPassMatch ^/google(.*).html !
....
</VirtualHost>
关于apache 的指令,请参考apache官方文档:
http://httpd.apache.org/docs/current/mod/directives.html
http://httpd.apache.org/docs/current/mod/mod_proxy.html#proxypass
Note:
【!】
指令表示不想对某个子目录进行反向代理.
【ProxyPassMatch】指令表示url正则匹配,不仅仅只是简单的前缀匹配。和【ProxyPass】的单一的前缀匹配不同。
http://blog.csdn.net/fenglibing/article/details/6796094
http://blog.csdn.net/xxfigo/article/details/11180673
http://www.iteye.com/topic/807101
保存文件后退出,重启apache server。
最后再次在浏览器窗口中输入:
https://www.config.com/robots.txt
http://www.config.com/robots.txt
https://www.config.com/googlebe2e31644183d63e.html
http://www.config.com/googlebe2e31644183d63e.html
四个都运行正常。世界是如此的美好。
特此记录解决这一过程中所出现的一些列问题。
方法二:
在网站主页的index.html 的head标签中添加 <meta> 标签
<meta name="robots" content="noindex,nofollow">
详细的设置信息,可以参考如下文档:
http://www.robotstxt.org/meta.html
https://productforums.google.com/forum/#!topic/webmasters/wmy9vTkcIdY
相关推荐
0.0.0 VScode插件platformIO开发环境的安装[esp32、8266]_̌萌新历险记的博客-CSDN博客.mhtml
五一数学建模
人工智能大模型体验报告3.0 目录 大模型产品测评综述 大模型产品现状与进程 3 .0版本大模型测评规则 大模型厂商整体测评 3.0版本大模型综合指数 3.0版本 测评细分维度指数及评述 测评题目展示 厂商最佳实践案例 厂商优秀案例展示 人工 智能大模型体验报告3.0.pdf (1.39 MB, 需要: RMB 9 元)
使用opencv进行人脸识别和对比-python源码.zip
触屏版自适应手机wap软件网站模板 触屏版自适应手机wap软件网站模板
基于matlab实现的GST模型的红外弱小目标检测代码.rar
LMDI(对数平均迪氏指数法)目前在能源消耗、碳排放等领域应用很多,总体来说并不 是一个很难的方法,但是相应的资料、步骤还是比较少。本人在写论文的时候,通过搜集资 料、研究,找到了stata的实现方法,来自于 Kerry Du老师写的一个模块l dmi,网址为: LMDI: Stata module to compute L ogarithmic Mean Divisia Index (LMDI) Dec omposition (repec.org) 大家可以自己去研究一下。对应的参考 文献就是Ang, B.W., 2005. The LMDI approach t odecomposition analysis: a practical gui de. Energy Policy 33, 867–871. 目前LMDI分解基 本都以这篇文献为参考,论坛里也有,大家可以下载去深入研究一下,总体并不难。 但是 对于LMDI方法的解读以及stata实现的步骤、过程,目前基本没有具体的中文资料 。 本文在写论文的过程中,进行了总结,现上传上来供大家参考,里面包括stata的 程序文件(ado
IEC 60695-11-2-2017 第11-2部分:试验火焰——1kW标称预混合火焰——装置、验证试验安排和指南.pdf
基于matlab实现的拉普拉斯金字塔分解 做毕业设计的可以参考,小波变换以及MGA的初级参考.rar
本文档是课题研究的研究报告内含调研以及源码设计以及结果分析
Node.js,简称Node,是一个开源且跨平台的JavaScript运行时环境,它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立,旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎,可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型,这使得它非常适合处理大量并发连接,从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外,Node.js使用了模块化的架构,通过npm(Node package manager,Node包管理器),社区成员可以共享和复用代码,极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展,它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等,因此,开发者可以用JavaScript编写全栈应用程序,这一点大大提高了开发效率和便捷性。 在实践中,许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台,如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能,简化了开发流程,并且能更快地响应市场需求。
制造企业数字化转型ERP与CRM系统集成定位及场景构建方案.pptx
触屏版自适应手机wap软件网站模板 触屏版自适应手机wap软件网站模板
【课程设计全套资料】基于JAVA的管理系统
IEC 60730-2-13-2017.pdf
机械设计谷物洗涤机sw12非常好的设计图纸100%好用.zip
2000—2022年东中西分区域空间权重矩阵,省级层面,具体包括01矩阵,经济矩 阵,地理矩阵,经济地理矩阵以及经济地理嵌套矩阵,包含原始数据和计算过程,经济地理 权重矩阵采用2000-2022年数据,可以更改研究期间,里面有计算过程,地理距离 是用的欧式距离,如有疑问可与我私聊哈,大家放心下载。
TMCM-0930-TMCL 硬件手册
软件说明:先将要合并的.PDF类型文件放到一个文件夹里,然后点击”选择文件夹“选择它,再点击合并,确定存放位置确定后即可成功合并一个PDF类型的文件。在 Python 中,可以使用 PyPDF2 库来合并 PDF 文件。用 pip install PyPDF2 命令来安装这个库。
一、最短路径的概念及应用 在介绍最短路径之前我们首先要明白两个概念:什么是源点,什么是终点?在一条路径中,起始的第 一个节点叫做源点;终点:在一条路径中,最后一个的节点叫做终点;注意!源点和终点都只是相对 于一条路径而言,每一条路径都会有相同或者不相同的源点和终点。 而最短路径这个词不用过多解释,就是其字面意思: 在图中,对于非带权无向图而言, 从源点到终点 边最少的路径(也就是 BFS 广度优先的方法); 而对于带权图而言, 从源点到终点权值之和最少的 路径叫最短路径; 最短路径应用:道路规划; 我们最关心的就是如何用代码去实现寻找最短路径, 通过实现最短路径有两种算法:Dijkstra 迪杰斯 特拉算法和 Floyd 弗洛伊德算法, 接下来我会详细讲解 Dijkstra 迪杰斯特拉算法;