Robots.txt
Eine Datei im Rootverzeichnis einer Servers, die anordnet, welcher Robot was auf der Website indizieren darf und was nicht.
online-marketing_e-commerce:robots_txt
Eine Datei im Rootverzeichnis einer Servers, die anordnet, welcher Robot was auf der Website indizieren darf und was nicht.