Конечно же поисковые системы не виноваты в том, что некоторые сайты слили информацию о своих клиентах. На мой взгляд, вина полностью лежит на владельцах интернет-магазинов, ну и на производителях их программного продукта. И как сказал менеджер Yandex, поисковые системы сканируют только то, что доступно для сканирования.

Но что меня возмутило в словах этого менеджера, так это упоминание файла robots.txt в этом контексте. Этот самый файл не имеет никакого отношения к безопасности сайта. Более того, файл robots.txt доступен для чтения всем! Так и должно быть! Просто этот самый файл дает дополнительную информацию для поисковых систем и к защите не имеет отношения! А то что же получается? Кто то с помощью robots.txt запретил для индексации некоторую часть сайта, и поисковые системые ее не индексируют. Но злоумышленнику файл robots.txt - НЕ УКАЗ!

Так что любой пользователь интернет может прочесть файл robots.txt и пройтись по тем разделам, папкам (директориям), которые запрещены к индексации в этом файле. И даже закон не нарушит! Этот файл сделан для удобства поисковых систем и ни для чего более!!! Пытаться защититься с помощью файла robots.txt - это примерно то же самое, что сделать список мест, где хранятся ваши вещи (ценные и не очень) в вашей квартире. Конечно, для добропорядочного человека он не представляет интереса, а вот злоумышленнику только помогает.

Я не призываю отказываться от файла robots.txt, он нужен! Просто надо его использовать по назначению!

Всем удачи!