Вообще поисковики — Яндекс или Google – постоянно хранят четыре-пять копий всего Интернета, просто в силу технологии.
Можно поподробнее, что это значит ? 1) Сравнивать Яндекс и Google по возможностям даже теоретически - просто тупо и некорректно. Это разный уровень в порядках
2) Что, блять значит 4-5 копий интернета ? Информации о всех серверов ? То есть Яндекс хранит 4-5 копий Pornhub, и т.д. ? Откуда у него такие ресурсы ВНЕЗАПНО ? Да и если это выглядит так, как сказал автор, то даже у Google не хватит мощностей
Вообще поисковики — Яндекс или Google – постоянно хранят четыре-пять копий всего Интернета, просто в силу технологии.
Можно поподробнее, что это значит ? 1) Сравнивать Яндекс и Google по возможностям даже теоретически - просто тупо и некорректно. Это разный уровень в порядках
2) Что, блять значит 4-5 копий интернета ? Информации о всех серверов ? То есть Яндекс хранит 4-5 копий Pornhub, и т.д. ? Откуда у него такие ресурсы ВНЕЗАПНО ? Да и если это выглядит так, как сказал автор, то даже у Google не хватит мощностей
Вы знаете что такое кеш? В поиске у практически каждого сайта, есть опция - сохраненная копия, это и есть копия интернета Вот пример. Хранится только текстовка, графика и т.д. - мимо, поэтому нужно не так много ресурсов. З.Ы. Там еще и "снимков" несколько Это сообщение отредактировал bimb0 - 15 мар. 2017 г. в 02:41
bimb0 Разве кэшируется принципиально не статическая информация ? Как можно закэшировать динамические страницы, например, скриптовые, которые в зависимости от набора параметров что-либо отображают ?
bimb0 Разве кэшируется принципиально не статическая информация ? Как можно закэшировать динамические страницы, например, скриптовые, которые в зависимости от набора параметров что-либо отображают ?
Не путайте кэш апача/браузера и веб кэш. В случае с вебом создается слепок страницы на которой был поисковый робот и все, если взгляните на указанный мной пример, то увидите строчку что "содержимое страницы могло измениться".
Не путайте кэш апача/браузера и веб кэш. В случае с вебом создается слепок страницы на которой был поисковый робот и все, если взгляните на указанный мной пример, то увидите строчку что "содержимое страницы могло измениться".
Ну, то есть фактически, как я и предполагал, в web-кэш динамическая информация попадает частично, а именно которая хоть раз была запрошена ? А если информация ранее не запрашивалась, но доступна, то её и не будет в web-кэше ?
Не путайте кэш апача/браузера и веб кэш. В случае с вебом создается слепок страницы на которой был поисковый робот и все, если взгляните на указанный мной пример, то увидите строчку что "содержимое страницы могло измениться".
Ну, то есть фактически, как я и предполагал, в web-кэш динамическая информация попадает частично, а именно которая хоть раз была запрошена ? А если информация ранее не запрашивалась, но доступна, то её и не будет в web-кэше ?
Вы не знакомы с принципами работы пауков. Запрос информации происходит 2 способами: 1) Гет запрос - просто по ссылке (например site.ru/index.php?id=1, запрос страницы с id 1), это парсится полностью, все ссылки, которые есть на странице съедает робот и переходит по каждой, потом опять то же самое. 2) Пост/Куки - то же самое, что и гет, только параметр передается скрыто (например данные хтмл формы), тут явно забрать данные нельзя. Посему ответ на ваш вопрос - частично.
Это сообщение отредактировал bimb0 - 15 мар. 2017 г. в 02:58
Но я не про это. Допустим у вас есть сайт site.ru, есть страница site.ru/index.php, которая на самом деле связана с БД и по факту отображает её в каком-то разрезе в зависимости от параметров. Были запросы - site.ru/index.php?id=1 - site.ru/index.php?id=1&id2=1&id10=15 А на самом деле внутри ещё тонна информации под другим набором параметров, которые не были, насколько я понимаю, не попали в web-кэш, просто потому что никто ранее не обращался к этим страницам, но при этом все это остается в открытом доступе в интернете
Но я не про это. Допустим у вас есть сайт site.ru, есть страница site.ru/index.php, которая на самом деле связана с БД и по факту отображает её в каком-то разрезе в зависимости от параметров. Были запросы - site.ru/index.php?id=1 - site.ru/index.php?id=1&id2=1&id10=15 А на самом деле внутри ещё тонна информации под другим набором параметров, которые не были, насколько я понимаю, не попали в web-кэш, просто потому что никто ранее не обращался к этим страницам, но при этом все это остается в открытом доступе в интернете
Что мешает краулеру пробрутить параметры хотя бы до 404?) Если ссылка опубликована на какой-либо странице - она скормлена пауку. И да, поисковики, как минимум не наш, умеют пользоваться вот этим (один из инструментов контекстной рекламы) Это как раз для поиска "неучтенных" страниц. Если честно, сеошник из меня не очень, поэтому я не шибко компетентен в этом вопросе. Но, я на 100% знаю, что всяческие директивы "индексировать или не индексировать" контент (типа метатегов, роботс.тхт) - фигня, поисковики все равно все индексируют,ибо логи веб сервера не будут врать в этом вопросе Это сообщение отредактировал bimb0 - 15 мар. 2017 г. в 03:16
Террористы никогда, НИКОГДА не будут переговариваться по телефону о предстоящем теракте даже иносказательно, есть другие способы связи. Просто прослушивают общее мнение народа (не пора ли бежать за границу пока не развесили по столбам)... То есть нас же слушают за наши же деньги, а говорят о безопасности (имеют в виду себя?).
Террористы никогда, НИКОГДА не будут переговариваться по телефону о предстоящем теракте даже иносказательно, есть другие способы связи. Просто прослушивают общее мнение народа (не пора ли бежать за границу пока не развесили по столбам)... То есть нас же слушают за наши же деньги, а говорят о безопасности (имеют в виду себя?).
Голубиная почта? И ту перехватят соколы Слушаются все способы связи, а ваша теория заговора - смех. И да, прочтите что такое СОРМ.
Что мешает краулеру пробрутить параметры хотя бы до 404?) И да, поисковики, как минимум не наш, умеют пользоваться вот этим (один из инструментов контекстной рекламы) Это как раз для поиска "неучтенных" страниц. Если честно, сеошник из меня не очень, поэтому я не шибко компетентен в этом вопросе. Но, я на 100% знаю, что всяческие директивы "индексировать или не индексировать" контент (типа метатегов, роботс.тхт) - фигня, поисковики все равно все индексируют,ибо логи веб сервера не будут врать в этом вопросе cool.gif
В любом случае спасибо за подробное объяснение. Просто тогда верится с трудом немного, что хотя бы у того же Яндекса хватит сил зохавать 4-5 копий с учетом таких страниц. Так есть кучи интерфейсов (например, один из наших) под которым скрывается тонна текстовой информации из БД. И мы ведь не единственные ? К тому же, если была запрошена страница - не факт, что удастся перебрать все остальные варианты, хотя бы потому, что сама страница может быть под авторизацией. Её можно будет в кэше найти, а вот остальные - маловероятно.
В любом случае спасибо за подробное объяснение. Просто тогда верится с трудом немного, что хотя бы у того же Яндекса хватит сил зохавать 4-5 копий с учетом таких страниц. Так есть кучи интерфейсов (например, один из наших) под которым скрывается тонна текстовой информации из БД. И мы ведь не единственные ? К тому же, если была запрошена страница - не факт, что удастся перебрать все остальные варианты, хотя бы потому, что сама страница может быть под авторизацией. Её можно будет в кэше найти, а вот остальные - маловероятно.
Нет, само собой на 100% копии быть не может, но я повторюсь, сохраняется только текстовка, поэтому много ресурсов и не нужно, тем более - информация по-любому жмется каким-нибудь гзипом (конкретно за алгоритм - хз)... А в случае с ЯПом есть великолепная вещь - rss feed все ссылки в удобном для поисковика xml формате)
Это сообщение отредактировал bimb0 - 15 мар. 2017 г. в 03:22
А вот скажите мне, кто умный... Писать разговоры - не вопрос. Предположим, даже есть где хранить эти данные. Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров? Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.
Террористы никогда, НИКОГДА не будут переговариваться по телефону о предстоящем теракте даже иносказательно, есть другие способы связи.
Это то же самое, что сказать, что люди никогда, НИ-КОГ-ДА не ошибаются
P.S. По данным полиции, специалисты расшифровали разговор между Наджимом Лашрауи и Ибрагимом Бакрауи, которые устроили взрывы в аэропорту Брюсселя в 2016 году.
"Медлить с нападением больше нельзя, оно намечено на 22 марта. Утром вылетают американские, российские и израильские рейсы, их пассажиры могут быть затронуты", - говорилось в ходе беседы.
Теракты в аэропорту "Завентем", а также на станции метро "Маальбек" в европейском квартале Брюсселя были совершены 22 марта 2016 года. Жертвами атаки стали 35 человек, более трехсот граждан получили ранения. https://rg.ru/2017/03/11/terroristy-v-brius...i-izrailia.html Это сообщение отредактировал Длительно - 15 мар. 2017 г. в 03:38
А вот скажите мне, кто умный... Писать разговоры - не вопрос. Предположим, даже есть где хранить эти данные. Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров? Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.
Да никак, бля... фантастики начитались наши депутаты.
А вот скажите мне, кто умный... Писать разговоры - не вопрос. Предположим, даже есть где хранить эти данные. Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров? Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.
Да никак, бля... фантастики начитались наши депутаты.
Ага то есть то что обычный инженер смог запилить нейросеть которая палит кота на лужайке и прогоняет его брызгалками не наводит вас на мысль что чуть более обученные нейросети могут фильтровать данные аудиозаписей по ключевым маркерам а ля "Путин бомба переворот"
А вот скажите мне, кто умный... Писать разговоры - не вопрос. Предположим, даже есть где хранить эти данные. Вопрос - как обрабатывать эти петабайты данных, в частности записи разговоров? Не думаю, что искусственный интеллект настолько развит, что бы находить действительно что то интересное. По ключевым словам искать - так там в основном игроки в CS будут попадаться.
Да никак, бля... фантастики начитались наши депутаты.
Ага то есть то что обычный инженер смог запилить нейросеть которая палит кота на лужайке и прогоняет его брызгалками не наводит вас на мысль что чуть более обученные нейросети могут фильтровать данные аудиозаписей по ключевым маркерам а ля "Путин бомба переворот"
Парсинг по аналоговому каналу? Ты хоть сам понимаешь, что пишешь?))) Бог в помощь!
Volandk, ах, да... ты же "Матрицу" посмотрел. Все три части. Мальчик, иди кушай рыбу с молоком. Не отвлекай злых.
Это сообщение отредактировал JIR - 15 мар. 2017 г. в 03:55
Мое мнение об Ашманове резко ухудшилось, когда я столкнулся с его аферой сервисом продвижения сайтов maremoto
А сейчас он со своей женой Касперской активно пытается присосаться к бюджетным деньгам на теме прослушки и ограничений в интернете своих сограждан.
впервые слышу эту фамилию, а мнение резко ухудшилось после начала прочтения сего опуса. если это "один из самых компетентных специалистов в стране", то у нас пиздец...
Пойду телек выкину. P.S. Ну и стиралку за одно, она тож у меня Самсунг. Х.з. может она там тоже че-нибудь отправляет, сколько я носков стираю, как часто и какого они у меня цвета. И носки мои, хакеры мериканские тоже у меня из стиралки пиздят по одному, на какие-нибудь анализы. Другого объяснения куда они постоянно по одному теряются у меня просто нет.
С носками просто полный беспредел!!Куда они из закрытой стиралки телепортируются?
Мое мнение об Ашманове резко ухудшилось, когда я столкнулся с его аферой сервисом продвижения сайтов maremoto
А сейчас он со своей женой Касперской активно пытается присосаться к бюджетным деньгам на теме прослушки и ограничений в интернете своих сограждан.
впервые слышу эту фамилию, а мнение резко ухудшилось после начала прочтения сего опуса. если это "один из самых компетентных специалистов в стране", то у нас пиздец...
Только зарегистрированные и авторизованные пользователи могут оставлять комментарии. Авторизуйтесь, пожалуйста, или зарегистрируйтесь, если не зарегистрированы.
1 Пользователей читают эту тему (1 Гостей и 0 Скрытых Пользователей)
yaplakal.com