Гугл разрабатывает технологию, которая может сделать его конкурентом новых медиа-компаний, генерирующих интернет-контент с применением анализа поисковой статистики.

Медиа-компании нового поколения стараются превысить показатели традиционных производителей медиа за счет использования следующей схемы: сперва выясняем актуальные для потребителей темы используя статистический анализ, затем нанимаем армию фрилансеров производства релевантных текстов и видео-роликов.

В то же время сам Гугл в этом году получил патент на систему, позволяющую обнаруживать в интернете  «неадекватный контент» (inadequate content) путем сравнения того, что люди ищут, того, что они в итоге получают. В заявке сказано, что данные могут продаваться издателям контента, или же раздаваться бесплатно всем желающим. Все это может сильно спутать планы таких компаний, как Demand Media, Associated Content и AOL, разрабатывающих системы поиска перспективных тем для интернет-контента с использованием программных алгоритмов.

«Из факта получения патента вовсе не обязательно следует скорый выход соответствующего продукта» — успокаивает всех представитель Google, — «Мы патентуем множество идей, которые приносят нам наши работники. Часть из них позже реализуется в полноценном продукте или сервисе, часть нет.»

Между тем, именно повышенный интерес инвесторов к автоматизированным системам генерации контента подтолкнул компанию Demand Media, основанную Ричардом Розенблаттом, бывшим руководителем MySpace, к тому, чтобы нанять компанию Goldman Sachs для подготовки публичного выпуска акций. Предполагается, что по результатам эмиссии стоимость компании достигнет 1,5 милларда долларов.

(Для справки: компания Demand Media генерирует около 180 тысяч статей и видеороликов в месяц, являясь при этом крупнейшим генератор видеоконтента на YouTube. На компанию работают порядка 8000 фрилансеров. Основная фишка — привлечение поискового трафика по редким, но дорогим ключевым запросам, плюс монетизация за счет контекстной рекламы. Аналогичным бизнесом занимаются Associated Content и AOL. — Прим. ред.)

По мнению Билла Славски, консультанта по поисковому маркетингу из SEO by the Sea (именно он обнаружил патентную заявку Гугла), анонсированная технология может урезать спектр деятельности новых цифровых медиа-компаний.

«Гугл будет предоставлять иноформацию по соответсвующим темам и запросам всем, кто эту информацию ищет — в то время как они [цифровым медиа] будут нанимать людей, чтоб клепать видео по 20$ за ролик» — говорит он.

Вместе с тем специалисты отмечают: выяснение того, что пользователи хотят увидеть в интернете, это лишь один из компонентов современных контент-систем. Не менее важно знать, что делать потом с этой информацией.

Куинси Смит, консультант Гугла и совладелец инвестиционного банка Code Advisors, считает, что данные Гугла «могут увеличить разрыв между большими структурами (такими как Demand Media) и их более мелкими конкурентами».

Первичная заявка на патент была подана Google в 2007 г., исправленная — в феврале этого года.

Источник: http://www.ft.com/cms/s/2/891e2946-796b-11df-b063-00144feabdc0.html

Менее чем за два года число людей, кликающих по баннерам, уменьшилось на 50%, при этом за 85% всех кликов ответственны 8% пользователей — об этом говорят исследования, проведенные компанией ComScore и медиа-агентством Starcom. В этой связи возникает  вопрос: не стоит ли официально признать, что столь долго использовавшийся коэффициент кликабельности отныне является несостоятельным показателем?

Согласно  ComScore, по состоянию на март 2008 г. доля кликеров среди американских интернет-пользователей уменьшилась до 16%. В июле 2007 г. этот показатель достигал 32%. <…>

Более того, доля пользователей, ответственных за большую часть кликов, также уменьшается. Текущий показатель — 8% — выглядит весьма скромно по сравнению с данными годичной давности — тогда 80% кликов совершали 16% пользователей. Последнее исследование также говорит о том, что половину всех кликов производят молодые люди со скромным доходом. Таким образом, переходы по баннерам не охватывают большую часть интернет-аудитории, включая ту ее часть, которая оказывается наиболее ценной с точки зрения продавцов.

Основной вывод — не стоит рассматривать кликабельность баннера как меру его эффективности, ибо возможны ситуации, когда баннер с малой кликабельностью будет приносить массу пользы, и наборот. При этом потенциальная полезность отдельного клика падает. Идем дальше.

Исследования поведения пользователей показали, что сам факт показа баннеров значительно увеличивает а) количество посещений сайта компании; б) количество поисков рекламируемого продукта (запросы типа «Тойота»,»приус» и т.п.); в) количество покупок рекламируемого продукта  (как в онлайне, так и в офлайне) — независимо от того, кликают пользователи по баннерам, или нет. Пользователи, которым показывались баннеры, в течение ближайшей недели заходили на сайт производителя на 65% чаще, чем те, кто баннеров не видел. Даже четыре недели спустя разница в посещаемости доходила до 45%.

Вывод: баннерная реклама по-прежнему остается эффективным иструментом веб-маркетинга, несмотря на уменьшение количества прямых переходов.

По данным ComScore, пользователи, видевшие рекламу в сети, впоследствии совершали больше поисков с использованием имени рекламируемого бренда или продукта. Процент людей, совершающих поиск, относительно мал. Тем не менее люди, сталкивавшиеся как с баннерной, и с поисковой рекламой, впоследствии совершали покупки на сайте ретейлера почти вдвое чаще, чем те, кто с рекламой вообще не сталкивался. Достигаемый эффект увеличения продаж существенно превосходит сумму эффектов от изолированного использования баннерной и поисковой рекламы.

Вывод: используйте баннеры совместно с поисковой рекламой, и будет вам счастье.

Итак, клики и кликабельность — показатели ненадежные, единственная причина, по которой ими продолжают пользоваться — легкость измерения. (Заметим в скобках — для поисковой рекламы сказанное также должно быть верно, в той или иной степени). Посмотрим на возможную альтернативу:

Модель, предложенная мистером Стивом Керхо (Steve Kerho) из компании Organic, предполагает комплексное рассмотрение баннерной и поисковой рекламы в ее отношении к структуре посещений сайта. Каждой единице пользовательской активности (например, десяти минутам, проведенным на сайте одним пользователем) присваевается фиксированный долларовый эквивалент. Для каждого посещения выясняется, показывились ли данному пользователю баннеры или поисковые объявления по купленным ключевикам. В итоге появляется возможность вычислить реальную отдачу от проведенной рекламной компании и, соответственно, ее адекватную стоимость.

Спору нет, идея правильная и интересная. Другое дело, насколько легко ее будет осуществить. Со стороны рекламщиков и рекламодателей особых проблем не предвидится, но как отнесутся конечные пользователи к подобной слежке — вопрос открытый. При желании трекинг можно будет легко пресечь. С другой стороны большая часть пользователей представляет собой весьма аморфную, мало вникающую в подобные частности массу. Если на одной чаше весов будет лежать очередное малозаметное ущемление прайваси, а на другой — удобство пользования сетью, широкие массы, как обычно, выберут комфорт. Просто потому, что так проще.

Источник: http://adage.com/digital/article?article_id=139367

Апдейт: Извините, парни, оригинал теперь доступен только платным подписчикам adage.com. Особо любопытных милости просим в кэш Google.

К 1970 г. годовой бюджет порно-индустрии достиг 10 миллионов долларов. Сегодня порнуха подтягивается к миллиардной отметке. По данным компании Alexa, из тысячи сайтов с наибольшим суммарным траффиком четыре относятся к категории порно-сайтов. Google ежемесячно обслуживает 100 миллионов запросов, связанных с порнографией, и эта цифра постоянно растет. Все это лишний раз подтверждает старую истину, вполне применимую и к сети: секс и все, что с ним связано, очень хорошо продается.

Однако топ выдачи по «взрослым» запросам может выглядить вовсе не так, как вы могли бы подумать. Среди бесчисленных порно-звезд и производителей порно вы найдете там тысячи ссылок на  TechCrunch.com — вполне добропорядочный новостной сайт технической ориентации.

site:www.techcrunch.com intext:porn

Только в минувшем году на TechCrunch появилось более 550 постов, содержащих слово «porn» в своем теле. В некоторых случаях статьи оказываются посвящены вполне актуальным и нашумевшим темам, таким, например, как разговоры о порно-приложении к iPhone, однако нередко их можно отнести к таковым лишь с большой натяжкой. В общем, TechCrunch регулярно пишет о порнухе, используя для этого любой удобный повод.

Хотя эти статьи редко пробиваются в топ, они нередко попадаются на 1-3 странице выдачи по ряду высокочастотных порно-запросов, включая «youporn»,  «you porn» и «iphone porn».

Как это сказывается на траффике TechCrunch? Имея месячную статистику по запросам и зная средние данные по клик-рейту выдачи, мы можем легко подсчитать, что «взослые» запросы приносят TechCrunch порядка четверти миллионов посетителей в месяц.

TechCrunch оптимизирует свои порно-посты не только под поисковики, но и под пользователей. Нередко во вводную часть поста добавляется довольно откровенное изображение соответствующей тематики. Помимо уменьшения показателя отказов (количества новых посетителей, пришедших через «взрослый» поисковый запрос и сразу ушедших с сайта), эти изображения также увеличивают кликабельность материалов при их просмотре через новостные аггрегаторы, такие как Techmeme. Наконец, эти картинки, аналогично изображениям во всех остальных постах, не содержат гиперссылки, что работает на увеличение количества кликов по колонке с рекламой.

Доходы на рекламе — сухой остаток от порно-блоггинга

1) Новые посетители. Допутим, каждый просматривает в среднем 3 страницы. Следовательно, 286 625  переходов означают почти 900 тысяч дополнительных просмотров ежемесячно. Пойдем дальше: предположим, TechCrunch берет по $2 за клик (приблизительная оценка стоимости рекламы на сайте). Это значит, что на своем поисковом счетчике имени Рона Джереми (популярный американский порноактер — прим. ред.) TechCrunch выручает десятки тысяч долларов ежемесячно.

Оптимистичная оценка

Скромная оценка

2) Повторные посетители (подписчики). Если бы TechCrunch занимался продажами какого-либо продукта, порно-траффик ему бы почти ничего не дал. Но он этим не занимается. Он получает деньги с рекламы. Чем у него больше просмотров, тем больше он получают показов и кликов. Поэтому в отличие от многих других сайтов и блогов, для которых порно-траффик оказывается бесполезен ввиду неспособности доставить новых покупателей,  TechCrunc, обслуживающий аудиторию технически подкованных гиков, получает возможность неплохо наживаться на тайных чаяниях своих читателей, пришедших сюда как бы «вовсе не за этим».

В защиту TechCrunch можно сказать, что подобный трюк использует не он один. Wired также получает свой доход от порно-блоггинга, однако эта парочка, судя по всему, является парой белых ворон среди множества других технически ориентированных новостных сайтов. Если посмотреть статистику по процентному отношению страниц сайта, содержащих слово «porn», ко всем страницам сайта, имеющимся в индексе Google, становится сразу видно: по сравнению с конкурентами, TechCrunch и Wired имеют значительно большую долю контента, связанную с порно.

А как насчет вас? Не упускаете ли вы свой шанс разбогатеть? Увеличится ли показатель конверсии вашего сайта, если ваши посты будут хорошо ранжироваться по «взрослым» запросам? Не открываются ли тут перед вами по-настоящему захватывающие перспективы? В конце концов, всегда имеет смысл опубликовать пост про очередного гандона, выдающего себя за профи веб-маркетинга, или про то, как вы трахались с одним из сервисов по сбору анал-итических данных.

Второго февраля компания comScore, признанный лидер в сфере исследования тенденций развития цифровой индустрии, обнародовала новый отчет - The comScore 2008 Digital Year in Review, – описывающий ключевые тенденции американского рынка цифровых технологий. Отчет охватывает весьма широкий спектр предметов, включая индустрию электронной коммерции, сайты и категории сайтов, демонстрирующие наиболее быстрый рост, тенденции развития поиска в интернете, развитие сервисов онлайн-видео, развитие индустрии онлайн-рекламы и мобильного интернета, а также также вопрос о том, как могут участники рынка заработать на наблюдаемых тенденциях.

Чтобы бесплатно скачать полную версию отчета comScore 2008 Digital Year in Review, пожалуйста, посетите страницу http://www.comscore.com/2008-digital-review/ (Для получения доступа к файлу необходимо пройти довольно въедливую процедуру регистрации — прим. ред.)

Лидером роста популярности в 2008 г. стали сайты, посвященные поиску работы, что объясняется крайне тяжелой ситуацией в экономике.

Одним из наиболее важных факторов, повлиявших на тенденции пользования интернетом в США, стал экономический кризис — сразу несколько категорий сайтов из числа попавших в топ, отражают данное обстоятельство. В особенности это касается категории «Поиск работы», продемонстрировавшей наиболее резкий рост (+51% по итогам года, 19 миллионов посетителей). По мере ухудшения ситуации на рынке труда и роста безработицы, все больше количество людей обращалось к соответствующим интернет-сервисам в надежде решить проблему трудоустройства. К числу других лидеров роста, рожденных ослаблением экономики, можно отнести категорию «Товары со скидкой» (+46%, 31,6 миллионов посетителей), «Политика» (+43%, до 12 миллионов посетителей) и «Доски объявлений» (+27%, почти 53 миллионов посетителей).

В докладе также описываются следующие ключевые тенденции:

• Количество поисковых запросов, обработанных пятью основными поисковыми системами, выросло в 2008 г.на 21%, при этом более 90% роста пришлось на крупнейший поисковик Google.
• В ноябре 2008 г. количество времени, которое американцы тратят на просмотр онлайн-видео, достигло 12,5% от общего времени, проводимого в интернете. Показатель вырос на 8,5% по сравнению с предыдущим годом.
• За минувший год американские интернет-пользователи просмотрели более 4,5 триллионов рекламных объявлений, при этом средний пользователь просматривал более 2 000 объявлений в месяц. (По всей видимости, правильнее говорить все-таки о показах, а не о просмотрах — прим. ред.)
• Розничная коммерция в интернете продемонстрировала рост в 6 процентов, ее суммарный объем достиг в 2008 г. отметки в 130,1 миллиарда долларов.
• Индустрия мобильной связи в 2008 г. подтвердила тенденцию роста популярности смартфонов. Количество подключений новых смартфонов увеличилось более чем на 100% в течение минувшего года.

О компании comScore

Корпорация comScore (NASDAQ: SCOR) — мировой лидер в сфере исследования тенденций развития мира цифровых технологий. Более подробную информацию можно получить на странице www.comscore.com/companyinfo.

Десятка важнейших запросов 2008 г – абсолютная категория

1. Britney Spears (певица, кумир молодежи)
2. WWE (компания, организующая трансляции соревнований по реслингу).
   
3. Barack Obama (новоявленный президент США)
4. Miley Cyrus (молодая певица, внезапно ставшая сенсацией)
   
5. RuneScape (многопользовательская ролевая игра в стиле фентези)
   
6. Jessica Alba (актриса, звезда плейбоя и общественная активистка)
   
7. Naruto (популярный японский аниме сериал и одноименный герой)
   
8. Lindsay Lohan (популярная актриса).
   
9. Angelina Jolie (популярная актриса)
   
10. American Idol (ТВ-шоу а-ля «Народный артист»)

Новости

Те, кто следили за фондовыми рынками и данными предвыборных опросов (имеются ввиду выборы президента США, разумеется – прим. ред.), прекрасно знают: 2008 г. был годом взлетов и падений. Как и в общей категории, здесь доминируют различные знаменитости. Хотя плохая погода, военные неурядицы и медицинские химеры также стали неплохим поводом пожужжать.

1. Hurricanes (ураганы)
2. Caylee and Casey Anthony
   (Речь идет о маленькой американской девочке, пропавшей при весьма загадочных обстоятельствах и о ее матери, арестованной по подозрению в убийстве первой степени).
3. Elections 2008 (выборы 2008)
4. Pakistan (Пакистан)
5. Pregnant Man (беременный мужчина)
6. China (Китай)
   
7. Iraq (Ирак)
8. Shelley Malil
   (Американский актер индийского происхождения, популярный телеведущий. В августе 2008 арестован по подозрению в убийстве своей бывшей девушки).
9. Patrick Swayze (популярный танцор и певец, заболевший раком поджелудочной железы)
   
10. Afghanistan (Афганистан)

Знаменитости

Голливуд по настоящему интересуют только две вещи – очередной кино-шедевр и последний скандал с участием звезд. В 2008 г. таблоиды приправили их игру принудительным опекунством (Бритни Спирс), официальным обязательством соблюдать трезвость (Линдсей Лоан), счастливым материнством (Николь Ричи), и так далее, и так далее.

1. Miley Cyrus
2. Vanessa Anne Hudgens
3. Chris Brown
4. Jonas Brothers
5. Rihanna
6. Taylor Swift
7. Jamie Lynn Spears
8. Hayden Panettiere
9. Zac Efron
10. Selena Gomes

Олимпийцы

Олимпийский девиз «Citius, Altius, Fortius», если кто не знает, переводится как «быстрее, выше, сильнее». Про олимпиаду выпуска 2008 г. можно сказать, что по сравнению со своими предыдущими изданиями она стала как минимум больше. Встречаем самых отличившихся спортсменов:

1. Michael Phelps
2. Leryn Franco
3. Serena Williams
   
4. Kobe Bryat
5. Shawn Johnson
6. Jennie Finch
7. Misty May Treanor
8. Ronaldinho
9. Alicia Sacramone
   
10. Nastia Liukin

Политики
Годик выдался еще тот. Не можете отдышаться? И все-таки несмотря на все ужасы Уолл-стрит он запомнится людям прежде всего как год президенстких выборов.

1. Barack Obama
2. Sarah Palin
3. Hillary Clinton
4. Gina Garano
   
5. George Bush
6. Ron Paul
7. John Edwards
8. Mike Huckabee
9. Arnold Schwarzenegger
10. Mitt Romney

Влиятельные женщины
Женщины составляют более половины населения соединенных штатов, поэтому мы выделили их в… эээ… в отдельно стоящую, но полностью равноценную категорию.

1. Angelina Jolie
2. Sarah Palin
3. Oprah Winfrey
4. Hillary Clinton
5. Gina Garano
6. Tina Fey
7. Michelle Obama
8. Katie Couric
9. Barbara Walters
10. Dara Torres

Экономика
С экономикой у нас сами знаете что. Антикризисные вливания в размере 700 миллиадров долларов. Банкротства и просроченные закладные. Фондовый рынок камнем идет ко дну. В конце 2008 г. финансовые неурядицы вполне успешно конкурировали с президентскими выборами в плане количества пользовательских запросов.

1. IRS Stimulus Checks
   (Термин можно перевести как «стимулирующие чеки налоговой службы». Антикризисная мера правительства США, суть которой заключается в следующем: государство раздает гражданам деньги, — в районе 600 долларов на брата, — чтобы стимулировать потребительский спрос.)
2. Oil Prices (цены на нефть)
3. Gold Prices (цены на золото)
4. Gas Prices (цены на бензин)
5. Dow Jones (индекс Доу Джонса)
6. Sallie Mae (крупная финансовая компания, выдающая кредиты на обучение в колледжах)
7. Stock Market (фондовый рынок)
8. AIG (крупнейшая страховая компания США)
9. Foreclosure (лишение права выкупа имущества по закладной)
10. Debt Consolidation (консолидация долгов)

Прощания
Все мы рано или поздно уходим из этого мира. Если подобное перемещение приводит сетевую общественность в шок, — как это было в связи с кончиной Стива Ирвина, знатока дикой природы и телеведущего, — это значит, что речь идет о действительно выдающемся человеке, давшем этому миру очень многое.

1. Heath Ledger
2. Bernie Mac
3. Paul Newman
4. Randy Paish
   
5. George Garlin
6. Estelle Getty
7. Tim Russert
8. Brad Renfo
9. Isaac Hayes
10. Boyd Coddington

Рядом с каждым элементом выдачи выводится две кнопочки, позволяющие переместить позицию на первое место (стрелка вверх) или удалить ее из выдачи (крестик). В последнем случае позиция перемещается в нижнюю часть страницы, под заголовок «You have removed results from this page«  и остается видимой. Впрочем, удаленные позиции можно скрыть, нажав на соответствующую кнопочку рядом с этим заголовком.

Кроме того, пользователи теперь получили возможность оставлять комментарии к тем или иным позициям (для этого нужно нажать иконку комментария после сниппета). Оставленные отзывы — предупреждает Google — будут доступны другим пользователям. После перемещения позиции выдается сообщение о том, сколько пользователей осуществило аналогичную операцию

Важно понимать, что все изменения выдачи, осуществленные внутри аккаунта, не влияют на на результаты, показываемые остальным пользователям — по крайней мере, напрямую. Если вы хотите просмотреть сводку всех перемещений, удалений и комментариев, нажмите на ссылку  «See all notes for this SearchWiki» в подвале страницы. Увидеть выборку можно также добавив &swm=2 к адресу страницы с результатами поиска.

Комментарии не слишком полезны, хотя в случае незнакомых запросов они могут внести в результаты некоторую ясность. Данные о количестве пользователей, проголосовавших за данную позицию, также не слишком ценны, особенно когда вы видите огромные цифры вроде 314 159 265.

Основная цель SearchWiki — позволить пользователям подстраивать выдачу под себя посредством ручных манипуляций и обеспечить большую предсказуемость результатов поиска. Многие пользователи регулярно вводят однотипные общие запросы, такие как [mail], [weather], [news], при этом выдача по этим запросам постоянно меняется. В этой связи представляется разумной ситуация, когда пользователи могут зафиксировать свои любимые ресурсы на первых позициях выдачи. Если вы не можете найти в выдаче любимый ресурс, кликните на ссылке «Add a result«, чтобы вручную добавить сайт в топ.

SearchWiki — положительные моменты

• Вы можете подстраивать результат выдачи по типовым запросам под свои нужды, что в конечном итоге позволяет сэкономить время при поиске.
• Используйте Google вместо закладок — теперь это возможно
• При изучении выдачи по незнакомым запросам wiki может обеспечить вас ценными комментариями и альтернативным ранжированием (старайтесь не использовать wiki в случае потенциально заспамленных запросов).

Google всегда использовал данные о кликах для улучшения выдачи, поэтому SearchWiki вполне могут подключить к алгоритму ранжирования — самыми различными способами. «В настоящий момент мы не используем SearchWiki при ранжировании, однако нетрудно увидеть, как это может быть сделано в будущем,» — отметила Марисса Майер. «Поиск приспосабливается к новым требованиям по мере того, как интернет становится все более всеобщей средой. Теперь мы можем получать прицельные данные о том, какую выдачу хотели бы видеть пользователи. Нетрудно предположить, что если мы увидим некий особенный сайт, относительно которого пользователи необычайно единодушны, это может вызвать некую реакцию. Например, мы можем проверить наш механизм нейтрализации спама,» — рассуждает Цердик Дюпон, менеджер проектов SearchWiki и Google Knol.

Источник: http://googlesystem.blogspot.com/2008/11/google-searchwiki-launched.html

Почему только сейчас? И почему только с Google? Есть и другие компании, в том числе российские, зарабатывающие на технологии контекстной рекламы. Согласно озвученной позиции, на протяжении длительного времени специалисты компании тщательно исследовали данный вопрос, и им понадобилось 5 лет чтобы в итоге заявить во весь голос: Google скопировал нашу технологию.

Что касается других компаний, использующих контекстную рекламу, Эра Водолея утверждает, что они, оказывается, разработали свои собственные технологии, основываясь на идее Google.

Примечательно, что размер иска, который компания намерена предъявить Google, составляет 3 миллиарда долларов. Именно в такую сумму Эра Водолея оценивает свой ущерб. Вместе с тем представители компании дают понять, что их контора открыта для переговоров с ответчиком и что она может отказаться от идеи судебного разбирательства при условии достижения полюбовного соглашения. К несчастью для них, Google, похоже, попросту не замечает их претензий.

Спрашивается, кого бы они могли обеспокоить? Если вы — Google, крупнейший игрок на интернет-рынке, подобные иски это лишь одна из тысяч возможных угроз, к которым вы должны быть прекрасно готовы.

Источник: http://profy.com/2008/11/06/russian-company-to-sue-google-for-3-billion-for-contextual-ads-technology/

Вот, к примеру, девятая страница комикса:

 »В течение 20-30 минут после новой сборки браузера у нас есть возможность протестировать его на десятках тысяч разных веб-страниц. За неделю ChromeBot тестирует миллионы страниц, давая нашим разработчикам результаты, которых в противном случае, пришлось бы ждать до начала бета-тестирования.»

Google исполняет Javascript. Теперь это подтверждено официальным источником. А на десятой странице говорится, что для тестирования отбирается топ высокочастотников.

Обратите внимание, на девятой странице комикса Хуан прослушивает сайт медицинской направленности – WebMD, толстый намек.

Делаем выводы.

Рост Google в плане аккумулированных поисковых запросов вполне логично коррелирует с увеличением посещаемости этого ресурса. По сравнению с аналогичным показателем 13-месячной давности, трафик Google вырос весьма существенно. К июлю посещаемость Google увеличилась на 25% относительно отметки годичной давности, при этом с января 2008 г. рост этого показателя был постоянным. Анализ трафика Google также показывает, что компании удалось добиться 95-процентной «возвращаемости» своих пользователей (параметр показывает количество посетителей, повторно зашедших на сайт в течение месяца). Озвученная цифра верна для периода, начинающегося в октябре 2007 г. (с этого момента Hitwise начал отслеживать данный показатель).

На следующей неделе я буду участвовать в двух обсуждениях на конференции SES San Jose — вместе с целой кучей замечательных людей. Речь идет о первой дискуссии, которая состоится в понедельник утром («эволюция поисковой индустрии» — я уверена, моя тема там наверняка будет затронута) и второй дискуссии, имеющей место быть во вторник вечером («идентификация, анализ, действие — SEM в цифрах»). Если вы тоже туда собираетесь, добро пожаловать в нашу команду. Я призываю всех читателей ознакомиться с программой мероприятия — более 80% дискуссий и докладов рассказывают о чем-то новом, так что вы наверняка почерпнете из них массу полезного.

By Steven J. Vaughan-Nichols 15/07/2008

Когда-то CAPTCHA был простым и удобным способом проверки пользователей, настоящим спасением для вебмастеров, теперь же она превратилась в открытую настежь дверь, легко пропускающую  недобросовестных авторов и спамеров, пришедших на сайт, чтобы сделать свое черное дело.

Для своего времени CAPTCHA — полностью автоматический тест Тьюринга для различения компьютеров и людей (Completely Automatic Public Turing Test to Tell Computers and Humans Apart) — был очень даже неплох. Вы показывается пользователям последовательность слегка искаженных символов и просите их ввести данную последовательность в соответсвующее поле, чтобы получить почтовый аккаунт, учетную запись в социальной сети или доступ к комментированию сообщений на форуме. Не так уж это трудно, (хотя пользователи справедливо жалуются, что в очень многих шрифтах разница между строчной буквой  «l» и цифрой «1″ оказывается малозаметной), да и для вебмастеров ничего сложного в работе с этой системой нет.

CAPTCHA прошел путь от малоизвестной технологии, улучшенной в 2000 г. специалистами университета Карнеги-Мэллон, до универсального защитного средства, использующегося практически всеми почтовыми сервисами и великим множеством других сайтов. Подобный статус CAPTCHA приобрел к 2007 г. Тяжеловесы вроде Yahoo Mail, Google Gmail и Microsoft Hotmail использовали (и продолжают использовать) CAPTCHA, чтобы иметь стопроцентную уверенность: только живые люди, но никак не боты, могут регистрировать аккаунты и рассылать сообщения.

Золотые времена этого теста давно прошли. В Январе 2008 г. были взломаны CAPTCHA Yahoo Mail. Гугловские CAPTCHA были вскрыты в апреле. А том же месяце пали укрепления Microsoft Hotmail.

С этого момента начались серьезные проблемы.

В сети выложены программы (только не спрашивайте, где — все равно не скажем), позволяющие производить автоматические CAPTCHA-атаки. Для их использования хакерские навыки не нужны. Все, что вам потребуется, это желание распространять спам, осуществлять анонимные сетевые нападения на ваших недругов, распространять вредоносный код, — в общем, готовность стать еще одним сетевым ублюдком.

Речь идет не только об бесплатных почтовых сервисах, которые можно превратить в черт знает что.

Джон Нэгл (John Nagle) — основатель ресурса Site Truth, призванного выявлять  поддельные сайты компаний, написал в конце мая в журнале Techdirt о популярном сервисе рекламных объявлений Craigslist: «В течение многих лет спам был для них лишь незначительной помехой, которую удавалось легко держать под контролем, однако в этом году спамеры резко активизировались и начали быстро продвигаться вперед».

Craigslist попытался «остановить поток спама путем проверки дублированных сессий, — поясняет Нэгл. — Они стали фильтровать подозрительно большие посты, отправленные с одного IP-адреса, заставили пользователей указывать действующий почтовый адрес при регистрации, использовали CAPTCHA, чтобы защититься от публикующих посты ботов. Кроме того, теперь пользователи могут помечать объявления, которые им кажутся спамом.

Как замечает Нэгл, «на рынке представлено сразу несколько коммерческих продуктов, способных легко преодолеть эти незначительные препятствия на пути массовому рекламному постингу. Программа CL Auto Posting Tool — один из таких продуктов. Она не только позволяет публиковать посты на Craigslist в автоматическом режиме — в ней есть встроенные противоядия ко всем нововведениям Craigslist, направленным против спама.» И это далеко не единственная программа. «Существуют и другие программные продукты, такие как  AdBomber и Ad Master. Для спамеров, исповедующих сервис-ориентированный подход, имеется в наличии ItsYourPost.» Каков же результат? «Все защитные бастионы Craigslist были успешно взяты. Доля спама в некоторых его категориях достигает 90%. Сперва он захлестнул рубрику «знакомства», затем рубрику «сфера услуг» (services), и несколько позже добрался до рубрики «поиск работы».

Понятное дело, платить ни за что не нужно. Программы-взломщики CAPTCHA доступны в сети для бесплатного скачивания.

Craigslist продолжает бороться. Теперь для публикации некоторых объявлений требуется подтверждающий телефонный звонок. Взломщики, в свою очередь, активно работают над преодолением и этой линии защиты. Подобная борьба стоит все больше и больше денег, поэтому возникает некоторое сомнение в том, что Craigslist, всегда бывший абсолютно бесплатным, сможет и в дальнейшем придерживаться своей альтруистической бизнес-модели.

Как видно на примере Craigslist, рост количества мусорной почты — далеко не единственная проблема, вытекающая из преодоления CAPTCHA-защиты. Говорит Пол Вуд (Paul Wood), ведущий аналитик британской компании MessageLabs, занимающейся попросами защиты электронных сообщений: «MessageLabs уже встречались примеры того, как спамеры, сумевшие взломать CAPTCHA Google  и Hotmail, находят новые способы донести свои сообщения до пользователей — например, используют Google Docs для создания спам-контента и ссылаются на него в рассылаемых по email спам-сообщениях. Таким образом им удается обойти противоспамные фильтры, основанные на выявлении известных спам-доменов в адресах ссылок.»

Пользователи социальных сетей также рискуют сильно пострадать от грядущих CAPTCHA-атак, утверждает Стефан Ченетт (Stephan Chenette), руководитель исследовательского отдела в Websense Security Labs.

«Новое поколение пользователей уже не использует электронную почту для общения, — говорит Ченетт. — Они используют социальную сеть и они без особых опасений публикуют разную личную информацию в социальной сети или на страницах блога, вместо того, чтобы посылать ее по элеткронной почте. Если сетевой агрессор (malicious attacker) создаст собственный публичный блог или зарегистрирует аккаунт в социальной сети, он может легко использовать их для публикации вредоносных ссылок. Эксплуатируя запас доверия, имеющийся у данного сообщества, он может с успехом задействовать его участников в качестве распространителей своих вирусов и тому подобных вещей.

Поскольку социальные сети предлагают злоумышленникам «огромнейший плацдарм для развертывания атак», и поскольку «пользователи этих сетей не чувствуют себя уязвимыми в плане спам-атаки, аналогичной тому спам-прессингу, которому они подвиргаются через e-mail», воздействовать на пользователей социалок оказывается чрезвычайно легко, утверждает Ченетт. 

Еще одна опасность, вытекающая из грядущего CAPTCHA-коллапса, заключается в быстром росте количества фейковых вебсайтов (fake Web sites). Как поясняет Ченетт, подобные сайты заимствуют свой контент у вполне легитимных сайтов методом «копировать – вставить», дабы понравиться поисковикам, заработать как можно более солидную репутацию и, как следствие, обеспечить себе прирост аудитории.

«Для сетевых агрессоров, хорошая репутация — это последний писк моды, — говорит Ченетт. — С точки зрения поисковой системы, главное значение имеет контент. Сетевые агрессоры выуживают из сети качественныей контент, выкладывают его на своем сайте и добиваются высокого ранжирования в поисковиках, что, в свою очередь, ведет к улучшению репутации сайта. Последнее время мы видим подобное сплошь и рядом. Разумеется, замусоривание поисковиков — практика очень старая, однако теперь основной целью спамеров, охотящихся за контентом, становятся именно сайты с хорошей репутацией, защищенные CAPTCHA [такие как Digg, к примеру]«.

Зададимся вопросом: учитывая множество новых способов атаковать пользователей — как через e-mail, так и через социальные сети и блоги, — есть ли у CAPTCHA будущее?

Судя по всему,  нет.

«Я полагаю, что срок жизни CAPTCHA-систем современного типа подходит к концу, — говорит Вуд; — их эффективность существенно снизилась. С одной стороны, CAPTCHA становится все труднее использовать живым пользователям, с другой — они испытывают постоянно растущее давление со стороны спамеров, что оборачивается дальнейшим их усложнением.»  

Ченетт идет еще дальше: «CAPTCHA был успешно взломан еще полтора года назад. Сама технология с тех пор ничуть не улучшилась. CAPTCHA стали немного сложнее, однако хакеры сделали кучу програм, способных проходить их без особого труда. Это верно как для визуальных, так и для звуковых CAPTCHA. Все виды CAPTCHA были взломаны тем или иным способом.» Ченетт продолжает: «Это фундаментальная проблема, не имеющая простого решения. В конечном итоге увеличение надежности CAPTCHA оборачивается все большими проблемами при их использовании простыми людьми». В то же время эксперт верит в то, что «идея, лежащая в основе CAPTCHA, должна стать важной частью нового технического решения».

Как бы то ни было, Ченетт не ожидает появления единого и универсального решения: «Каждому сайту придется решать эту проблему в частном порядке. Сайты финансовой направленности, к примеру, будут использовать гораздо более сложные тесты, нежели социальные сети».

По мнению Вуда, в самом недалеком будущем CAPTCHA будут заменены на нечто новое: «Я полагаю, что в скором времени мы будем наблюдать активное внедрение новых технологий, заменяющих традиционные CAPTCHA. Возможно, это случится уже в начале следующего года. Вероятно, будет задействован феномен трехмерного восприятия, как в том тесте, представленном на SpamFizzle.»

Если и это решение в конце-концов окажется несостоятельным, остаются еще CAPTCHA из разряда тех, что используются на сайте Quantum Random Bit Generator Service. Ведь вы еще помните математику на уровне простейших арифметических операций, не так ли?

http://www.computerworld.com.au/index.php/id;489635775;pp;1;fp;;fpid;]Quoted%20from%20here