08 сентября 2009 :Русский язык в URL

Итак, сегодня хотела написать немного об использовании кириллицы в ЧПУ. На мой взгляд русскоязычные ссылки были бы очень хороши, если бы не... Ходят слухи что они не доступны браузерам, поисковикам и другим системам, а в адресной строке браузера отображается что-то совершенно ужасное. Вот о всех плюсах, минусах, слухах и реализации на сайтах я бы и хотела рассказать.

Итак, пример того как можно использовать русский язык в URL можно увидеть прямо в адресной строке вашего браузера. Там должно быть написано следующее:

http://usabili.ru/news/2009/09/08/Русский_язык_в_URL.html

Заглянем что говорит по этому поводу официальная спецификация HTML 4.01:

B.2.1 Non-ASCII characters in URI attribute values
Although URIs do not contain non-ASCII values authors sometimes specify them in attribute values expecting URIs (i.e., defined with %URI; in the DTD). For instance, the following href value is illegal:
<A href="http://foo.org/Håkon">...</A>
We recommend that user agents adopt the following convention for handling non-ASCII characters in such cases:
-   Represent each character in UTF-8 (see [RFC2279]) as one or more bytes.
-   Escape these bytes with the URI escaping mechanism (i.e., by converting each byte to %HH, where HH is the hexadecimal notation of the byte value).

This procedure results in a syntactically legal URI (as defined in  [RFC1738], section 2.2 or [RFC2141], section 2) that is independent of the character encoding to which the HTML document carrying the URI may have been transcoded.

Что примерно означает следующее:

Хотя URL (есть разница между URL и URI, но тут она не важна), дожен содержать только латинские (ASCII) символы, бывает что авторы вставляют их в значение ссылок. Например в следующем примере значение атрибута href неправомерно:

<A href="http://vasya.ru/Вася_Пупкин">...</A>
Рекомендуем браузерам сделать следующее:
- Заменить каждый символ кодировкой urf-8
- Кодировать эти символы побайтно экранированием url, т.е. шеснадцатиричными значениями (каждый байт будет %HH).
В итоге ваш URL будет синтаксически верен.

Следуя рекомендациям экранируем нашу ссылку, мы получим примерно следующее.

http://usabili.ru/news/2009/09/08/%D0%A0%D1%83%D1%81%D1%81%D0%BA%D0%B8%D0%B9_%D1%8F%D0%B7%D1%8B%D0%BA_%D0%B2_URL.html

Отметим особо, что ссылка у нас получилась в (экранированной) кодировке UTF-8, и её длинна соответственно возрасла. Вебмастера чьи сайты используют в качестве основной кодировки win-1251 (как например этот сайт) должны обрабатывать имя ссылок особо, например можно перевести её в нужную вам кодировку.

Зайдём по ссылке браузером, и вуаля, он нам показывает чистый русский язык.

Использование русского языка в URL

В IE8 к сожалению чистый русский язык будет только если там адрес вбивать вручную. Но, таков уж IE =).

В яндексе русский язык в url прекрасно понимают, и даже используют для поиска.

Гугл словам в ссылках значения не даёт, кроме того, слова соединённые через подчёркивание считаются с его точки зрения одним, для разделителей лучше использовать минус (дефис). Этот факт горячо обсуждался на xpoint.ru. Однако правильно сформированные русскоязычные ссылки он тоже отображает.

Теперь время для небольшого интервью, я опросила коллег на эту тему:

твоё мнение о использовании русского языка в url? если например ссылка в utf-8?
Jelu (программист): ну кракозябра сверху) вообще считаю что это плохо

давно хотела спросить кое что про оптимизацию. Как влияет на оптимизацию русский язык в url?
@ (оптимизатор): не знаю что даже и ответить, думаю что зависит от того что ты хочешь получить в результате, т.е. для чего делается эта ссылка. но думаю что большого траста она не придаст, а смысл передается анкором, думаю что русский язык тут не причем.

@: я не знаю как конкретно поисковик относится к ссылкам на русском языке. ну если говорить в общем о том как она влияет, я склонен думать что никак. На релевантность влияет текст на странице, но никак не ссылающийся на нее урл.

привет.  твоё мнение о использовании русского языка в url? 
ov3r (программист): привет. отрицательно, хотя бы из-за различных кодировок

твоё мнение о использовании русского языка в url? 
Джехи (программист): только что обнаружил, что бл***ая сапа обрезает урлы длиннее 255 символов, что меня огорчило. поскольку у меня урленкод на > 255 сиволов от русского языка. с**и пи***ы.
в остальном длинные русские урлы красивы, приятны, удобны, всеми понимаются и повышают релеванстность.

твоё мнение о использовании русского языка в url?
Dark Lord (программист): шняга!

Резюме: Поддержка русского языка в ссылках на уже хорошем уровне есть. Однако многие вебмастера пока не видят смысла в её использовании. Теоритически возможно использование ключевых слов в урл для вывода страницы в яндекс.

я буду очень признательна если вы прокоментируете эту статью

#1
Ярослав

12.02.2011 16:58:53

Хочу попросить автора статьи рассказать как сделать URL на русском языке. Хочу сделать русский URL у себя на сайте но чё то никак не могу разобраться )
буду благодерен за инфу
мыло : sava-933933@mail.ru
#2
Елена Лунная

13.02.2011 04:22:59

Итак, ярослав, для того чтобы сделать url на русском, предполагается что у вас уже есть реализация url на английском, если вы сами писали себе сайт.
В базе данных, url хранится в кодировке utf-8[u][/u], не важно в какой кодировке сам сайт. Если сайт в кодировке 1251, то при сохранении конвертируете кодировку в Utf-8.
Когда вы показываете ссылку на странице блога - нужно также ту часть которая содержит русский язык обработать php-функцией urlencode.
Соответственно потом, чтобы найти новость, вы парсите url, и ищете по той части его которая содержит русский язык. sql запрос выглядит примерно так:
SELECT ... where ... CONVERT(`caption_latin` USING utf8) = CONVERT(''.$pname.'' USING utf8) ..., где caption_latin имя столбца содержащего ваш url в кодировке utf8.
#3
Ярослав

13.02.2011 10:20:06

я только начинающий веб-мастер, поэтому мне кое что непонятно. Если честно мне бы подошла инструкция "для чайников" по этому вопросу ))
как сохранить кодировку в Utf-8?
как обработать русский язык php-функцией?
что такое парсить url?
Извеняюсь если какие то вопросы покажутся смешными, но я только учусь )
Ещё хорошо бы было показать пример кода до и после (т.е. какие изменения в код нужно внести что бы получить русские буквы в URL), думаю новичкам таким как я так будет легче разобраться.
Заранее спасибо.
#4
Bars (Денис Борзенко)

12.04.2011 09:08:32

... Прошло 2 года спустя публикации этой статьи. Народ вовсю пользует возможность задавать кириллические ссылки; Яша этому рад; саперы тоже рады; не слишком давно регистраторам разрешили раздавать IDN-домены; даже зону на кириллице ввели (хотя и выдают, как я понял, алиасы для каждого домена в уникоде )...
Все это не может не радовать.
А вот делать правильный редирект (имею ввиду 301) научились не все(?). Потому как header`ы не принимают кириллические ссылки. Чего только не делют похапэшники со строками перед вставкой в header('Location: '.СЮДА);
Нет ли у автора(ов) блога соображений на эту тему? Востребованная статья может получиться )
#5
Елена Лунная

12.04.2011 10:43:20
У автора (меня т.е.) соображения конечно есть. Подготовка ссылки для 301 редиректа вообще никак не отличается от подготовки ссылки для html. Я уже писала о том мой блог поддерживает автоисправление ссылок.
Вот ради интереса можете стереть в адресной строке год, или месяц, или вообще дату целиком. Или можете просто нажать Эту ссылку. Вас снова поредиректит на эту статью.
В случае если у вас движок хранит данные в win-1251 вам следует выполнить 2 действия:
- Перевести поле отвечающее за ЧПУ ссылки в кодировку UTF8
- Выводить это поле в ссылке, используя urlencode() в PHP. (не всю ссылку а только данную часть url).
Если у вас движок всё хранит в utf - ну вы поняли, да? =)
#6
Bars (Денис Борзенко)

12.04.2011 12:46:29

Долго я возился с этим...
И раньше все делал как и было сказано в статье: переводил в utf-8, потом экранировал. По-разному экспериментировал...
А оказалось, проблема в том, что urlencode() просто экранировал слеш.
Спасибо, из-за статьи снова взялся разбираться с функцией. Разобрался ) Вот ф-ция на php:
function redirectto($redirect_link)
{
$redirect_link=iconv('windows-1251', 'utf-8', $redirect_link);
$redirect_link=urlencode($redirect_link);
$redirect_link=str_replace('%2F', '/', $redirect_link);
header('Location: '.$redirect_link.'');
}
#7
Spartak

14.09.2011 10:00:09

День добрый. У меня такой вопрос... Обо всем по порядку. Хочу сделать, чтобы urn имел возможность быть на русском (да, вот так я выразился)).
Собственно, что делать?)
Пользователь пытается зайти на адрес host.domen/2011/статья-1/
Как мне перехватить это? Ловить все запросы отправляемые на 404? Но тогда будет возвращаться код 404 вместо 200. Или сделать "мягкую ошибку 404" с кодом возврата 200? (кстати как это сделать не понимаю).
Или настраивать .htaccess для редиректа 301? Но тогда будет делаться редирект (парадокс, да?))... А в силу того, что имена всех файлов и папок на хосте только латиницей url будет меняться на host.domen/2011/statja-1/ (это верный адрес страницы). Но я такой не хочу) Хочу чтобы в строке адреса так и отображался host.domen/2011/статья-1/ Используя ErrorDocument 404 адрес в адресной строке остается как раз таким. Что позволяет немного обмануть природу и использовать русский на сервере, где это делать нельзя) Вобщем, есть идеи?
#8
Spartak

14.09.2011 12:32:19

Буду копать пока mod_rewrite
#9
Spartak

14.09.2011 14:20:26

Таки мощный инструмент mod_rewrite. Но малость неудобно с ним работать. Можно было сделать проще. Хотя, это, судя по всему, вызвано его внутренней сложностью. Или просто влияние "старой школы". Все-таки когда он был разработан то. Ну да не суть, главное сделал я все) Но с mod_rewrite вариант оказался не таким гибким. Лучше такие всю обработку оставить на php собирая неверный запросы в 404.
#10
Елена Лунная

14.09.2011 15:57:31

В нашем движке используется следующее правило для mod_rewrite:
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)$ index.php?rewrite_url_query_toget=$1 [L,QSA]
Что я вам и рекомендую. Это позволяет получить адрес страницы из переменной $_GET['rewrite_url_query_toget'];
Можно использовать просто RewriteRule ^(.*)$ index.php [L,QSA] , но в таком случае адрес страницы нужно брать из переменной $_SERVER['REQUEST_URI'] что будет не совсем верно если движок установлен в папку, а не в корень.
Собирать страницы через обработку 404 запросов, не совсем правильно. Во-первых может быть что по умолчанию вернётся 404 статус. Во-вторых апач может попытаться отдать страницу через протокол HTTP 1.0 вместо HTTP 1.1, потому что страницу 404 нужно возвращать именно через HTTP 1.0, т.е. не используя метод chunked для выдачи, что тоже приведёт к ошибке. И т.п.
А mod_rewrite действительно сложен именно в силу своей универсальности. При должном изучении вы сможете с помощью его делать очень многое.
#11
Spartak

14.09.2011 16:40:40

Ну первые две проблемы решаются с помощью посылки заголовка HTTP/1.1 200 Ok. Но в том, что это не совсем правильно, я, конечно, согласен) Это все-таки обходной путь. Я бы его не трогал, если бы все ровненько "склеилось" с mod-rewrite. У меня склеилось, но как-то кривовато. Ну за час этот механизм не освоить точно. Попробую поэкспериментировать с Вашими командами в mod_rewrite.

Чтобы оставить комментарий нужно зарегистрироваться или войти.
Либо волшебно используйте ваш логин в Google, Яндекс, рамблер или ЖЖ чтобы войти через Open_ID

Javascript - о массивах и объектах

Я вас любил Яваскрипты.

08 сентября 2009 :Русский язык в URL

Комментарии:

15 самых популярных статей:

Оставить комментарий как: Гость:
Сообщение: