| View previous topic :: View next topic |
| Author |
Message |
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
 Posted: 23 Apr 2013 12:09 (Tue) Post subject: Похоже, проверка PTR кладет DNS-сервера. |
 |
|
После включения проверки PTR некоторое время всё работало замечательно. Потом в логах стали проскакивать следующие записи:
===[CMSLog cut]===============8<----------------------------------------------
+23.04.2013 11:29:00 000R Подключился SMTP-клиент [115.22.190.152]
~23.04.2013 11:29:00 000R iphlpapi.dll loaded
~23.04.2013 11:29:00 000R Windows DNS servers: 192.168.0.108;192.168.0.114;
~23.04.2013 11:29:00 000R iphlpapi.dll unloaded
~23.04.2013 11:29:00 000R DNS query [192.168.0.108]: 152.190.22.115.in-addr.arpa 12
!23.04.2013 11:29:05 000R Тайм-аут соединения
~23.04.2013 11:29:05 000R DNS query [192.168.0.108]: 152.190.22.115.in-addr.arpa 12
!23.04.2013 11:29:10 000R Тайм-аут соединения
~23.04.2013 11:29:10 000R DNS query [192.168.0.108]: 152.190.22.115.in-addr.arpa 12
!23.04.2013 11:29:15 000R Тайм-аут соединения
~23.04.2013 11:29:15 000R DNS query [192.168.0.114]: 152.190.22.115.in-addr.arpa 12
!23.04.2013 11:29:15 000R Ошибка DNS-сервера: Внутренняя ошибка (RCODE=2)
~23.04.2013 11:29:15 000R DNS query [192.168.0.114]: 152.190.22.115.in-addr.arpa 12
!23.04.2013 11:29:16 000R Ошибка DNS-сервера: Внутренняя ошибка (RCODE=2)
~23.04.2013 11:29:16 000R DNS query [192.168.0.114]: 152.190.22.115.in-addr.arpa 12
!23.04.2013 11:29:17 000R Ошибка DNS-сервера: Внутренняя ошибка (RCODE=2)
~23.04.2013 11:29:17 000R Не удалось выполнить DNS-запрос для 152.190.22.115.in-addr.arpa 12
~23.04.2013 11:29:17 000R DNS query [192.168.0.108]: 152.190.22.115.in-addr.arpa 2
!23.04.2013 11:29:17 000R Соединение разорвано удалённым хостом (10054)
~23.04.2013 11:29:17 000R DNS query [192.168.0.108]: 152.190.22.115.in-addr.arpa 2
!23.04.2013 11:29:17 000R Соединение разорвано удалённым хостом (10054)
~23.04.2013 11:29:17 000R DNS query [192.168.0.108]: 152.190.22.115.in-addr.arpa 2
!23.04.2013 11:29:17 000R Соединение разорвано удалённым хостом (10054)
~23.04.2013 11:29:17 000R DNS query [192.168.0.114]: 152.190.22.115.in-addr.arpa 2
!23.04.2013 11:29:19 000R Ошибка DNS-сервера: Внутренняя ошибка (RCODE=2)
~23.04.2013 11:29:19 000R DNS query [192.168.0.114]: 152.190.22.115.in-addr.arpa 2
!23.04.2013 11:29:20 000R Ошибка DNS-сервера: Внутренняя ошибка (RCODE=2)
~23.04.2013 11:29:20 000R DNS query [192.168.0.114]: 152.190.22.115.in-addr.arpa 2
!23.04.2013 11:29:21 000R Ошибка DNS-сервера: Внутренняя ошибка (RCODE=2)
~23.04.2013 11:29:21 000R Не удалось выполнить DNS-запрос для 152.190.22.115.in-addr.arpa 2
<23.04.2013 11:29:21 005M 220 [88.86.79.2] Courier Mail Server 3.01 ESMTP service ready
!23.04.2013 11:29:21 005M Удалённый хост отключился
-23.04.2013 11:29:21 005M Отключился SMTP-клиент [115.22.190.152]
~23.04.2013 11:29:21 005M Thread stopped (TCsSMTPServer)
------------------------------>8===============================[CMSLog cut]===
Еще было несколько раз "Incorrect DNS response ID"
Сначало изредка, потом всё чаще ... Пришлось перезапускать DNS-сервера. Сейчас работает нормально, но надолго ли?
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
 |
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
| Posted: 24 Apr 2013 13:30 (Wed) Post subject: |
|
|
Для проверки я выполнил стресс-тест: добавил в CMS генерацию случайных IP-адресов и их проверку (PTR- и A-записи, всё как в SMTP-сервисе) в цикле.
Тест работал 2 ч. 40 мин. и проверил 10038 IP-адресов (то есть запросов к DNS было более 20000). Были и тайм-ауты, и ошибки с RCODE=2 и "Incorrect DNS response ID". Однако, ошибки распределены по времени более-менее равномерно, DNS-сервер не "упал" и на последние запросы отвечал, так же, как и на первые.
Так что ваше предположение о том, что "проверка PTR кладет DNS-сервера", у меня не подтвердилось. |
|
| Back to top |
|
|
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
| Posted: 24 Apr 2013 13:43 (Wed) Post subject: |
|
|
Странная работа DNS продолжается. Вроде бы пока не критично часто. Может быть, это особенности самих DNS, а стали заметны только сейчас. когда запросы на обратный резольвинг стали частыми и видны в логах.
Но обратил внимание на следующее:
Несмотря на то, что DNS-серверов у меня 2, опрашивается все время один (первый):
===[CMSLog cut]===============8<----------------------------------------------
+23.04.2013 11:21:50 000R Подключился SMTP-клиент [93.85.185.157]
~23.04.2013 11:21:50 000R iphlpapi.dll loaded
~23.04.2013 11:21:50 000R Windows DNS servers: 192.168.0.108;192.168.0.114;
~23.04.2013 11:21:50 000R iphlpapi.dll unloaded
~23.04.2013 11:21:50 000R DNS query [192.168.0.108]: 157.185.85.93.in-addr.arpa 12
!23.04.2013 11:21:50 000R Ошибка DNS-сервера: Домен 157.185.85.93.in-addr.arpa не существует (RCODE=3)
~23.04.2013 11:21:50 000R DNS query [192.168.0.108]: 157.185.85.93.in-addr.arpa 12
!23.04.2013 11:21:50 000R Ошибка DNS-сервера: Домен 157.185.85.93.in-addr.arpa не существует (RCODE=3)
~23.04.2013 11:21:50 000R DNS query [192.168.0.108]: 157.185.85.93.in-addr.arpa 12
!23.04.2013 11:21:50 000R Ошибка DNS-сервера: Домен 157.185.85.93.in-addr.arpa не существует (RCODE=3)
~23.04.2013 11:21:50 000R Не удалось выполнить DNS-запрос для 157.185.85.93.in-addr.arpa 12
~23.04.2013 11:21:50 000R DNS query [192.168.0.108]: 157.185.85.93.in-addr.arpa 2
!23.04.2013 11:21:50 000R Ошибка DNS-сервера: Домен 157.185.85.93.in-addr.arpa не существует (RCODE=3)
~23.04.2013 11:21:50 000R DNS query [192.168.0.108]: 157.185.85.93.in-addr.arpa 2
!23.04.2013 11:21:50 000R Ошибка DNS-сервера: Домен 157.185.85.93.in-addr.arpa не существует (RCODE=3)
~23.04.2013 11:21:50 000R DNS query [192.168.0.108]: 157.185.85.93.in-addr.arpa 2
!23.04.2013 11:21:50 000R Ошибка DNS-сервера: Домен 157.185.85.93.in-addr.arpa не существует (RCODE=3)
~23.04.2013 11:21:50 000R Не удалось выполнить DNS-запрос для 157.185.85.93.in-addr.arpa 2
<23.04.2013 11:21:50 000R 521 No PTR record for your host [93.85.185.157]
23.04.2013 11:21:50 000R Доступ для [93.85.185.157] запрещён
-23.04.2013 11:21:50 000R Отключился SMTP-клиент [93.85.185.157]
------------------------------>8===============================[CMSLog cut]===
И только если он не отвечает или выдает 3 раза ошибки, начинает опрашиваться второй (см. мой предыдущий пост).
Нельзя ли сделать опрос обоих серверов, причем, поочередный: 1-2-1-2-1-2? Так же желательно вручную задавать число циклов опросов.
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
|
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
| Posted: 24 Apr 2013 13:47 (Wed) Post subject: |
|
|
У Вас сколько DNS-серверов? У меня 2 с репликацией.
Обратил внимание, что ошибки чаще всего проскакивают на обоих серверах одновременно. Может быть это как-то связано с периодическими репликациями их баз?
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
|
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
| Posted: 24 Apr 2013 16:26 (Wed) Post subject: |
|
|
| GrAnd wrote: | | Нельзя ли сделать опрос обоих серверов, причем, поочередный: 1-2-1-2-1-2? |
Второй сервер используется в случаях, когда первый не ответил или вернул код ответа (RCODE), отличный от 3. Иными словами, если от первого сервера "нормального" ответа добиться не удалось, обращаемся ко второму.
В вашем примере CMS у первого DNS-сервера выяснил, что домен не существует, поэтому и нет обращения ко второму.
Кстати, вижу недочёт: несмотря на то, что ответ был получен на первый же запрос ("домен не существует") CMS повторяет запросы. И получает, разумеется, тот же ответ. Поправлю.
Сделать поочерёдный опрос DNS-серверов можно, подумаю.
| GrAnd wrote: | | Так же желательно вручную задавать число циклов опросов. |
"Подключение - DNS - При сбое повторять запрос ... раз(а)"
| GrAnd wrote: | | У Вас сколько DNS-серверов? У меня 2 с репликацией. |
Собственных DNS-серверов у меня нет, использую сервера провайдера. В стресс-тесте использовался один. Повторю тест с двумя серверами.
| GrAnd wrote: | | Обратил внимание, что ошибки чаще всего проскакивают на обоих серверах одновременно. Может быть это как-то связано с периодическими репликациями их баз? |
Возможно, точно не знаю, с работой DNS-серверов я знаком только в том объёме, который используется в CMS. |
|
| Back to top |
|
|
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
| Posted: 24 Apr 2013 16:47 (Wed) Post subject: |
|
|
| NAMOR wrote: | | ... несмотря на то, что ответ был получен на первый же запрос ("домен не существует") CMS повторяет запросы. И получает, разумеется, тот же ответ. |
Причем, аж 6 раз.
А в случае таймаута, RCODE=2 или разрыва коннекта опрос велся 3 раза, потом 3 раза опрашивался второй, потом снова 3 раза первый и снова 3 раза второй. Зачем повторялся этот цикл?
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
|
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
| Posted: 24 Apr 2013 17:21 (Wed) Post subject: |
|
|
| GrAnd wrote: | | Причем, аж 6 раз. |
Первые три раза запрашивалась PTR-запись ("DNS query ... 12"), а вторые три раза — NS-запись ("DNS query ... 2"). Это независимые друг от друга запросы, каждый из которых повторяется заданное в настройках число раз.
| GrAnd wrote: | | А в случае таймаута, RCODE=2 или разрыва коннекта опрос велся 3 раза, потом 3 раза опрашивался второй, потом снова 3 раза первый и снова 3 раза второй. Зачем повторялся этот цикл? |
Во второй раз CMS пытался узнать в DNS имя авторитетного DNS-сервера для запрашиваемого домена, с тем, чтобы получить авторитетный ответ на первоначальный запрос.
Это делается согласно RFC 1035:
| Code: | 4.1.1. Header section format
RCODE Response code - this 4 bit field is set as part of
responses. The values have the following
interpretation:
3 Name Error - Meaningful only for
responses from an authoritative name
server, this code signifies that the
domain name referenced in the query does
not exist. |
То есть ответ с RCODE=3 имеет смысл только при ответах от авторитетного сервера и означает, что имя запрашиваемого домена не существует. |
|
| Back to top |
|
|
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
| Posted: 25 Apr 2013 1:05 (Thu) Post subject: |
|
|
| NAMOR wrote: | | Повторю тест с двумя серверами. |
Повторил. Результаты аналогичны предыдущему тесту. |
|
| Back to top |
|
|
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
| Posted: 25 Apr 2013 12:33 (Thu) Post subject: |
|
|
Кажется, дело точно в репликациях или еще в какой-то фиче DNS.
Просмотрел логи. Ошибки редки, но можно заметить, что они возникают примерно в районе 0-5 минут каждого часа, 15-25 минут и 40-50 минут. Из за непостоянства и нерегулярности точнее сказать сложнее, но наблюдается некоторая периодичность 15 или 20 минут.
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
|
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
| Posted: 26 Apr 2013 11:01 (Fri) Post subject: |
|
|
Все оказалось гораздо интереснее и непонятнее.
Установил CMS на другой сервер. Да не просто сервер, а вторичный контроллер с резервным DNS. Т.е., машина не сильно нагруженная и, кроме того, обращение CMS к первому DNS идет по IP=127.0.0.1 - на коммуникационное оборудование вообще не выходит.
Тем не менее, ошибок таймаута набралось за ночь полно.
Начал разбираться. Попробовал эти IP пролукапить вручную и вот что получил:
| Code: | C:\Documents and Settings\Администратор.TEPLO>nslookup
Default Server: localhost
Address: 127.0.0.1
> set q=ptr
> 77.123.18.206
Server: localhost
Address: 127.0.0.1
*** localhost can't find 206.18.123.77.in-addr.arpa.: Server failed
> 180.254.127.202
Server: localhost
Address: 127.0.0.1
DNS request timed out.
timeout was 2 seconds.
*** Request to localhost timed-out
> 42.117.104.195
Server: localhost
Address: 127.0.0.1
DNS request timed out.
timeout was 2 seconds.
*** Request to localhost timed-out
> 42.117.191.50
Server: localhost
Address: 127.0.0.1
DNS request timed out.
timeout was 2 seconds.
*** Request to localhost timed-out
> 123.241.38.80
Server: localhost
Address: 127.0.0.1
DNS request timed out.
timeout was 2 seconds.
*** Request to localhost timed-out
> 42.119.165.41
Server: localhost
Address: 127.0.0.1
DNS request timed out.
timeout was 2 seconds.
*** Request to localhost timed-out
> 42.119.66.204
Server: localhost
Address: 127.0.0.1
DNS request timed out.
timeout was 2 seconds.
*** Request to localhost timed-out
> server ns.quantum.ru
Default Server: ns.quantum.ru
Address: 213.170.64.33
> 77.123.18.206
Server: ns.quantum.ru
Address: 213.170.64.33
*** ns.quantum.ru can't find 206.18.123.77.in-addr.arpa.: Server failed
> 180.254.127.202
Server: ns.quantum.ru
Address: 213.170.64.33
*** ns.quantum.ru can't find 202.127.254.180.in-addr.arpa.: Server failed
> 42.117.104.195
Server: ns.quantum.ru
Address: 213.170.64.33
DNS request timed out.
timeout was 2 seconds.
*** Request to ns.quantum.ru timed-out
> 42.117.191.50
Server: ns.quantum.ru
Address: 213.170.64.33
DNS request timed out.
timeout was 2 seconds.
*** Request to ns.quantum.ru timed-out
> 123.241.38.80
Server: ns.quantum.ru
Address: 213.170.64.33
*** ns.quantum.ru can't find 80.38.241.123.in-addr.arpa.: Server failed
> 42.119.165.41
Server: ns.quantum.ru
Address: 213.170.64.33
DNS request timed out.
timeout was 2 seconds.
*** Request to ns.quantum.ru timed-out
> 42.119.66.204
Server: ns.quantum.ru
Address: 213.170.64.33
DNS request timed out.
timeout was 2 seconds.
*** Request to ns.quantum.ru timed-out
> exit
C:\Documents and Settings\Администратор.TEPLO> |
Как видно, попытка разрезольвить эти адреса не локальным DNS, а сервером провайдера тоже не увенчалась успехом. По непонятной причине он не отвечает RCODE=3, а просто не отвечает совсем, либо выдает ошибочный ответ.
Пытался сменить сервер на какой-либо другой. Картина ненамного лучше. Либо таймаут, либо ответ, не содержащий сведений из PTR. Изредка RCODE=3.
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
|
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
| Posted: 26 Apr 2013 13:51 (Fri) Post subject: |
|
|
| GrAnd wrote: | Как видно, попытка разрезольвить эти адреса не локальным DNS, а сервером провайдера тоже не увенчалась успехом. По непонятной причине он не отвечает RCODE=3, а просто не отвечает совсем, либо выдает ошибочный ответ.
Пытался сменить сервер на какой-либо другой. Картина ненамного лучше. Либо таймаут, либо ответ, не содержащий сведений из PTR. Изредка RCODE=3. |
Скорее всего, ситуация следующая. Вы запросили PTR-запись у "своего" DNS-сервера. В кэше у него такой записи нет. Он пытается найти авторитетный сервер для запрашиваемых имён (PTR-записей) и запросить PTR-запись у него. Если авторитетный сервер выключен (варианты: не ответил в нужное время, потерялся запрос или ответ), то "ваш" DNS-сервер фиксирует тайм-аут, о чём вам и сообщает.
Если в ответе нет PTR-записи, а есть только DNS-сервера, это значит, что запрашиваемый DNS-сервер выполнил нерекурсивный запрос и его ответ означает: "Я не знаю ответа на ваш запрос, спросите у такого-то сервера".
Я попробовал позапрашивать PTR-записи по вашему примеру. С DNS-сервером провайдера результат аналогичный: первый раз "Server failed", потом сплошные тайм-ауты. Сервер ns.quantum.ru вместо PTR-записей по каждому запросу вернул список авторитетных DNS-серверов. Попробовал запросить PTR-записи напрямую у этих серверов. Результат: несколько "Query refused", остальное — тайм-ауты. Вот характерные примеры:
| Code: | >nslookup.exe -type=ptr 77.123.18.206 ns.quantum.ru
Server: ns.quantum.ru
Address: 213.170.64.33
18.123.77.in-addr.arpa nameserver = ns6.ukrwest.net
18.123.77.in-addr.arpa nameserver = ns5.ukrwest.net
ns5.ukrwest.net internet address = 77.120.80.16
ns6.ukrwest.net internet address = 77.120.80.11
>nslookup.exe -type=ptr 77.123.18.206 ns6.ukrwest.net
*** Can't find server name for address 77.120.80.11: Query refused
Server: UnKnown
Address: 77.120.80.11
*** UnKnown can't find 206.18.123.77.in-addr.arpa.: Server failed
>nslookup.exe -type=ptr 77.123.18.206 ns5.ukrwest.net
*** Can't find server name for address 77.120.80.16: Query refused
Server: UnKnown
Address: 77.120.80.16
*** UnKnown can't find 206.18.123.77.in-addr.arpa.: Server failed
>nslookup.exe -type=ptr 180.254.127.202 ns.quantum.ru
Server: ns.quantum.ru
Address: 213.170.64.33
127.254.180.in-addr.arpa nameserver = dns2.telkom.net.id
127.254.180.in-addr.arpa nameserver = dns1.telkom.net.id
dns1.telkom.net.id internet address = 202.134.0.62
dns2.telkom.net.id internet address = 222.124.18.62
>nslookup.exe -type=ptr 180.254.127.202 dns2.telkom.net.id
Server: dns2.telkom.net.id
Address: 222.124.18.62
DNS request timed out.
timeout was 2 seconds.
*** Request to dns2.telkom.net.id timed-out
>nslookup.exe -type=ptr 180.254.127.202 dns1.telkom.net.id
Server: dns1.telkom.net.id
Address: 202.134.0.62
DNS request timed out.
timeout was 2 seconds.
*** Request to dns1.telkom.net.id timed-out |
Налицо проблемы с авторитетными серверами для запрашиваемых PTR-записей. |
|
| Back to top |
|
|
GrAnd
CMS Master
Joined: 21 Oct 2005
Posts: 766
Location: г. Коломна
|
| Posted: 26 Apr 2013 15:14 (Fri) Post subject: |
|
|
| NAMOR wrote: | | Он пытается найти авторитетный сервер для запрашиваемых имён (PTR-записей) и запросить PTR-запись у него. Если авторитетный сервер выключен (варианты: не ответил в нужное время, потерялся запрос или ответ), то "ваш" DNS-сервер фиксирует тайм-аут, о чём вам и сообщает. |
И чья это проблема? Имеет смысл писать провайдеру, чтобы они разобрались со своими DNS-серверами?
_________________
Все, что началось хорошо, закончится плохо.
Все, что началось плохо, закончится еще хуже.
Если вам кажется, что все идет хорошо, значит вы чего-то не замечаете.
Если все закончилось хорошо, то, значит, это еще не конец! |
|
| Back to top |
|
|
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
|
| Back to top |
|
|
NAMOR
CMS Developer
Joined: 15 Oct 2005
Posts: 1081
|
| Posted: 30 Apr 2014 0:17 (Wed) Post subject: |
|
|
| GrAnd wrote: | | Нельзя ли сделать опрос обоих серверов, причем, поочередный: 1-2-1-2-1-2? |
Переделали в CMS 3.03 beta 1:
| Code: | [*] Порядок обращения к DNS-серверам при повторе запроса изменён с 1-1-2-2
на 1-2-1-2. |
| NAMOR wrote: | | Кстати, вижу недочёт: несмотря на то, что ответ был получен на первый же запрос ("домен не существует") CMS повторяет запросы. И получает, разумеется, тот же ответ. Поправлю. |
Исправили в CMS 3.03 beta 1:
| Code: | [*] При получении от DNS-сервера ответа "домен не существует" повтор
запроса теперь не производится. |
| GrAnd wrote: | | А в случае таймаута, RCODE=2 или разрыва коннекта опрос велся 3 раза, потом 3 раза опрашивался второй, потом снова 3 раза первый и снова 3 раза второй. Зачем повторялся этот цикл? |
| NAMOR wrote: | | Во второй раз CMS пытался узнать в DNS имя авторитетного DNS-сервера для запрашиваемого домена, с тем, чтобы получить авторитетный ответ на первоначальный запрос. |
Переделали в CMS 3.03 beta 1:
| Code: | [*] Если ответ от заданных DNS-серверов не получен, излишнего обращения
к авторитетным DNS-серверам теперь не производится. |
|
|
| Back to top |
|
|
|
|
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum
You cannot attach files in this forum
You can download files in this forum
|
Powered by phpBB © 2001, 2005 phpBB Group
|
FAQ
Search
Memberlist
Usergroups
Register
Profile
Log in to check your private messages
Log in
