openbsd cluster & cisco catalist

[Леонид Данилов]

        Дооброго дня, уважаемые.
Наткнулся на проблему след. характера:
openbsd 4.6-stable на двух хостах. три em интерфейса
em2 -внешний, em1 - для pfsync, em0 - внутренний

Делаю на внутреннем интерфейсе несколько десятков интерфейсов vlan,
к ним прибиваю соответственные carp-интерфейсы, на em2 тоже carp.

mirror1 carp имеют вид
# cat /root/carp/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid 10
pass vlan10 carpnodes 10:0,139:100 balancing ip-stealth up
mirror2 соответственно
# cat /root/carp/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid 139
pass vlan10 carpnodes 139:100,10:0 balancing ip-stealth up

всё это хозяйство подключено к cisco 3550

vtp mode transparent
interface FastEthernet0/9
 description external mirror1
 switchport access vlan 989
 switchport mode access
 spanning-tree portfast
end
interface FastEthernet0/13
 description external mirror2
 switchport access vlan 989
 switchport mode access
 spanning-tree portfast
end
interface FastEthernet0/12
 description internal mirror1
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 1-52
 switchport mode trunk
 spanning-tree portfast
end
interface FastEthernet0/3
 description internal mirror2
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 1-52
 switchport mode trunk
 spanning-tree portfast
end
mac-address-table notification interval 600
mac-address-table notification history-size 500
mac-address-table notification
mac-address-table aging-time 0 vlan 1

Вот в таком виде это хозяйство не работает. Пробовал только внешние карточки
завести в режиме balancing ip - просто не работает второй интерфейс.в режиме
balancing ip-stealth через определенное время mirror1 показывает оба vhid как
MASTER, mirror2 показывает как их как BACKUP, но они заводятся
А вот когда я включаю второй транк, все совсем плохо становится.
Пробовал просто режим master-backup с разными advskew на интерфейсах -
ситуация такая же.Более того, в режиме работы только одного хоста с конфигом
 carpnodes 10:0,139:100 balancing ip-stealth up производительность сети резко
падает практически до нуля. Кроме как на свитч, я не знаю на что ещё грешить.
Почитав в доке про etherchannel, я так и не догнал в каком режиме запускать
интерфейсы, включать ли балансировку, чтобы это хозяйство работало.
Подскажите, где ошибка и куда копать. Спасибо.

[Gregory Edigarov-2]

On Fri, 30 Oct 2009 12:49:34 +0300
Леонид Данилов <[hidden email]> wrote:

> Дооброго дня, уважаемые.
> Наткнулся на проблему след. характера:
> openbsd 4.6-stable на двух хостах. три em интерфейса
> em2 -внешний, em1 - для pfsync, em0 - внутренний
>
> Делаю на внутреннем интерфейсе несколько десятков интерфейсов vlan,
> к ним прибиваю соответственные carp-интерфейсы, на em2 тоже carp.
>
> mirror1 carp имеют вид
> # cat /root/carp/hostname.carp10
> inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10
> vhid 10 pass vlan10 carpnodes 10:0,139:100 balancing ip-stealth up
> mirror2 соответственно
> # cat /root/carp/hostname.carp10
> inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10
> vhid 139 pass vlan10 carpnodes 139:100,10:0 balancing ip-stealth up
>
> всё это хозяйство подключено к cisco 3550
>
> vtp mode transparent
> interface FastEthernet0/9
>  description external mirror1
>  switchport access vlan 989
>  switchport mode access
>  spanning-tree portfast
> end
> interface FastEthernet0/13
>  description external mirror2
>  switchport access vlan 989
>  switchport mode access
>  spanning-tree portfast
> end
> interface FastEthernet0/12
>  description internal mirror1
>  switchport trunk encapsulation dot1q
>  switchport trunk allowed vlan 1-52
>  switchport mode trunk
>  spanning-tree portfast
> end
> interface FastEthernet0/3
>  description internal mirror2
>  switchport trunk encapsulation dot1q
>  switchport trunk allowed vlan 1-52
>  switchport mode trunk
>  spanning-tree portfast
> end
> mac-address-table notification interval 600
> mac-address-table notification history-size 500
> mac-address-table notification
> mac-address-table aging-time 0 vlan 1
>
> Вот в таком виде это хозяйство не работает. Пробовал только внешние
> карточки завести в режиме balancing ip - просто не работает второй
> интерфейс.в режиме balancing ip-stealth через определенное время
> mirror1 показывает оба vhid как MASTER, mirror2 показывает как их как
> BACKUP, но они заводятся А вот когда я включаю второй транк, все
> совсем плохо становится. Пробовал просто режим master-backup с
> разными advskew на интерфейсах - ситуация такая же.Более того, в
> режиме работы только одного хоста с конфигом carpnodes 10:0,139:100
> balancing ip-stealth up производительность сети резко падает
> практически до нуля. Кроме как на свитч, я не знаю на что ещё
> грешить. Почитав в доке про etherchannel, я так и не догнал в каком
> режиме запускать интерфейсы, включать ли балансировку, чтобы это
> хозяйство работало. Подскажите, где ошибка и куда копать. Спасибо.

может быть Вам нужен не carp(4), а trunk(4)? etherchannel - это trunk.


--
With best regards,
        Gregory Edigarov

[Dinar Talypov]

On Fri, 30 Oct 2009 12:49:34 +0300
Леонид Данилов <[hidden email]> wrote:

> Дооброго дня, уважаемые.
> Наткнулся на проблему след. характера:
> openbsd 4.6-stable на двух хостах. три em интерфейса
> em2 -внешний, em1 - для pfsync, em0 - внутренний
>
для чего все это делается?
1) для load balancing с carp обычно используется 2 и более хостов
2) если нужно нечто как etherchanel в catalyst то man 4 trunk

--
Динар Талыпов

[Леонид Данилов]

On Пятница 30 октября 2009 15:13:19 Dinar Talypov wrote:

> для чего все это делается?
> 1) для load balancing с carp обычно используется 2 и более хостов
> 2) если нужно нечто как etherchanel в catalyst то man 4 trunk

Делается это для именно для load balancing у меня сейчас один работает, при
попытке добавить второй, я так понимаю, что каталист с ума сходит.
в данный момент  с таким конфигом  с 1 по 50 влан
# cat /etc/hostname.vlan10
-inet6 vlan 10 vlandev em0 up
# cat /etc/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 vhid 10 carpdev vlan10  
pass vlan10 advskew 20 up

я не уверен что нужен etherchannel, но два рабочих транка с внутренними
интерфейсами когда я подымаю - система не работает.Поэтому и спрашиваю: я всё
правильно делаю или где-то всё же собака порылась?

[Леонид Данилов]

On Пятница 30 октября 2009 13:18:10 Gregory Edigarov wrote:

>
> может быть Вам нужен не carp(4), а trunk(4)? etherchannel - это trunk.

мне нужен именно carp. значит не нужен portchannel, как я понимаю.
надо чтобы две машины работали совместно. одна более не справляется с потоком
трафика.
--

Леонид Данилов
системный администратор ТД Сервис Премиум

[Stanislav Kruchinin]

Леонид Данилов wrote:
>
> я не уверен что нужен etherchannel, но два рабочих транка с внутренними
> интерфейсами когда я подымаю - система не работает.Поэтому и спрашиваю: я всё
> правильно делаю или где-то всё же собака порылась?
>

Не совсем понятно, какую задачу вы хотите решать, кто куда втыкается и куда
дальше идет трафик от машин с OpenBSD? Нарисуйте схемку, что-ли. И вам, и всем
остальным будет понятнее.

trunk в BSD -- это реализация LACP (802.3ad). Etherchannel -- проприетарный
протокол, поэтому он будет работать только если машины с OpenBSD используются
как промежуточные устройства в режиме моста, а с обеих сторон у вас стоит
оборудование Cisco.

[Vasiliy.Bochin]

А почему для двух хостов в одном сarp и-фейсе разный vhid ??? имхо он
должен быть одинаков....


Леонид Данилов <[hidden email]> wrote on 30.10.2009 12:49:34:

>    Дооброго дня, уважаемые.
> Наткнулся на проблему след. характера:
> openbsd 4.6-stable на двух хостах. три em интерфейса
> em2 -внешний, em1 - для pfsync, em0 - внутренний
>
> Делаю на внутреннем интерфейсе несколько десятков интерфейсов vlan,
> к ним прибиваю соответственные carp-интерфейсы, на em2 тоже carp.
>
> mirror1 carp имеют вид
> # cat /root/carp/hostname.carp10
> inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid

10
> pass vlan10 carpnodes 10:0,139:100 balancing ip-stealth up
> mirror2 соответственно
> # cat /root/carp/hostname.carp10
> inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid
139

> pass vlan10 carpnodes 139:100,10:0 balancing ip-stealth up
>
> всё это хозяйство подключено к cisco 3550
>
> vtp mode transparent
> interface FastEthernet0/9
>  description external mirror1
>  switchport access vlan 989
>  switchport mode access
>  spanning-tree portfast
> end
> interface FastEthernet0/13
>  description external mirror2
>  switchport access vlan 989
>  switchport mode access
>  spanning-tree portfast
> end
> interface FastEthernet0/12
>  description internal mirror1
>  switchport trunk encapsulation dot1q
>  switchport trunk allowed vlan 1-52
>  switchport mode trunk
>  spanning-tree portfast
> end
> interface FastEthernet0/3
>  description internal mirror2
>  switchport trunk encapsulation dot1q
>  switchport trunk allowed vlan 1-52
>  switchport mode trunk
>  spanning-tree portfast
> end
> mac-address-table notification interval 600
> mac-address-table notification history-size 500
> mac-address-table notification
> mac-address-table aging-time 0 vlan 1
>
> Вот в таком виде это хозяйство не работает. Пробовал только внешние

карточки
> завести в режиме balancing ip - просто не работает второй интерфейс.в
режиме
> balancing ip-stealth через определенное время mirror1 показывает обаvhid
как
> MASTER, mirror2 показывает как их как BACKUP, но они заводятся
> А вот когда я включаю второй транк, все совсем плохо становится.
> Пробовал просто режим master-backup с разными advskew на интерфейсах -
> ситуация такая же.Более того, в режиме работы только одного хоста с
конфигом
>  carpnodes 10:0,139:100 balancing ip-stealth up производительность сети
резко
> падает практически до нуля. Кроме как на свитч, я не знаю на что ещё
грешить.
> Почитав в доке про etherchannel, я так и не догнал в каком режиме
запускать
> интерфейсы, включать ли балансировку, чтобы это хозяйство работало.
> Подскажите, где ошибка и куда копать. Спасибо.
>
>

[Леонид Данилов]

В сообщении от Суббота 31 октября 2009 02:32:08 автор Stanislav Kruchinin
написал:

> Не совсем понятно, какую задачу вы хотите решать, кто куда втыкается и куда
> дальше идет трафик от машин с OpenBSD? Нарисуйте схемку, что-ли. И вам, и
>  всем остальным будет понятнее.
>

Пусть простят меня за повтор.
роутер с тремя интерфейсами, внешний в мир смотрит с реальным айпи
внутренний с множеством подсетей, реальных и серых. и третий интерфейс для
pfsync.
вот его интерфейсы со стороны каталиста
interface FastEthernet0/9
 description external mirror1
 switchport access vlan 989
 switchport mode access
 spanning-tree portfast
end
interface FastEthernet0/12
 description internal mirror1
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 1-52
 switchport mode trunk
 spanning-tree portfast
end
на внутреннем интерфейсе роутера, воткнутого в транковый порт настроены виланы
# cat /etc/hostname.vlan10
-inet6 vlan 10 vlandev em0 up
# cat /etc/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 vhid 10 carpdev vlan10
pass vlan10 advskew 20 up

так оно работает сейчас. трафик ходит в мир и обратно. серые сети натятся,
реальные - нет.

ещё два интерфейса для второго хоста. настроены идентично, потушены
interface FastEthernet0/13
 description external mirror2
 switchport access vlan 989
 switchport mode access
 spanning-tree portfast
end

interface FastEthernet0/3
 description internal mirror2
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 1-52
 switchport mode trunk
 spanning-tree portfast
end

Пытаюсь настроить кластер с балансировкой нагрузки из двух хостов со
следующими настройками
mirror1
# cat /root/carp/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid 10
pass vlan10 carpnodes 10:0,139:0 balancing ip-stealth up

mirror2
# cat /root/carp/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid 139
pass vlan10 carpnodes 139:0,10:0 balancing ip-stealth up

вот в такой конфигурации оно работать не хочет, не подымаются две ноды, они
обе должны быть в MASTER state как я понял из документации.
--

Леонид Данилов
системный администратор ТД Сервис Премиум

[Леонид Данилов]

В сообщении от Суббота 31 октября 2009 02:32:08 автор Stanislav Kruchinin
написал:

> Не совсем понятно, какую задачу вы хотите решать, кто куда втыкается и куда
> дальше идет трафик от машин с OpenBSD? Нарисуйте схемку, что-ли. И вам, и
>  всем остальным будет понятнее.
>

Пусть простят меня за повтор.
роутер с тремя интерфейсами, внешний в мир смотрит с реальным айпи
внутренний с множеством подсетей, реальных и серых. и третий интерфейс для
pfsync.
вот его интерфейсы со стороны каталиста
interface FastEthernet0/9
 description external mirror1
 switchport access vlan 989
 switchport mode access
 spanning-tree portfast
end
interface FastEthernet0/12
 description internal mirror1
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 1-52
 switchport mode trunk
 spanning-tree portfast
end
на внутреннем интерфейсе роутера, воткнутого в транковый порт настроены виланы
# cat /etc/hostname.vlan10
-inet6 vlan 10 vlandev em0 up
# cat /etc/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 vhid 10 carpdev vlan10
pass vlan10 advskew 20 up

так оно работает сейчас. трафик ходит в мир и обратно. серые сети натятся,
реальные - нет.

ещё два интерфейса для второго хоста. настроены идентично, потушены
interface FastEthernet0/13
 description external mirror2
 switchport access vlan 989
 switchport mode access
 spanning-tree portfast
end

interface FastEthernet0/3
 description internal mirror2
 switchport trunk encapsulation dot1q
 switchport trunk allowed vlan 1-52
 switchport mode trunk
 spanning-tree portfast
end

Пытаюсь настроить кластер с балансировкой нагрузки из двух хостов со
следующими настройками
mirror1
# cat /root/carp/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid 10
pass vlan10 carpnodes 10:0,139:0 balancing ip-stealth up

mirror2
# cat /root/carp/hostname.carp10
inet 172.16.0.254 255.255.255.0 172.16.0.255 -inet6 carpdev vlan10  vhid 139
pass vlan10 carpnodes 139:0,10:0 balancing ip-stealth up

вот в такой конфигурации оно работать не хочет, не подымаются две ноды, они
обе должны быть в MASTER state как я понял из документации.
--

Леонид Данилов
системный администратор ТД Сервис Премиум

[Stanislav Kruchinin]

Леонид Данилов wrote:

> Пусть простят меня за повтор.
> роутер с тремя интерфейсами, внешний в мир смотрит с реальным айпи
> внутренний с множеством подсетей, реальных и серых. и третий интерфейс для
> pfsync.
> вот его интерфейсы со стороны каталиста
> interface FastEthernet0/9
>  description external mirror1
>  switchport access vlan 989
>  switchport mode access
>  spanning-tree portfast
> end
> interface FastEthernet0/12
>  description internal mirror1
>  switchport trunk encapsulation dot1q
>  switchport trunk allowed vlan 1-52
>  switchport mode trunk
>  spanning-tree portfast
> end

Насколько я понял, на машине с OpenBSD имеет место какой-то странный гибрид из
схемы "router on a stick" и пограничного маршрутизатора. При этом внешний и
внутренний интерфейсы воткнуты в один и тот же свич, но
эти порты принадлежат разным вланам. Т.е. трафик уходит из каталиста, проходит
файрвол с openbsd и возвращается в тот же каталист. Забавно. Если ничего
существенно не менять, тогда проще будет действительно настроить на свиче
Etherchannel или LACP, а файрволы сделать мостами.

Но вообще это несколько ненормальная конфигурация, и от нее нужно избавляться.
Нужно поставить отдельный свич для WAN и внешних интерфейсов, роутинг вланов
производить на catalyst 3550, а на файрволы отдавать нетегированный трафик.

[Леонид Данилов]

В сообщении от Понедельник 02 ноября 2009 16:22:36 автор Stanislav Kruchinin
написал:

> Насколько я понял, на машине с OpenBSD имеет место какой-то странный гибрид
>  из схемы "router on a stick" и пограничного маршрутизатора. При этом
>  внешний и внутренний интерфейсы воткнуты в один и тот же свич, но
> эти порты принадлежат разным вланам. Т.е. трафик уходит из каталиста,
>  проходит файрвол с openbsd и возвращается в тот же каталист. Забавно. Если
>  ничего существенно не менять, тогда проще будет действительно настроить на
>  свиче Etherchannel или LACP, а файрволы сделать мостами.
Так оно и есть, внешний влан по сути - канал точка-точка по IP
>
> Но вообще это несколько ненормальная конфигурация, и от нее нужно
>  избавляться. Нужно поставить отдельный свич для WAN и внешних интерфейсов,
>  роутинг вланов производить на catalyst 3550, а на файрволы отдавать
>  нетегированный трафик.
>

А вот тут я несколько не понял. Предположим, будет другой свич для внешних
интерфейсов, на данном этапе мне это ничего не даст, ибо не свич проседает по
производительности, а роутер. Далее, если свич заставить роутить вланы, то ему
тогда и нат придется делать и собственно вся нагрузка на него и ляжет и с него
и нетфлоу снимать придётся.а опенку останется только функция фаервола для
белых подсетей, так получается?

[Igor Zinovik-3]

2 ноября 2009 г. 16:22 пользователь Stanislav Kruchinin
<[hidden email]> написал:
> Насколько я понял, на машине с OpenBSD имеет место какой-то странный гибрид из
> схемы "router on a stick" и пограничного маршрутизатора. При этом внешний и

Станислав, поясните пожалуйста что надо понимать под термином
"маршрутизатор на палочке"?

[Stanislav Kruchinin]

Леонид Данилов wrote:
>> Но вообще это несколько ненормальная конфигурация, и от нее нужно
>> избавляться. Нужно поставить отдельный свич для WAN и внешних интерфейсов,
>>  роутинг вланов производить на catalyst 3550, а на файрволы отдавать
>> нетегированный трафик.
>
> А вот тут я несколько не понял. Предположим, будет другой свич для внешних
> интерфейсов, на данном этапе мне это ничего не даст, ибо не свич проседает по
>  производительности, а роутер.

Это нужно для того, чтобы упростить конфигурацию и избавиться от потенциального
образования петли. Кстати говоря, роутер может проседать как раз из-за того, что
он гоняет по внутреннему интерфейсу трафик этих вланов. Если вланы будут
роутиться на каталисте, то Опен разгружается от них.

> Далее, если свич заставить роутить вланы, то ему тогда и нат придется делать
> и собственно вся нагрузка на него и ляжет и с него и нетфлоу снимать
> придётся.а опенку останется только функция фаервола для белых подсетей, так
> получается?

NAT нужен только для Интернет-трафика, поэтому его должны делать пограничные
роутеры. Если отдавать на роутеры нетегированный трафик, то там вполне можно
будет завести CARP, минуя проблемы, которые связаны с наличием вланов.

[Stanislav Kruchinin]

Igor Zinovik wrote:
> Станислав, поясните пожалуйста что надо понимать под термином
> "маршрутизатор на палочке"?

Это роутер, к которому на один физический сетевой интерфейс приходит трафик от
нескольких вланов. Обычно это делается для межвлановой маршрутизации, однако
сейчас люди для этих целей используют т.н. L3-коммутаторы.

[Леонид Данилов]

В сообщении от Понедельник 02 ноября 2009 19:17:21 автор Stanislav Kruchinin
написал:
> Igor Zinovik wrote:
> > Станислав, поясните пожалуйста что надо понимать под термином
> > "маршрутизатор на палочке"?
>
> Это роутер, к которому на один физический сетевой интерфейс приходит трафик
>  от нескольких вланов. Обычно это делается для межвлановой маршрутизации,
>  однако сейчас люди для этих целей используют т.н. L3-коммутаторы.
>
Станислав, всё это хорошо, да только ваш совет скинуть вилан роутинг на свитч
упирается в одну неприятрность: на 3550 всего 8 SVi, а у меня виланов уже 50!
Если же серьёзно по теме, мне всё-таки интересно, carp можно завести в моей
конфигурации, или это нереально?

[Stanislav Kruchinin]

Леонид Данилов wrote:
> Станислав, всё это хорошо, да только ваш совет скинуть вилан роутинг на свитч
> упирается в одну неприятрность: на 3550 всего 8 SVi, а у меня виланов уже 50!
> Если же серьёзно по теме, мне всё-таки интересно, carp можно завести в моей
> конфигурации, или это нереально?

Реально, но его надо заводить в более простой и логичной конфигурации: убрать
вланы с внутреннего интерфейса роутеров и избавиться от петли, поставив второй свич.

А откуда берется ограничение на 8 SVI? Я смотрю сюда
http://www.cisco.com/en/US/products/hw/switches/ps646/products_tech_note09186a0080094bc6.shtml
и вижу следующее
The number of Switched Virtual Interfaces (SVIs)---that is, the number of routed
interfaces---is the recommended number for each platform. The software does not
limit the number of SVI ports, but as the number of ports increases, the
available resources decrease.

Т.е. 8 -- это рекомендованное значение, IOS не запрещает создавать больше 8
интерфейсов. Говорят, что даже с несколькими сотнями SVI нормально работает. Под
intervlan routing естественно лучше выбрать routing SDM template.