1
Vraag
2
Reacties
Ou-Tannu

Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

UBC1318 link aggregation

inmiddels ben ik 2 forum draadjes tegen gekomen met betreffende mijn vraag, echter ik kom er niet geheel uit.

 

ik heb een prachtige ubee 1318 en ben er ook zeer tevreden over, echter ik krijg het niet goed voor elkaar om een stabiele link aggregation te creëren..

 

de 1318 staat in bridge modes, dus dat is al goed!

2 nieuwe 100% koperen patchkabels tussen de modem en m'n server / router.

aan de server/router kant gebruik ik 2x een Intel Pro/1000 PCI-E adapter.  (82572E)

OS: FreeBSD 13.1

 

als configuratie voor de link aggregation gebruik ik de volgende settings:

ifconfig_lagg1="laggproto roundrobin laggport em0 laggport em1"

waarbij em0 voor de eerste intel kaart staat en em1 voor de 2de..

met deze settings komt de link wel tot stand echter blijft de snelheid ver achter bij een enkele link..

 

enkele link speedtest: 930~945mbits, een dubbele link blijven we rond de 700 max hangen..

tevens heb ik de andere protocollen ook geprobeerd: lacp, geen link.. Loadbalance, idem als RoundRobin, Failover, doet het zelfde als een enkele link..

 

Mis ik ergens nog een stapje ? of is het de combinatie van 2 single poort netwerk adapters die niet "goed" samen willen werken? e

 

Oplossing

Geaccepteerde oplossingen
Ou-Tannu
Topicstarter
Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

inmiddels ben ik er achter dat de 2 gebruikte PCI-E adapters een issue zijn..

als test de 2 onboard (ook intel) adapters getest.. en werkt eigenlijk zonder problemen..

 

hang ik de 2 PCI-E adapters dan maar aan mn lokale netwerk.. err werkt niet (goed)

voor nu "werkt" het "redelijk" met de nodige kunstgreepjes. volgende upgrade voor m'n server is een 10GbE adapter en een switch met een 10GbE poort er bij 😉

Bekijk in context

16 Reacties 16
Bert

Level 21
T.E.A.M.
  • 75178Posts
  • 5145Oplossingen
  • 21925Likes

Mogelijk weet @tobiastheebe of @efok wat hier moet gebeuren.

PKoster

Level 5
  • 55Posts
  • 2Oplossingen
  • 25Likes

@Ou-Tannu, de algemene instelling lijkt correct, echter ben ik niet bekend met de specifieke inrichting waar je gebruik van maakt (de FreeBSD configuratie). Ik maak gebruik van Linux.

 

Ben je in staat om meer informatie te leveren over wat je eigen netwerk interfaces zeggen over het verkeer?

 

Vergeef me als ik het fout heb, maar op basis van een korte google bijvoorbeeld de output van een "systat -ifstat" van alle interfaces (de lagg en de onderliggende fysieke) en/of een "ifconfig" van alle interfaces nadat je het geheel naar wens geconfigureerd hebt, de server/router herstart hebt en hem enige tijd gebruikt hebt? Dat laatste zodat de informatie 'zuiver' is.

 

Als voorbeeld, vanuit mijn Linux router ziet dat er als volgt uit:

bond1: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST> mtu 1500
RX packets 2361715770 bytes 2092296463394 (2.0 TB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1158305034 bytes 340053107178 (340.0 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno3: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 591573280 bytes 524729176535 (524.7 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 289518352 bytes 84929957583 (84.9 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno4: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 589702039 bytes 521444268546 (521.4 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 289648019 bytes 85120921972 (85.1 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno5: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 590293552 bytes 523496077806 (523.4 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 289569901 bytes 85001614194 (85.0 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno6: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 590146898 bytes 522626940447 (522.6 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 289568761 bytes 85000612065 (85.0 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

Waar je naar op zoek bent is een gelijkwaardige verdeling van verkeer over alle interfaces, zowel uitgaand als binnenkomend, en geen fouten. Fouten zijn een indicatie voor problemen met de bekabeling of interfaces (snelheid, duplex) en ongelijk verkeer geven aan dat de configuratie of werking onjuist is.

 

PKoster

Level 5
  • 55Posts
  • 2Oplossingen
  • 25Likes

Mijn configuratie, op Linux, is als volgt:

iface bond1 inet dhcp
bond-mode balance-rr
bond-slaves eno3 eno4 eno5 eno6
mtu 1500
#MAC-adres statisch configureren (overnemen van 1 onderliggende adapter)
hwaddress 00:01:02:03:04:05
#Ziggo router configuratie subnet expliciet toevoegen
up route add -net 192.168.100.0 netmask 255.255.255.0 dev bond1
#Bufferbloat optimalisatie
up ip link set bond1 txqueuelen 64

 

Mogelijk kan je dit vertalen naar een FreeBSD configuratie.

efok

Level 17
  • 4014Posts
  • 219Oplossingen
  • 1594Likes

Ik heb het nooit geprobeerd, omdatbik met 350 Mbit dit niet nodig heb. Ik weer ook niet welke settings ik hiervoor nodig zou hebben, ik wil er wel eens mee prutsen maar ben nu niet thuis 

 

Ou-Tannu
Topicstarter
Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

welke linux smak is dat als basis? 🙂 en heb je nou 4 adapters in een trunk? 😮

DennyW

Level 17
  • 3150Posts
  • 251Oplossingen
  • 921Likes

@Ou-Tannu 

Bij LA krijg je weliswaar meer capaciteit over de dubbele fysieke verbinding, maar een enkele stream zal slechts over slecht over een enkelvoudige verbinding verlopen; heb je meerdere streams lopen, dan kunnen die streams (elk in zijn geheel) over de dubbel verbinding verdeeld worden.

PKoster

Level 5
  • 55Posts
  • 2Oplossingen
  • 25Likes

Deze configuratie een Ubuntu (variant) met 4 adapters geaggregeerd.

 

Je kan op je FreeBSD kijken of je server vergelijkbaar gedrag vertoont. Volgens mij ondersteunt FreeBSD ook dezelfde vorm van 'ifconfig' diagnostische informatie. Zet wel na (her)configuratie de statistieken eerst op nul of start de server opnieuw op.

 

In mijn geval:

bond1: flags=5187<UP,BROADCAST,RUNNING,MASTER,MULTICAST> mtu 1500
RX packets 2373765842 bytes 2100437230381 (2.1 TB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 1170128802 bytes 347824386390 (347.8 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno3: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 594574763 bytes 526762824358 (526.7 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 292469967 bytes 86866705099 (86.8 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno4: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 592710352 bytes 523466760530 (523.4 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 292609768 bytes 87071558641 (87.0 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno5: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 593328980 bytes 525539738392 (525.5 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 292529014 bytes 86948902247 (86.9 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

eno6: flags=6211<UP,BROADCAST,RUNNING,SLAVE,MULTICAST> mtu 1500
RX packets 593151746 bytes 524667907035 (524.6 GB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 292520053 bytes 86937220403 (86.9 GB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0

 

Als je ergens errors ziet vervang dan de bekabeling en/of controleer of alle adapters correct op 1Gbps full-duplex staan. Als zowel de RX als TX niet netjes gelijkwaardig verdeeld wordt over alle adapters dan is er nog iets mis met de round robin configuratie.

PKoster

Level 5
  • 55Posts
  • 2Oplossingen
  • 25Likes

@DennyW  schreef:

maar een enkele stream zal slechts over slecht over een enkelvoudige verbinding verlopen


Dit is correct wanneer tussen twee apparaten het LACP/802.3ad protocol gebruikt wordt met een van de hash policies om het verkeer te verdelen over meerdere interfaces. De Ubee 1318 is niet voor LACP geconfigureerd.

 

balance-rr heeft daarentegen geen intelligentie of hashing en verstuurt sequentieel elk volgend pakket over een volgend interface - ook voor een eenvoudige enkele verkeersstroom. Dat werkt alleen zo wanneer beide apparaten die op deze manier op elkaar aangesloten zijn met balance-rr geconfigureerd zijn.

 

Random

Level 16
  • 2161Posts
  • 101Oplossingen
  • 1125Likes

Ik heb achter mijn UBC1318ZG een pfSense router (Freebsd) (4x 2.5gbps) met een 2 port LACP LAG naar mijn edgeswitch 24. Omdat ik een aantal vlans heb leek me die 2 port lag wel goed vanwege de inter vlan routing.

 

Verder heb ik vanaf dezelfde edgeswitch nog een 2 port lacp lag naar mijn Proxmox server met diverse vlans die ik in Proxmox gebruik voor de verschillende virtuele systemen.

 

Het werkt perfect dus het zou m.i. wel mogelijke moeten zijn het goed werkend te krijgen.

Ik configureer het niet in een command line interface maar in de webbased GUI van pfSense. Ook in Proxmox en EdgeSwitch heb ik het via de GUI ingesteld.

 

pfSense

Guido64_0-1672967150925.png

 

EdgeSwitch

Guido64_1-1672967257413.png

 

Proxmox

Guido64_2-1672967310537.png

 

Ou-Tannu
Topicstarter
Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

LAGG interface...

 

lagg1: flags=8843<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=481049b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,LRO,VLAN_HWFILTER,NOMAP>
ether 00:15:17:d9:8c:42
inet 217.123.ABC.XYZ netmask 0xfffffe00 broadcast 255.255.255.255
laggproto roundrobin lagghash l2,l3,l4
laggport: em0 flags=4<ACTIVE>
laggport: em1 flags=4<ACTIVE>
groups: lagg
media: Ethernet autoselect
status: active
nd6 options=29<PERFORMNUD,IFDISABLED,AUTO_LINKLOCAL>

 

Interfaces:

em0: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=481049b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,LRO,VLAN_HWFILTER,NOMAP>
ether 00:15:17:d9:8c:42
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=1<PERFORMNUD>

 

 

 

em1: flags=8863<UP,BROADCAST,RUNNING,SIMPLEX,MULTICAST> metric 0 mtu 1500
options=481049b<RXCSUM,TXCSUM,VLAN_MTU,VLAN_HWTAGGING,VLAN_HWCSUM,LRO,VLAN_HWFILTER,NOMAP>
ether 00:15:17:d9:8c:42
hwaddr 00:15:17:d9:8c:24
media: Ethernet autoselect (1000baseT <full-duplex>)
status: active
nd6 options=1<PERFORMNUD>

 

 

ik heb nog altijd het idee dat ik iets over het hoofd zie... maar wat.. :?


 

PKoster

Level 5
  • 55Posts
  • 2Oplossingen
  • 25Likes

@Ou-Tannu, helaas geeft dat commando op FreeBSD blijkbaar niet de gewenste informatie.

 

Ik kan het fout hebben omdat ik geen BSD heb maar google vertelt mij dat een "systat -ifstat 1" etc. je mogelijk wel van meer informatie kan voorzien?

Ou-Tannu
Topicstarter
Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

aah! dan is wel nu duidelijk dat interface em0 wel wat doet... maar em1 nu niets doet..

nu nog uithengelen waarom 🙂

PKoster

Level 5
  • 55Posts
  • 2Oplossingen
  • 25Likes

@Ou-Tannu  schreef:

aah! dan is wel nu duidelijk dat interface em0 wel wat doet... maar em1 nu niets doet..


Ik denk dat dat niet de volledige conclusie is, gezien:


@Ou-Tannu  schreef:

enkele link speedtest: 930~945mbits, een dubbele link blijven we rond de 700 max hangen.


De configuratie probeert iets te doen maar het werkt onjuist.

Ik zou beginnen bij de aansluiting op de router zelf. De bekabeling, de poorten, etc.

Random

Level 16
  • 2161Posts
  • 101Oplossingen
  • 1125Likes

Misschien voegt het niets toe maar ik vertel het toch maar: Bij mijn switch moeten het naast elkaar / opvolgende poorten zijn die je in een lag samenvoegt anders schijnt het niet te werken.

Ou-Tannu
Topicstarter
Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

hier hangt de UBC1318 direct aan de server..

em0 en em1 zitten met een nieuwe (100% koperen) patchkabel direct verbonden met de switch poorten van de UBC1318 de bijde interfaces zijn ondergebracht in lagg1

geen extra switch er tussen.. om onduidelijke reden wil het om onduidelijke redenen nog niet "correct" werken

lagg0 hoort bij igb0 en igb1 en die hangen aan m'n lokale netwerk (en dat werkt prima)

 

inmiddels wordt het verkeer wel netjes gedeeld over de 2 interfaces.. echter blijft de snelheid achter..

 

Ou-Tannu
Topicstarter
Level 2
  • 6Posts
  • 1Oplossingen
  • 2Likes

inmiddels ben ik er achter dat de 2 gebruikte PCI-E adapters een issue zijn..

als test de 2 onboard (ook intel) adapters getest.. en werkt eigenlijk zonder problemen..

 

hang ik de 2 PCI-E adapters dan maar aan mn lokale netwerk.. err werkt niet (goed)

voor nu "werkt" het "redelijk" met de nodige kunstgreepjes. volgende upgrade voor m'n server is een 10GbE adapter en een switch met een 10GbE poort er bij 😉

E-mail notificaties
Aan Uit

Ontvang een update bij nieuwe reacties in dit topic.

Uitgelicht topic