IPv6 tunnel langzaam naar overstap connect box

[Ern st]

Na overstap op de connect box (Arris TG2492LG-ZG) in bridge mode is mijn Hurrican Electric IPv6 tunnel traag. Komt nu maximaal ca. 13Mbit/s downstream doorheen. Met het vorige modem Cisco EPC3928 kwam ik hier gewoon op 200+ Mbit/s.

Om even uit te sluiten dat er problemen zijn bij Hurricane Electric heb ik een tunnel naar een machine in AWS opgezet. Als ik hier een 6in4 tunnel maak (proto 41) haal ik hier dezelfde 13Mbit/s downstream. Zet ik deze om naar GRE (proto 47) haal ik de volledige 250mbit/s. Ook IPSEC werkt gewoon naar behoren.

Is het een bekend issue dat protocol 41 verkeer geratelimit wordt op de Arris modems?

Onderstaand testje zoals uitgevoerd hierbij wordt een 6in4 en GRE tunnel opgezet tussen dezelfde machines.

#Opzetten 6in4 en GRE tunnel (ander kant heeft adres :2)

ip tunnel add 6in4 mode sit remote n.n.n.n ttl 255
ip addr add fd00:1::1/64 dev 6in4
ip link set 6in4 mtu 1480 up

ip tunnel add gre mode gre remote n.n.n.n ttl 255
ip addr add fd00:2::1/64 dev gre
ip link set gre mtu 1476 up


# test over sit tunnel ( 6in4 )
root@aws:/# iperf -V -c fd00:1::2
------------------------------------------------------------
Client connecting to fd00:1::2, TCP port 5001
TCP window size: 45.0 KByte (default)
------------------------------------------------------------
[ 3] local fd00:1::1 port 35622 connected with fd00:1::2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.1 sec 16.5 MBytes 13.7 Mbits/sec

# test over gre tunnel
root@aws:/# iperf -V -c fd00:2::2
------------------------------------------------------------
Client connecting to fd00:2::2, TCP port 5001
TCP window size: 45.0 KByte (default)
------------------------------------------------------------
[ 3] local fd00:2::1 port 33472 connected with fd00:2::2 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-10.0 sec 291 MBytes 243 Mbits/sec

[Jbr67]

Mark Ziggo wrote:

Ook ik wacht nog op het antwoord, ben bijna dagelijks reminders aan het sturen... :zipper_mouth:

Mark Ziggo
Misschien toch eens tijd om wat te gaan escaleren? Zo'n moeilijke vraag is het nou ook weer niet...

[CitizenE · Accepted solution]

TL;DR: Als je de 6in4 tunnel encapsuleert in UDP haal je zonder problemen een fatsoenlijke snelheid.

Om mijn theorie (dat proto's 41 en 47 door het modem niet in hardware worden afgehandeld) verder te onderbouwen, heb ik een setup gemaakt waarbij er geen gebruik wordt gemaakt van GRE of 6in4 maar de sessie wordt ge-encapsuleerd in UDP. Ik heb dat gedaan door een foo-over-udp (fou) SIT tunnel te bouwen naar een VPS, gehost in een data center in Amsterdam. Van daar loopt er weer een 6in4 tunnel naar een HE PoP om zo hetzelfde pad af te leggen als de eerdere testen. Er zit in deze setup dus een extra hop met een extra stuk encapsulatie.

Om niet mijn draaiende 6in4 tunnel te verstoren, heb ik gebruik gemaakt van een andere HE 6in4 tunnel die ik nog had met het endpoint in Londen. Dit klinkt op papier niet optimaal. De resultaten zijn daardoor des te opvallend.

Bij een herhaling van de eerder uitgevoerde tests haal ik in deze setup een snelheid die heel dicht bij het maximaal haalbare zit. In mijn geval tegen de 300Mbit/s. Da's wel even andere koek.

/home/citizenE > curl --interface 2001:470:dead:beef::1 -6 http://download.xs4all.nl/test/1GiB.bin -o /dev/null
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 1024M  100 1024M    0     0  33.4M      0  0:00:30  0:00:30 --:--:-- 34.0M 

Schematisch:
nuc <-- fou SIT tunnel --> VPS <-- 6in4 HE tunnel --> Londen HE PoP <-- IPv6 Internet --> download.xs4all.nl

Conclusie: er is niks mis met het 6in4 tunnel mechanisme an sich of de HE infrastructuur. Het gaat wel echt mis zodra het stukje tunnel dat over het modem loopt in GRE of 6in4 verpakt zit. Je mag wat mij betreft wel stellen dat die Connectbox modems in de huidige config totaal ruk zijn...

Deze test setup zou voor mij een workaround kunnen zijn maar je bent wel afhankelijk van een VPS en daar komen dan ook de kosten nog bij. Verder ondersteunt mijn gateway wel GRE en 6in4 maar geen fou. Je moet de tunnel dus termineren op een linux box in je netwerk. Niet ideaal.

[Jbr67]

Wow. Impressive test!! En goede conclusie... bagger, die connectbox

[MasterWayZ]

Ik heb de setup hierboven in mijn eigen omgeving toegepast (IPv6 tunnel van HE en een IP tunnel van een server van mij voor een /28), en de performance is een stuk beter. IPV 6to4 heb ik GRE gedaan voor beide tunnels, maar voor de rest hetzelfde. (De HE tunnel gaat ook via de andere server)

[CitizenE]

MasterWayZ wrote:
Ik heb de setup hierboven in mijn eigen omgeving toegepast (IPv6 tunnel van HE en een IP tunnel van een server van mij voor een /28), en de performance is een stuk beter. IPV 6to4 heb ik GRE gedaan voor beide tunnels, maar voor de rest hetzelfde. (De HE tunnel gaat ook via de andere server)

Als GRE bij jou wel een fatsoenlijke througput geeft dan ben ik benieuwd naar welk modem je hebt. Arris of Compal? Dan zou er nog verschil kunnen zijn tussen die twee.
Ik heb nog geprobeerd bij Compal in Taiwan meer technische info op te vragen maar die reageren kennelijk niet op verzoeken van argeloze eindgebruikers... 😞

[CitizenE]

De test-setup zoals eerder beschreven (fou SIT tunnel naar een VPS en dan van daar een 6in4 tunnel) was gebouwd op een Intel NUC met Ubuntu 18.04 LTS maar werkt ook prima op een Raspberry Pi 4B met Raspbian. Wel even de standaard kernel aanpassen voor fou module support.

Tot er een oplossing is voor het brakke modem draai ik op deze manier nu live. In theorie zou je met een aantal mensen het gebruik en dus de kosten van de VPS kunnen delen waarbij je een aantal /64's uit de gerouteerde /48 zou kunnen reserveren. Het enige is dat er variabele kosten zitten aan de verstookte hoeveelheid MB's (na de eerste TB) en omdat de VPS als router fungeert worden die twee keer geteld (d'r in en d'r uit). Het kan dus behoorlijk uit de klauwen lopen. Bovendien is het echt te triest voor woorden dat je als gebruiker een technische oplossing moet bouwen om de tekortkomingen van je ISP te omzeilen.
Mark Ziggo ???

[MasterWayZ]

CitizenE wrote:

MasterWayZ wrote:
Ik heb de setup hierboven in mijn eigen omgeving toegepast (IPv6 tunnel van HE en een IP tunnel van een server van mij voor een /28), en de performance is een stuk beter. IPV 6to4 heb ik GRE gedaan voor beide tunnels, maar voor de rest hetzelfde. (De HE tunnel gaat ook via de andere server)

Als GRE bij jou wel een fatsoenlijke througput geeft dan ben ik benieuwd naar welk modem je hebt. Arris of Compal? Dan zou er nog verschil kunnen zijn tussen die twee.
Ik heb nog geprobeerd bij Compal in Taiwan meer technische info op te vragen maar die reageren kennelijk niet op verzoeken van argeloze eindgebruikers... 😞

Sorry, ik had wat duidelijker moeten zijn.
Ik bedoel dat ik ook een fou SIT tunnel heb gebruikt, maar in plaats van 6to4 in de fou SIT tunnel heb ik voor GRE in the fou SIT tunnel gekozen.

[efok]

CitizenE Goed werk. Ik ben onder de indruk, maar geef je volledig gelijk. Straks moeten we hier nog crowdfunden voor een VPS.......
Het zou ziggo toch sieren als er een modem voor "power users" was met een nette bridge modus, zonder alle perikelen die we met de connectbox tegenkomen.

[CitizenE]

MasterWayZ wrote:

CitizenE wrote:

MasterWayZ wrote:
Ik heb de setup hierboven in mijn eigen omgeving toegepast (IPv6 tunnel van HE en een IP tunnel van een server van mij voor een /28), en de performance is een stuk beter. IPV 6to4 heb ik GRE gedaan voor beide tunnels, maar voor de rest hetzelfde. (De HE tunnel gaat ook via de andere server)

Als GRE bij jou wel een fatsoenlijke througput geeft dan ben ik benieuwd naar welk modem je hebt. Arris of Compal? Dan zou er nog verschil kunnen zijn tussen die twee.
Ik heb nog geprobeerd bij Compal in Taiwan meer technische info op te vragen maar die reageren kennelijk niet op verzoeken van argeloze eindgebruikers... 😞

Sorry, ik had wat duidelijker moeten zijn.
Ik bedoel dat ik ook een fou SIT tunnel heb gebruikt, maar in plaats van 6to4 in de fou SIT tunnel heb ik voor GRE in the fou SIT tunnel gekozen.

Ah. Ik snap het. Dan is het dus een fou GRE tunnel 🙂
Simple Internet Transition (SIT) is ooit bedacht om 6in4 te tunnelen. In fou kun je SIT, GRE en IPIP stoppen. Ik heb voor SIT gekozen, jij voor GRE. Op zich interessant om te zien dat dat kennelijk allebei probleemloos werkt.

[Candy]

Ondanks dat ik nu geen Ziggo-klant meer ben, ben ik wel benieuwd hoe de status van dit probleem is.

Ik ga binnenkort verhuizen, naar Reggefiber FttH-gebied, maar overweeg om - bij een Ziggo TV-abonnement - een simpel 25Mbps backuplijntje te nemen, voor het geval er ooit storing op de andere WAN is. Ik ben alleen doodsbang dat ik dan weer zo’n brak modem krijg dat in bridge mode niet normaal Protocol 41 kan afhandelen.

Is er ondertussen meer bekend over een firmware-update die dit probleem oplost, of levert Ziggo tegenwoordig alweer andere modems? En hoe zit het eigenlijk met native IPv6 in bridge mode?

[Mark]

Hi @Candy, ik ben er dinsdag achtergekomen dat er voor de Arris inmiddels nieuwe firmware in omloop is (9.1.1902.203). Alleen uit de (ontzettend lange) patch-notes kan ik niet ontdekken of dit specifieke probleem ook is opgelost. Wellicht kan één van de melders hier die een Arris Connectbox heeft dit nog eens testen?

Op de Compal Connectbox zal ook een update plaatsvinden, die moeten we nog krijgen van de leverancier en vervolgens zelf nog certificeren.

[efok]

@Mark Ziggo zijn die patch notes ergens openbaar?

[Mark]

efok wrote:

@Mark Ziggozijn die patch notes ergens openbaar?

Nee, maar we kunnen er vast wat highlights uit halen en die (zo veel mogelijk in jip-en-janneke taal) met iedereen delen. Ga ik mee aan de slag, maar zal even tijd kosten.

[Gogolathome]

Gaan de nieuwe modems voor giganet verandering brengen in langzame 6in4 tunnels?

[Mark]

Ik heb werkelijk geen idee. 

Uit de updatenotes voor de Arris haal ik bijvoorbeeld wel deze fix:

2.3.496 GRE: Poor Throughput for Non-Terminating GRE Tunnel Modem does not support GRE tunnels that are passing through the device. 

Op 6in4 vind ik echter niets en tunnel gaat vooral over wifispots (en bovenstaande).

[MasterWayZ]

Hmm, hoe kan je zien van welk merk een Connectbox is?

[Gogolathome]

Mark Ziggo wrote:

Ik heb werkelijk geen idee. 

Uit de updatenotes voor de Arris haal ik bijvoorbeeld wel deze fix:

2.3.496 GRE: Poor Throughput for Non-Terminating GRE Tunnel Modem does not support GRE tunnels that are passing through the device. 

Op 6in4 vind ik echter niets en tunnel gaat vooral over wifispots (en bovenstaande).

Volgens mij is dat geen fix, maar een constatering dat het niet en nooit gaat werken.

[efok]

Gogolathome wrote:

Mark Ziggo wrote:

Ik heb werkelijk geen idee. 

Uit de updatenotes voor de Arris haal ik bijvoorbeeld wel deze fix:

2.3.496 GRE: Poor Throughput for Non-Terminating GRE Tunnel Modem does not support GRE tunnels that are passing through the device. 

Op 6in4 vind ik echter niets en tunnel gaat vooral over wifispots (en bovenstaande).

Volgens mij is dat geen fix, maar een constatering dat het niet en nooit gaat werken.

Zo klinkt het wel. “Does not support GRE tunnels”  @Mark Ziggo  is het een fix? Of heeft @Gogolathome gelijk?

[Mark]

Gogolathome wrote:

Mark Ziggo wrote:

2.3.496 GRE: Poor Throughput for Non-Terminating GRE Tunnel Modem does not support GRE tunnels that are passing through the device. 

Volgens mij is dat geen fix, maar een constatering dat het niet en nooit gaat werken.

Het is de titel van het probleemticket, welke onder de lijst met ‘opgeloste problemen’ staat. Ik vermoed dus een fix.

[netforcenl]

*doet even volgen.. 🙂

Ik heb het hele topic doorgelezen en kan inderdaad alle genoemde problemen bevestigen. 

Ik draai een HE ipv6 tunnel naar Amsterdam en een gre tunnel naar mijn eigen server in Ede. Ook een ipv6 tunnel naar mijn ISP in Ede geeft slechte snelheden.

Alle genoemde mogelijke oplossingen zoals rommelen met de mtu aan alle kanten geeft inderdaad geen oplossing. Tunnels blijven traag door de connectbox.

Mijn modem staat ook vrolijk in bridge en al het verkeer wordt afgehandeld door een Cisco 891F. In het begin heb ik diverse routes geprobeerd om die uit te sluiten, waaronder een cisco 2911, 2825 en een ubnt edgerouter pro.

Het probleem ligt inderdaad in het modem 😞 ik hoop dat Arris met een oplossing komt, of ziggo met een bruikbaar modem voor de iets veeleisende thuisgebruiker, waaronder fatsoenlijk dual-stack in bridge mode...