Monitoring Compal CH7465LG-ZG

  • 8 september 2020
  • 90 reacties
  • 2255 keer bekeken

Reputatie 6
Badge +7

In april en mei van dit jaar ben ik bezig geweest om een PHP-script te schrijven t.b.v. monitoring van de down- en upstreamkanalen van mijn Connect Box (Compal CH7465LG-ZG) in Nagios. Door gebrek aan (voor de eindgebruiker toegankelijke) SNMP is het niet mogelijk om op een gebruikelijke manier data op te halen uit het modem en is het nodig om via de ingebouwde webserver van het modem te werken. Ik wilde graag een script in PHP (niet in Python zoals alle andere scripts die ik tegenkwam op het web) omdat ik te weinig ervaring heb met Python en voor Nagios (zakelijk) eerder een klein aantal scripts in PHP geschreven heb.

Het door mij geschreven script heeft ca. 1 maand naar behoren gewerkt. Helaas werkte het daarna niet meer na een firmware-upgrade van het modem door aanpassingen in de vereisten voor authenticatie. Inmiddels is het mij na twee avonden hoofdpijn gelukt om het script aan te passen zodat het weer werkt met de nieuwe(re) firmware.

Het script is in staat om via Nagios notificaties te sturen naar bijvoorbeeld e-mail of SMS (zelf gebruik ik LINE) wanneer signaalniveau/modulatie van een of meerdere kanalen buiten normaal niveau raken.

Ik deel hierbij graag de nieuwe versie in de community en heb deze geüpload in de git repo die ik eerder had aangemaakt: https://gitlab.com/tobias.theebe/ch7465lg-nagios.

Wil je het script gebruiken in je eigen omgeving, dan help ik je graag hierbij.

Hieronder enkele screenshots van de uitvoer van het script in Nagios zelf en in nagiosgraph:

Oudere topics van mij waarin dit script ter sprake is gekomen met tevens andere interessante informatie:


90 Reacties

Reputatie 6
Badge +7

Ik zie zojuist dat https://community.ziggo.nl/deel-je-tips-en-suggesties-91 een betere locatie is voor dit topic, zou een mod deze kunnen verplaatsen?

Reputatie 6
Badge +7

Welkom terug van weggeweest

Reputatie 6
Badge +7

@tobiastheebe Ik kan helaas je project niet vinden op gitlab

Reputatie 6
Badge +7

@jarielcapitain Dank voor je reacties. Volgens mij had ik het project op privé gezet nadat het niet meer werkte, ik zal het vandaag weer op openbaar zetten.

Reputatie 6
Badge +7

Project staat inmiddels weer op openbaar. :)

Reputatie 6
Badge +7

@tobiastheebe 

Bedankt voor het openbaar maken van het project (Nachtwerk? Gezien de email melding).

Ben aan de slag gegaan met je PHP script en mijn interesse gaat uit naar de “raw xml data”

en heb als zodanig je script grof aangepast . Het is online (5 scripts) zo’n 20 uur zonder problemen.

Ik prefereer curl boven python in verband met de CPU loading. Ik maak gebruik van OSX en Node-Red  voor de data verwerking.

was Node-Red » Command Interface » python » Node-red.

Nu Node-Red » PHP» cUrl » Node-red.

 

Bedankt nogmaals voor het delen en ga er verder mee werken. 

Reputatie 6
Badge +7

@jarielcapitain Graag gedaan. Meestal werk ik inderdaad ‘s nachts aan dit soort projectjes. :)

Ik ben overigens absoluut geen ontwikkelaar/programmeur en er kan zeker nog het een en ander verbeterd worden aan het script. Op mijn verlanglijstje staat nog o.a. het gebruiken van een cookie jar om de SID in op te slaan. Voor nu lijkt het echter stabiel te werken.

Reputatie 6
Badge +7

Zojuist een nieuwe commit doorgevoerd, heb post-RS toegevoegd aan de performance data (Nagios-specifiek) omdat ik sinds kort vrij veel ruis lijk te hebben vlakbij 800 MHz, vermoedelijk 4G-instraling van Vodafone BTS, deze staat op ~250 meter afstand van de EV.

Reputatie 6
Badge +7

Als je de PostRS gaat meten kijk dan ook naar fun 12 Signal Table

De postRS is niet anders dan de gecorrigeerde codewords 

 

Linker plaatje is fun=10 en rechter plaatje fun 12 Signal table 

Observeer dat de PostRS = Correctable

De laatste kolom plaatje rechts zijn de uncorrectables (de echte boosdoeners)

Reputatie 6
Badge +7

Toegevoegd xml bestand

<?xml version="1.0" encoding="utf-8"?><signal_table><sig_num>24</sig_num><signal><dsid>24</dsid><unerrored>22905820414</unerrored><correctable>1346</correctable><uncorrectable>11390</uncorrectable></signal><signal><dsid>23</dsid><unerrored>22905824302</unerrored><correctable>1361</correctable><uncorrectable>12129</uncorrectable></signal><signal><dsid>22</dsid><unerrored>22905823519</unerrored><correctable>1361</correctable><uncorrectable>12718</uncorrectable></signal><signal><dsid>21</dsid><unerrored>22905822996</unerrored><correctable>1117</correctable><uncorrectable>13097</uncorrectable></signal><signal><dsid>20</dsid><unerrored>22905818116</unerrored><correctable>1335</correctable><uncorrectable>13919</uncorrectable></signal><signal><dsid>19</dsid><unerrored>22905662359</unerrored><correctable>1067</correctable><uncorrectable>12724</uncorrectable></signal><signal><dsid>18</dsid><unerrored>22905669346</unerrored><correctable>975</correctable><uncorrectable>13237</uncorrectable></signal><signal><dsid>17</dsid><unerrored>22905670377</unerrored><correctable>1023</correctable><uncorrectable>13281</uncorrectable></signal><signal><dsid>16</dsid><unerrored>22905675189</unerrored><correctable>680</correctable><uncorrectable>14020</uncorrectable></signal><signal><dsid>15</dsid><unerrored>22905715692</unerrored><correctable>726</correctable><uncorrectable>12839</uncorrectable></signal><signal><dsid>14</dsid><unerrored>22905715378</unerrored><correctable>656</correctable><uncorrectable>14533</uncorrectable></signal><signal><dsid>13</dsid><unerrored>22905715940</unerrored><correctable>702</correctable><uncorrectable>15029</uncorrectable></signal><signal><dsid>12</dsid><unerrored>22905720817</unerrored><correctable>713</correctable><uncorrectable>15759</uncorrectable></signal><signal><dsid>11</dsid><unerrored>22905717804</unerrored><correctable>968</correctable><uncorrectable>15599</uncorrectable></signal><signal><dsid>10</dsid><unerrored>22905727524</unerrored><correctable>932</correctable><uncorrectable>15681</uncorrectable></signal><signal><dsid>9</dsid><unerrored>22905734630</unerrored><correctable>1395</correctable><uncorrectable>13420</uncorrectable></signal><signal><dsid>8</dsid><unerrored>22905736889</unerrored><correctable>892</correctable><uncorrectable>13580</uncorrectable></signal><signal><dsid>6</dsid><unerrored>22905734729</unerrored><correctable>1138</correctable><uncorrectable>15153</uncorrectable></signal><signal><dsid>5</dsid><unerrored>22905739080</unerrored><correctable>862</correctable><uncorrectable>14700</uncorrectable></signal><signal><dsid>4</dsid><unerrored>22905791684</unerrored><correctable>1272</correctable><uncorrectable>14482</uncorrectable></signal><signal><dsid>3</dsid><unerrored>22905797168</unerrored><correctable>1087</correctable><uncorrectable>15083</uncorrectable></signal><signal><dsid>2</dsid><unerrored>22905800455</unerrored><correctable>1120</correctable><uncorrectable>15604</uncorrectable></signal><signal><dsid>1</dsid><unerrored>22905802359</unerrored><correctable>1398</correctable><uncorrectable>14723</uncorrectable></signal><signal><dsid>7</dsid><unerrored>22908518008</unerrored><correctable>939</correctable><uncorrectable>14794</uncorrectable></signal></signal_table>

@tobiastheebe 

Reputatie 6
Badge +7

Ik ben er van op de hoogte. Hierbij mijn fun 12 output:

<?xml version="1.0" encoding="utf-8"?>
<signal_table>
<sig_num>24</sig_num>
<signal>
<dsid>24</dsid>
<unerrored>24472297623</unerrored>
<correctable>78954</correctable>
<uncorrectable>192145</uncorrectable>
</signal>
<signal>
<dsid>23</dsid>
<unerrored>24472372975</unerrored>
<correctable>75187</correctable>
<uncorrectable>126480</uncorrectable>
</signal>
<signal>
<dsid>22</dsid>
<unerrored>24472432226</unerrored>
<correctable>68640</correctable>
<uncorrectable>67942</uncorrectable>
</signal>
<signal>
<dsid>21</dsid>
<unerrored>24472475088</unerrored>
<correctable>53977</correctable>
<uncorrectable>42566</uncorrectable>
</signal>
<signal>
<dsid>20</dsid>
<unerrored>24472500670</unerrored>
<correctable>38194</correctable>
<uncorrectable>27134</uncorrectable>
</signal>
<signal>
<dsid>19</dsid>
<unerrored>24472333558</unerrored>
<correctable>20994</correctable>
<uncorrectable>25737</uncorrectable>
</signal>
<signal>
<dsid>18</dsid>
<unerrored>24472347061</unerrored>
<correctable>12485</correctable>
<uncorrectable>32717</uncorrectable>
</signal>
<signal>
<dsid>17</dsid>
<unerrored>24472354904</unerrored>
<correctable>9030</correctable>
<uncorrectable>30932</uncorrectable>
</signal>
<signal>
<dsid>16</dsid>
<unerrored>24472359977</unerrored>
<correctable>7721</correctable>
<uncorrectable>30899</uncorrectable>
</signal>
<signal>
<dsid>15</dsid>
<unerrored>24472385018</unerrored>
<correctable>6448</correctable>
<uncorrectable>35238</uncorrectable>
</signal>
<signal>
<dsid>14</dsid>
<unerrored>24472384712</unerrored>
<correctable>5204</correctable>
<uncorrectable>39893</uncorrectable>
</signal>
<signal>
<dsid>13</dsid>
<unerrored>24472385604</unerrored>
<correctable>4791</correctable>
<uncorrectable>40454</uncorrectable>
</signal>
<signal>
<dsid>12</dsid>
<unerrored>24472389690</unerrored>
<correctable>4272</correctable>
<uncorrectable>31604</uncorrectable>
</signal>
<signal>
<dsid>11</dsid>
<unerrored>24472393924</unerrored>
<correctable>4584</correctable>
<uncorrectable>39491</uncorrectable>
</signal>
<signal>
<dsid>10</dsid>
<unerrored>24472392706</unerrored>
<correctable>4785</correctable>
<uncorrectable>39346</uncorrectable>
</signal>
<signal>
<dsid>9</dsid>
<unerrored>24472401771</unerrored>
<correctable>4926</correctable>
<uncorrectable>38685</uncorrectable>
</signal>
<signal>
<dsid>8</dsid>
<unerrored>24472403634</unerrored>
<correctable>4818</correctable>
<uncorrectable>39982</uncorrectable>
</signal>
<signal>
<dsid>7</dsid>
<unerrored>24472405812</unerrored>
<correctable>3710</correctable>
<uncorrectable>34417</uncorrectable>
</signal>
<signal>
<dsid>6</dsid>
<unerrored>24472405711</unerrored>
<correctable>4208</correctable>
<uncorrectable>45338</uncorrectable>
</signal>
<signal>
<dsid>5</dsid>
<unerrored>24472411994</unerrored>
<correctable>4105</correctable>
<uncorrectable>46405</uncorrectable>
</signal>
<signal>
<dsid>4</dsid>
<unerrored>24472413116</unerrored>
<correctable>5381</correctable>
<uncorrectable>53530</uncorrectable>
</signal>
<signal>
<dsid>3</dsid>
<unerrored>24472415028</unerrored>
<correctable>6994</correctable>
<uncorrectable>48211</uncorrectable>
</signal>
<signal>
<dsid>2</dsid>
<unerrored>24472419870</unerrored>
<correctable>8909</correctable>
<uncorrectable>43665</uncorrectable>
</signal>
<signal>
<dsid>1</dsid>
<unerrored>24473459311</unerrored>
<correctable>5685</correctable>
<uncorrectable>46001</uncorrectable>
</signal>
</signal_table>

 

Reputatie 6
Badge +7

Als dit je huidige waarden zijn dan is dit niet goed.

2447349311/34000 tijd on lijn

Je modem is on-line ± 19 uur en je uncorrectable zijn heel hoog.

Reputatie 7
Badge +13

Je was me net voor @jarielcapitain 🙂

Reputatie 6
Badge +7

Ik had eergisteren een behoorlijke piek in de post-RS dus vandaar dat ik deze in de gaten ben gaan houden. Mijn modem heeft een andere kanalenset dan dat dat van jou dus denk dat die verhouding niet opgaat. Op dit moment even moeite om in te loggen op het modem om de uptime te bekijken maar die is zeker een maand of 2.

Reputatie 6
Badge +7
Verloop correctable post-RS sinds vrijdag, lijkt nu mee te vallen. Kanaal 24 (786 MHz) houdt zich ook goed.

 

Reputatie 6
Badge +7

Ik zie zojuist dat https://community.ziggo.nl/deel-je-tips-en-suggesties-91 een betere locatie is voor dit topic, zou een mod deze kunnen verplaatsen?

@Ziggo Community 

Reputatie 7

Goedemorgen @tobiastheebe en welkom op de Community,

Wat ontzettend tof dat je jouw zelfgemaakte monitoringsscript onder dit topic deelt! Hier zullen andere gebruikers van dit forum denk ik blij mee zijn.
Hoe gaat het nu trouwens met je internetverbinding? Zie je nog steeds problemen terug op de down en upstream kanalen? 

Reputatie 7
Badge +9

Prima werk en een goed idee om dit met de community te delen!  Misschien kan u in samenwerking met anderen, dit script omzetten in een b.v. Windows executable, welke dan ook door anderen ( met minder kennis is te gebruiken ), zodat Ziggo verbindingen beter gemonitord kunnen worden.

Vooral bij lang lopende, regelmatig spontaan optredende, niet verklaarbare dips/hiks/problemen/… kan dit script een kijkje in Ziggo's keuken geven. Zonder dat men afhankelijk is van de traces die Ziggo doet en/of hun conclusie m.b.t. die data ( die verder niemand te zien krijgt ).

Nu maar hopen dat Ziggo dat ‘meekijken’ waardeert, want dat is iets wat veel grote bedrijven juist altijd willen voorkomen en daarvoor soms erg ver gaan om dat ( steeds weer ) te blokkeren.

Reputatie 6
Badge +7

@Paul Ziggo Graag gedaan. Ik zie in de grafieken nog steeds momenten terug waarop ik downstream sporadisch nogal wat ruis (vermoedelijk) heb. Vooral de post-RS schiet op zo’n moment omhoog. Ik heb het modem vrijdag voor het laatst een power cycle gegeven (andere reden) en zondagmiddag had ik dit voor het laatst een zeer grote toename in post-RS. Vanmorgen ook nog een kleinere toename. Ik vermoed dat dit best wel eens zou kunnen komen door een andere Ziggo-klant op dezelfde EV. Hier in huis is alles al vernieuwd (CAI-kabel, AOP, splitter en bekabeling). In onderstaande SNR-grafiek is overigens goed te zien dat het signaal ‘s nachts een stuk ‘rustiger/helderder’ is.

 

@Pasi Voor nu nog geen plannen om een Windows-versie te maken omdat Linux een stuk geschikter is dan Windows om 24/7 te draaien en Nagios alleen op Linux draait. Het script verzamelt alleen de gegevens uit het modem en presenteert deze op een bruikbare manier aan Nagios (als HTML). Het tonen van de gegevens in leesbare vorm en periodiek verwerken van de gegevens in RRD-bestanden wordt door Nagios geregeld. Tenslotte is nagiosgraph is verantwoordelijk voor het tonen van grafieken o.b.v. de data uit in de RRD-bestanden.

Reputatie 6

@tobiastheebe Dank voor je toelichting! Als ik kijk naar het SNR gehalte, dan valt dit nog ruim binnen de marge. Ook overdag. Welke problemen ervaar je precies met je internetverbinding? En gebeurt dat ook op de momenten waarop de SNR inkakt? Wat doe je om het probleem (tijdelijk) op te lossen? 

Reputatie 6
Badge +7

@Vincent Ziggo Tot nu toe heb ik dit altijd achteraf gezien in de grafieken en veroorzaakt het geen merkbare problemen/vertragingen in het dagelijks gebruik. Naast de downstream en upstream monitoring heb ik ook elke 5 minuten een simpele ping naar internet (8.8.8.8) lopen, deze is stabiel tussen 10-12 ms.

Echter, ik probeer altijd om het signaal zo ruisarm mogelijk het modem binnen te laten komen en dan vind ik die post-RS pieken er wat bedenkelijk uitzien. In de buurt van 800 MHz (LTE) is nog steeds de meeste ruis op het signaal te zien:

 

Reputatie 6
Badge +7

 

Reputatie 7

@tobiastheebe Fijn dat je geen merkbare uitval of instabiliteit op de verbinding constateert. Werkt alles verder op dit moment ook naar volle tevredenheid?

Reputatie 6
Badge +7

@Paul Ziggo Ik ben nog niet tevreden over de post-FEC/RS errors. Zowel correctable als uncorrectable hoge en sterk oplopende aantallen (dagelijks om grofweg 12:00 en 18:00). Ik denk aan 4G-instraling als ik kijk naar de hogere frequenties (746-786 MHz). Op deze kanalen is de CCER volgens mij ook ondermaats, sinds gisteren bereken ik deze per kanaal in het script.

We hebben een moderne huisinstallatie: BTV 1 IEC-NL-SET, POA-01-B, Technetix RLA++ naar CM (1 m) en STB (1,5 m).

Zou jij of een collega kunnen nakijken of bovenstaande alleen voorkomt op mijn CM of ook op andere CM’s in het segment?

Uptime is ca. 1 week.

 

Reputatie 6

Goedemiddag @tobiastheebe,

Dit hebben we voor je gecheckt.  Van deze kant hebben we een piek op 15 september gezien,dit was toen voor het hele segment:
 



Daarna en daarvoor lijkt het gelukkig een heel stuk rustiger.  Gezien de piek van 15 september hebben dit voor zekerheid ter controle doorgezet, al verwachten we nog geen directe actie voor dit moment.

Reageer