Unexus - Berichtgeschiedenis

De oorzaak is gevonden en structurele oplossing is geïmplementeerd.

Voor het toestaan of blokkeren van netwerktoegang vanuit verdachte locaties maken wij gebruik van een dagelijks geautomatiseerd proces. Dit proces onderscheidt goedgekeurde en niet-goedgekeurde IP-reeksen. Door een fout in dit proces is op één van de proxyservers tijdelijk geen geldige lijst met goedgekeurde IP-reeksen beschikbaar geweest. In dat geval wordt verkeer standaard geweigerd. Omdat dit probleem zich niet op alle proxyservers voordeed, kon het gedrag per gebruiker verschillen; sommige gebruikers konden wel aanmelden, anderen niet, of pas na verversen van de sessie.

Om de impact te beperken is tijdelijk al het verkeer toegestaan. Hierbij bleek dat specifieke SIP-toestellen, die via een aparte scope worden toegelaten, nog niet correct waren uitgezonderd, waardoor deze toestellen nog geen verbinding konden maken.

Om 09.27 uur is het onderliggende proces volledig hersteld en wordt verkeer weer conform de normale regels toegestaan of geblokkeerd. De dienst functioneert sinds dat moment weer normaal.

De oorzaak van het incident ligt in de aanlevering van het bestand met IP-reeksen. Dit bestand is niet correct verwerkt, waardoor het leeg bleef en het beveiligingsmechanisme onbedoeld verkeer blokkeerde.

Een uitgebreide Root Cause Analysis (RCA) met structurele verbetermaatregelen volgt via de normale Selfservice Portal tickets.

Het is gebleken dat de maatregel die is ingevoerd niet werkt voor vaste toestellen, we werken toe naar een structurele oplossing en houden u op de hoogte vaste toestellen zich ook weer kunnen aanmelden.
Wij willen u vragen om tijdelijk gebruik te maken van de Softphone in plaats van remote extension op een vast toestel.

We hebben de eerste bevestigingen binnen dat het probleem is verholpen en blijven de situatie monitoren.

We hebben een mitigerende oplossing gevonden waarmee de problemen op dit moment zouden moeten zijn verholpen. U kunt opnieuw inloggen en als het probleem zich nog voordoet horen wij het graag. Wij monitoren de situatie en vervolgen ons onderzoek.

We hebben helaas nog geen oorzaak gevonden voor de problemen met inloggen, we doen er momenteel alles aan om de oorzaak te vinden en houden u op de hoogte.

De problemen zijn gemitigeerd en we analyseren momenteel de verouderde toestellen (mobiel en vast) om mogelijkheden te verkennen voor gecontinueerde support middels nieuw certificaat.

Meerdere klanten melden dat de mitigerende maatregel effect heeft, vaste toestellen kunnen weer gebruikt worden. Het kan nog even duren voordat de maatregel effect heeft op alle omgevingen, eventueel herstarten van toestellen kan het proces versnellen.

BELANGRIJKE UPDATE: Er is een Certificaat probleem geïdentificeerd; sommige toesteltypes, waaronder Yealink, accepteren de chain of trust van dit nieuwere certificaat niet.

NB Ditzelfde probleem geldt zeer waarschijnlijk ook gebruikers die de Mobiel App gebruiken in combinatie met toesteltypes die geen Software updates meer krijgen waar dit soort nieuwe certificeringen in worden doorgevoerd.

Wij verzoeken de klanten die problemen ervaren met de Mobiele App om in het ticket in de SelfService Portal de volgende specificaties aan te leveren:
1 welk type toestel (merk en model) en
2 welke software er op draait (Android of IOS)

MITIGERENDE MAATREGEL (UITERLIJK VANAVOND OPERATIONEEL)
Tevens is Unexus momenteel een mitigerende maatregel aan het implementeren door een ouder certificaat te gebruiken, deze maatregel duurt even voordat die is doorgevoerd op alle systemen. De komende week zullen wij informatie leveren over welke toestellen mogelijk handmatige updates vergen of waar wij op afstand de beheeractie om ze te updaten kunnen forceren.

WORKAROUNDS:
Webclient en Xclient gebruikers/Agenten die vaste toestellen gebruiken kunnen gebruik maken van Softphone als gekozen device om mee te werken
Mobile App gebruikers kunnen tijdelijk over stappen op de Webclient of Xclient en als device kiezen voor het mobiele nummer (Remote extension).
Voor beheer: NB Hiervoor moeten de mobiele nummers toegevoegd zijn als remote extension (middels de Administrator) als die nog niet bestaan.

Heeft u hulp nodig bij de workaround, neem dan contact op met Unexus Support door een ticket in te schieten of uw bestaande ticket bij te werken, wij nemen dan zo spoedig mogelijk contact met u op om de instellingen die nodig zijn door te lopen.

Er is een probleem geïdentificeerd in onze Azure hosted omgeving, Unexus werkt momenteel aan de oplossing.

het incident is gemitigeerd, de RCA volgt z.s.m. in ticket updates. Wij danken u voor uw geduld en medewerking in het analyseren van de storing.

Wij hebben ondertussen een probleem gevonden in de communicatie tussen Odido en Unexus en hebben Odido betrokken in deze analyse. Er is ondertussen tussen 09.30 en 12.00 een mitigerende wijziging doorgevoerd door Unexus die de problemen voor nu volledig moet oplossen. Wij verzoeken u om in uw ticket aan te geven of het probleem is verholpen of nog steeds voorkomt. Alvast bedankt voor uw moeite.

Het probleem is geisoleerd tot gebruik van een ander device dan Softphone voor wat betreft beantwoorden van gesprekken. Mitigerende maatregel kan dus zijn om de agenten tijdelijk met Softphone te laten werken ipv Mobiel of Vast toestel. Echter, er blijft dan wel het probleem dat je niet kan doorverbinden en geen terugbelverzoeken kan aannemen. Wij doen ons uiterste best om zsm een structurele oplossing te bieden voor deze verstoring

Momenteel hebben we kunnen vaststellen dat alle gesprekstypen die een lijn naar buiten openen (Terugbelverzoeken, doorverbinden, gebruik van een ander device dan softphone dus mobiel of vast toestel) een probleem blijven ondervinden. Wij onderzoeken nu verder en houden u op de hoogte

Verzoek: voor de getroffen klanten willen we vragen om middels uw ticket aan ons door te geven of jullie
1 met Remote extension werken (dat wil zeggen, bij het inloggen in de client kies je voor je mobiel om een gesprek op aan te bieden, je belt dus fysiek met je mobiele toestel)
2 je belt met gebruik van de softphone in de client, dus je gebruikt je PC/of laptop om gesprekken aan te nemen

Laatste update Odido

Op dit moment is er nog beperkte impact op de service Voice over Wifi. Een klein deel van de gebruikers kunnen op gesprekken die lopen over Voice over Wifi nog wegvallende gesprekken ervaren.  
Er wordt hard gewerkt aan het volledige herstel.

Aangezien het forceren van Voice over Wifi een functie is die uit te zetten is, is de impact van de verstoring aan Odido kant gemitigeerd. Wij sluiten deze melding.

Update van Odido:

De onderbreking op ons mobiele netwerk is hersteld. Gebruikers die verbonden zijn met Voice over Wifi kunnen mogelijk nog hinder ondervinden. Dit is de enige service die nog impact ervaart. Normale spraakoproepen werken goed.

Er wordt hard gewerkt aan het herstel. In de tussentijd kunnen gebruikers die Voice over Wifi gebruiken deze functie uitzetten.

De volgende update volgt om 16:45

Bericht van Odido:
We hebben een korte onderbreking ondervonden op een deel van ons mobiele netwerk. Hierdoor heeft een deel van onze gebruikers problemen kunnen ondervinden met het gebruik van mobiel internet en bellen.
Het overgrote deel van de gebruikers zal geen enkele hinder van deze netwerkonderbreking hebben gehad. 
De onderbreking in het netwerk is verholpen en het grootste deel van de gebruikers heeft weer connectie met het netwerk.
We verwachten dat op zeer korte termijn alle gebruikers weer online zijn.

Vanuit Unexus monitoren we de storing komend uur om zeker te zijn van de oplossing

Odido heeft aangegeven dat er een probleem is in een datacenter waar zij en een aantal andere providers last van hebben. Ze werken aan een oplossing en houden ons op de hoogte.

We hopen van Odido binnen het komende half uur meer nieuws te ontvangen over wat er aan de hand is. Momenteel is bellen naar Odido en vanaf een Odido mobiel abonnement bijna niet mogelijk

Sinds 15.30 hebben alle systemen zich hersteld. Dit komt overeen met het tijdstip dat Cloudflare meldt dat de problemen bij hen zijn opgelost. We zijn op de achtergrond meer informatie aan het verzamelen om verdere bevestiging van de oorzaak te kunnen verkrijgen.

We zien dat de meeste klanten ondertussen weer bereikbaar zijn, de meldingen op onze monitoring geven verbetering aan. We vermoeden een samenhang met een wereldwijde Cloudflare storing die mogelijk impact heeft gehad op Odido. Het lijkt er niet op dat deze verstoring samenhangt met de Eurofiber problemen die gisteren hebben plaatsgevonden. Wij zijn aan het proberen om de uiteindelijke oorzaak te achterhalen.