Unexus - Berichtgeschiedenis

De verstoring bij Odido is opgelost, hierbij de laatste update, wij sluiten deze melding daarmee af.
Vanwege de berichtgeving over het Datacenter Koelsysteem van Odido, is de Root Cause bekend. Mocht een officiële RCA worden opgeleverd door Odido dan zullen we deze delen.

Beste klant,

Er heeft een incident plaatsgevonden op ons netwerk dat van invloed was op de mobiele dienstverlening (internet en belverkeer).

Ons technisch team heeft de nodige herstelwerkzaamheden uitgevoerd, waardoor de mobiele dienstverlening inmiddels volledig is hersteld. Ervaar je toch nog problemen? Probeer dan eerst het toestel in vliegtuigstand te zetten en deze vervolgens weer uit te schakelen. Helpt dit niet, neem dan gerust contact met ons op.

Bij deze sluiten wij het incident af.

Onze excuses voor het ongemak.

Update van Odido:

Beste klant,

Er is op dit moment een P1 storing die invloed kan zijn op de mobiele dienstverlening (internet en belverkeer).

De oorzaak lag bij een probleem met het koelsysteem in een datacenter, waardoor een deel van onze mobiele diensten tijdelijk niet beschikbaar was. Dit probleem is inmiddels verholpen. Sinds circa 12:30 uur komen de diensten weer geleidelijk terug en kunnen eindgebruikers weer gebruikmaken van het netwerk.

We houden de situatie nauwlettend in de gaten om te zorgen dat alles stabiel blijft.

Om 14:30 uur zullen we je voorzien van een volgende update.

Onze excuses voor het ongemak.

De Major melding op het Unexus selfserviceportaal is: UN-2603-534.

Odido heeft bevestigd dat de oorzaak van de verstoring is gevonden en dat een RCA binnen 5 werkdagen zal worden opgeleverd. Unexus zal deze RCA middels het ticket uit de Selfserviceportal delen met de melders zodra deze beschikbaar komt.

In afwachting van afronding van het Odido onderzoek en communicatie, blijven wij de koppelingen met Odido monitoren. De 7 klanten die een melding hebben gemaakt hebben bevestigd dat de situatie is hersteld.

We ontvangen de eerste signalen dat de storing is opgelost, er is nog geen terugkoppeling vanuit Odido te delen. We nemen steekproeven bij onze getroffen klanten om dit te bevestigen.

Bij deze sluiten we deze melding, de omgeving is stabiel na de uitgevoerde werkzaamheden, de RCA volgt z.s.m.

De omgeving is weer volledig beschikbaar, de analyse van wat er is gebeurt wordt momenteel door ons hostingteam verder onderzocht en zal in een RCA worden verwerkt. In onze Selfservice portal is een Major ticket beschikbaar en de RCA wordt op basis van ingebrachte tickets zo spoedig mogelijk opgeleverd.
We monitoren de omgeving nog actief.

De performance van de Database omgeving is verhoogd, de performance neemt nu toe, de klantomgevingen zijn weer grotendeels bereikbaar.

Vanuit Unexus sluiten we dit incident hier. Melders die een ticket hebben ingediend ontvangen mogelijk om 17u nog een laatste update in het ticket:

Update vanuit Odido:
Sinds vanochtend is er sprake geweest van een P1-storing die invloed had op mobiele diensten en internet. De oorzaak was een stroomonderbreking in de regio Rotterdam.

 Dankzij de maatregelen die we hebben genomen is de impact inmiddels verholpen en zijn alle diensten weer beschikbaar voor alle gebruikers. We blijven het netwerk de komende uren nauwlettend monitoren.

Ervaar je toch nog problemen met mobiele diensten? Zet je toestel dan kort in vliegtuigstand en schakel deze daarna weer uit.

Nieuwe melding Odido, grotendeels hersteld en advies indien er nog problemen zijn:

Onze monteurs zijn ter plaatse bezig met herstelwerkzaamheden. Daarnaast hebben we aanvullende maatregelen getroffen, waardoor voor het merendeel van onze klanten de diensten inmiddels weer functioneren. Onze technische teams werken met de hoogste prioriteit aan het oplossen van de resterende problemen.

Ervaar je nog steeds problemen met mobiele diensten? Dan adviseren we om je toestel kort in vliegtuigstand te zetten en deze daarna weer uit te schakelen.

 Om 14:00 uur ontvang je een nieuwe update.

Storing mobiele netwerk

Odido heeft nog geen update, we houden u op de hoogte:

Er is op dit moment een P1 storing die invloed kan hebben op de mobiele diensten en internet. Dit probleem is ontstaan in de regio Rotterdam door een stroomstoring, we zien echter dat dit niet alleen impact heeft in de regio Rotterdam, maar ook daarbuiten. Onze technische teams werken met de hoogste prioriteit aan het oplossen van de problemen.

Om 12 uur zullen we je voorzien van een volgende update.

Onze excuses voor het ongemak.

Dear partner,

There is currently a P1 outage that may affect mobile services and internet. This problem has occurred in the Rotterdam area due to a power outage. However, we are noticing that this is impacting not only the Rotterdam area but also beyond. Our technical teams are working with the highest priority to resolve the issues.

We will provide you with the next update at 12:00 P.M.

We apologize for the inconvenience.

 ncident.

Odido heeft bij werkzaamheden onbedoeld MB verdelers verwijderd en werkt momenteel aan een restore van deze data. Naar verwachting zullen uiterlijk eind van de dag alle MB verdelers weer zijn aangemaakt.

Wij betreuren deze situatie zeer en hopen dat de workaround van het werken met een hotspot vanuit mobiel de overlast tot een minimum beperken. Dit incident is in ons zelfserviceportaal als Major te vinden, middels deze major zullen we iedereen op de hoogte houden van de voortgang. Dit incident wordt nu gesloten.

Tijdelijke workaround voor gebruikers die met een tablet of laptop willen gebruik maken van data bundel:
zet uw persoonlijke hotspot op uw mobiele toestel aan en koppel daarop.

De oorzaak is gevonden en structurele oplossing is geïmplementeerd.

Voor het toestaan of blokkeren van netwerktoegang vanuit verdachte locaties maken wij gebruik van een dagelijks geautomatiseerd proces. Dit proces onderscheidt goedgekeurde en niet-goedgekeurde IP-reeksen. Door een fout in dit proces is op één van de proxyservers tijdelijk geen geldige lijst met goedgekeurde IP-reeksen beschikbaar geweest. In dat geval wordt verkeer standaard geweigerd. Omdat dit probleem zich niet op alle proxyservers voordeed, kon het gedrag per gebruiker verschillen; sommige gebruikers konden wel aanmelden, anderen niet, of pas na verversen van de sessie.

Om de impact te beperken is tijdelijk al het verkeer toegestaan. Hierbij bleek dat specifieke SIP-toestellen, die via een aparte scope worden toegelaten, nog niet correct waren uitgezonderd, waardoor deze toestellen nog geen verbinding konden maken.

Om 09.27 uur is het onderliggende proces volledig hersteld en wordt verkeer weer conform de normale regels toegestaan of geblokkeerd. De dienst functioneert sinds dat moment weer normaal.

De oorzaak van het incident ligt in de aanlevering van het bestand met IP-reeksen. Dit bestand is niet correct verwerkt, waardoor het leeg bleef en het beveiligingsmechanisme onbedoeld verkeer blokkeerde.

Een uitgebreide Root Cause Analysis (RCA) met structurele verbetermaatregelen volgt via de normale Selfservice Portal tickets.

Het is gebleken dat de maatregel die is ingevoerd niet werkt voor vaste toestellen, we werken toe naar een structurele oplossing en houden u op de hoogte vaste toestellen zich ook weer kunnen aanmelden.
Wij willen u vragen om tijdelijk gebruik te maken van de Softphone in plaats van remote extension op een vast toestel.

We hebben de eerste bevestigingen binnen dat het probleem is verholpen en blijven de situatie monitoren.

We hebben een mitigerende oplossing gevonden waarmee de problemen op dit moment zouden moeten zijn verholpen. U kunt opnieuw inloggen en als het probleem zich nog voordoet horen wij het graag. Wij monitoren de situatie en vervolgen ons onderzoek.

We hebben helaas nog geen oorzaak gevonden voor de problemen met inloggen, we doen er momenteel alles aan om de oorzaak te vinden en houden u op de hoogte.

De problemen zijn gemitigeerd en we analyseren momenteel de verouderde toestellen (mobiel en vast) om mogelijkheden te verkennen voor gecontinueerde support middels nieuw certificaat.

Meerdere klanten melden dat de mitigerende maatregel effect heeft, vaste toestellen kunnen weer gebruikt worden. Het kan nog even duren voordat de maatregel effect heeft op alle omgevingen, eventueel herstarten van toestellen kan het proces versnellen.

BELANGRIJKE UPDATE: Er is een Certificaat probleem geïdentificeerd; sommige toesteltypes, waaronder Yealink, accepteren de chain of trust van dit nieuwere certificaat niet.

NB Ditzelfde probleem geldt zeer waarschijnlijk ook gebruikers die de Mobiel App gebruiken in combinatie met toesteltypes die geen Software updates meer krijgen waar dit soort nieuwe certificeringen in worden doorgevoerd.

Wij verzoeken de klanten die problemen ervaren met de Mobiele App om in het ticket in de SelfService Portal de volgende specificaties aan te leveren:
1 welk type toestel (merk en model) en
2 welke software er op draait (Android of IOS)

MITIGERENDE MAATREGEL (UITERLIJK VANAVOND OPERATIONEEL)
Tevens is Unexus momenteel een mitigerende maatregel aan het implementeren door een ouder certificaat te gebruiken, deze maatregel duurt even voordat die is doorgevoerd op alle systemen. De komende week zullen wij informatie leveren over welke toestellen mogelijk handmatige updates vergen of waar wij op afstand de beheeractie om ze te updaten kunnen forceren.

WORKAROUNDS:
Webclient en Xclient gebruikers/Agenten die vaste toestellen gebruiken kunnen gebruik maken van Softphone als gekozen device om mee te werken
Mobile App gebruikers kunnen tijdelijk over stappen op de Webclient of Xclient en als device kiezen voor het mobiele nummer (Remote extension).
Voor beheer: NB Hiervoor moeten de mobiele nummers toegevoegd zijn als remote extension (middels de Administrator) als die nog niet bestaan.

Heeft u hulp nodig bij de workaround, neem dan contact op met Unexus Support door een ticket in te schieten of uw bestaande ticket bij te werken, wij nemen dan zo spoedig mogelijk contact met u op om de instellingen die nodig zijn door te lopen.

Er is een probleem geïdentificeerd in onze Azure hosted omgeving, Unexus werkt momenteel aan de oplossing.

het incident is gemitigeerd, de RCA volgt z.s.m. in ticket updates. Wij danken u voor uw geduld en medewerking in het analyseren van de storing.

Wij hebben ondertussen een probleem gevonden in de communicatie tussen Odido en Unexus en hebben Odido betrokken in deze analyse. Er is ondertussen tussen 09.30 en 12.00 een mitigerende wijziging doorgevoerd door Unexus die de problemen voor nu volledig moet oplossen. Wij verzoeken u om in uw ticket aan te geven of het probleem is verholpen of nog steeds voorkomt. Alvast bedankt voor uw moeite.

Het probleem is geisoleerd tot gebruik van een ander device dan Softphone voor wat betreft beantwoorden van gesprekken. Mitigerende maatregel kan dus zijn om de agenten tijdelijk met Softphone te laten werken ipv Mobiel of Vast toestel. Echter, er blijft dan wel het probleem dat je niet kan doorverbinden en geen terugbelverzoeken kan aannemen. Wij doen ons uiterste best om zsm een structurele oplossing te bieden voor deze verstoring

Momenteel hebben we kunnen vaststellen dat alle gesprekstypen die een lijn naar buiten openen (Terugbelverzoeken, doorverbinden, gebruik van een ander device dan softphone dus mobiel of vast toestel) een probleem blijven ondervinden. Wij onderzoeken nu verder en houden u op de hoogte

Verzoek: voor de getroffen klanten willen we vragen om middels uw ticket aan ons door te geven of jullie
1 met Remote extension werken (dat wil zeggen, bij het inloggen in de client kies je voor je mobiel om een gesprek op aan te bieden, je belt dus fysiek met je mobiele toestel)
2 je belt met gebruik van de softphone in de client, dus je gebruikt je PC/of laptop om gesprekken aan te nemen