Op deze website gebruiken we cookies om content en advertenties te personaliseren, om functies voor social media te bieden en om ons websiteverkeer te analyseren. Ook delen we informatie over uw gebruik van onze site met onze partners voor social media, adverteren en analyse. Deze partners kunnen deze gegevens combineren met andere informatie die u aan ze heeft verstrekt of die ze hebben verzameld op basis van uw gebruik van hun services. Meer informatie.

Akkoord

Facebook legt zichzelf plat met DDoS-aanval

Door: Jasper Bakker | 24 september 2010 16:41

Nieuws

Sociaal netwerk Facebook heeft tweeënhalf uur platgelegen. Dit is de grootste storing in vier jaar tijd en de tweede in twee dagen.

"Facebook was down of onbereikbaar voor veel van jullie gedurende ongeveer 2,5 uur. Dit is de ergste storing die we hebben gehad in vier jaar, en we willen allereerst onze verontschuldigingen daarvoor aanbieden", meldt softwaredirecteur Robert Johnson op het bedrijfsblog. Toen de site weer up was, bleef die nog wel geruime tijd traag.

Foutcontrole zat fout

De oorzaak van de recordstoring is een interne wijziging die Facebook zelf heeft aangebracht in zijn ict-infrastructuur. Ironisch genoeg zat dat in verkeerde afhandeling van foutmeldingen. "Een geautomatiseerd systeem voor het verifiëren van configuratiewaardes heeft veel meer schade veroorzaakt dan dat het oploste."

Het doel van dat geautomatiseerde systeem is om te controleren op configuratie-instellingen die niet valide zijn in de cache van de Facebook-servers. Gedetecteerde niet-correcte waardes worden dan vervangen door valide instellingen, die worden opgehaald uit de 'persistent store' van Facebooks servers. Het bleek echter dat de 'persistent store' niet-valide instellingen bevatte, biecht Johnson op.

"We hebben een verandering aangebracht in de persistent copy van een configuratiewaarde, die werd geïnterpreteerd als niet-valide. Dit betekent dat elke clientapplicatie de ongeldige waarde zag en die probeerde te fixen." Voor elk van die reparatiepogingen is een database-query nodig, wat de geclusterde databaseservers van Facebook een stortvloed opleverde die ze niet aankonden. Johnson spreekt van honderdduizenden queries per seconde.

Zelfveroorzaakte DDoS

"En om het nog erger te maken: elke keer dat een client een foutmelding kreeg vanwege de query aan een van de databases interpreteerde de client dat weer als een ongeldige waarde, waarna het de daarmee overeen komende waarde in de cache wistte." Dat heeft ervoor gezorgd dat de zelfveroorzaakte DDoS-aanval van database-queries aanhield nádat het oorspronkelijke probleem was opgelost.

"Zolang de databases bleven fallen om sommige van de verzoeken te beantwoorden, bleven ze zelf maar meer verzoeken veroorzaken. We waren een feedback loop ingegaan die herstel van de databases niet toestond." De oplossing was pijnlijk, blogt Johnson: "We moesten al het verkeer naar dit database-cluster stopzetten, wat betekende dat we de site moesten uitzetten."

Opnieuw ontwerpen

Vervolgens is Facebook.com weer aangezet, waarbij het sociale netwerk geleidelijk aan weer meer bezoekers toeliet. Het foute foutcorrectiesysteem is uitgeschakeld. "We verkennen nieuwe ontwerpen voor dit configuratiesysteem, waarbij we ontwerppatronen volgen van andere systemen bij Facebook die meer elegant omgaan met feedback loops en tijdelijke pieken in het verkeer."

Bron: Webwereld.nl

0 Reacties op: Facebook legt zichzelf plat met DDoS-aanval

  • Om te reageren moet je ingelogd zijn. Nog geen account? Registreer je dan en praat mee!
  • Er zijn nog geen reacties op dit artikel.

Wanneer je een reactie plaatst ga je akoord
met onze voorwaarden voor reacties.