Δημιουργία κλιμακούμενης υποδομής cloud για αναπτυσσόμενες επιχειρήσεις

Όταν ξεκινήσαμε να προσφέρουμε managed hosting και υπηρεσίες cloud στη GRADAX, οι περισσότεροι πελάτες μας είχαν προβλέψιμους φόρτους εργασίας. Ο ιστότοπος ενός τοπικού εστιατορίου είχε σταθερή επισκεψιμότητα, ίσως μια μικρή αιχμή τα σαββατοκύριακα. Ο ιστότοπος χαρτοφυλακίου ενός λογιστή επηρέαζε ελάχιστα τους πόρους του διακομιστή. Προμηθευόμαστε πόρους συντηρητικά και αυτό λειτουργούσε. Καθώς όμως εντάσσαμε στο δυναμικό μας brands ηλεκτρονικού εμπορίου, νεοφυείς επιχειρήσεις SaaS και μέσα ενημέρωσης, τα μοτίβα επισκεψιμότητας έγιναν εξαιρετικά απρόβλεπτα.

Ένας από τους πελάτες μας, μια ρουμανική πλατφόρμα μόδας, πραγματοποίησε μια προσφορά-αστραπή που αύξησε την επισκεψιμότητά τους 14 φορές σε λιγότερο από ενενήντα δευτερόλεπτα. Ο προηγούμενος πάροχος φιλοξενίας τους κατέρρευσε. Ήρθαν σε εμάς την επόμενη μέρα ζητώντας εγγύηση ότι δεν θα ξανασυμβεί. Αυτή η μία συζήτηση μας ανάγκασε να επανεξετάσουμε ολόκληρη τη φιλοσοφία της υποδομής μας. Δεν μπορούσαμε πλέον να σχεδιάζουμε για μέσους όρους, έπρεπε να σχεδιάζουμε για ακραίες καταστάσεις.

Η βασική πρόκληση ήταν τριπλή: να αντιμετωπίζουμε ξαφνικές αιχμές επισκεψιμότητας χωρίς χειροκίνητη παρέμβαση, να διατηρούμε το κόστος λογικό σε περιόδους ηρεμίας και να διατηρούμε χρόνους απόκρισης κάτω από 200ms για ευρωπαϊκό και παγκόσμιο κοινό. Η επίλυση οποιουδήποτε από αυτά μεμονωμένα είναι απλή. Η ταυτόχρονη επίλυση και των τριών απαιτούσε μια θεμελιωδώς διαφορετική αρχιτεκτονική.

Αξιολογήσαμε αρκετές προσεγγίσεις προτού καταλήξουμε στην τρέχουσα στοίβα τεχνολογιών. Μια πλήρως serverless αρχιτεκτονική ήταν δελεαστική αλλά εισήγαγε καθυστερήσεις cold-start που παραβίαζαν τους στόχους απόδοσής μας, ειδικά για εφαρμογές Next.js με server-side rendering στις οποίες βασίζονται οι πελάτες μας. Μια παραδοσιακή διάταξη βασισμένη σε VM μας έδινε έλεγχο αλλά στερούνταν της ελαστικότητας που χρειαζόμασταν. Καταλήξαμε σε ένα υβριδικό μοντέλο: μια βάση dedicated compute υποστηριζόμενη από δεξαμενές cloud server κατά παραγγελία που μπορούν να ενεργοποιηθούν σε λιγότερο από τέσσερα δευτερόλεπτα.

Το control plane μας λειτουργεί σε Kubernetes, ενορχηστρώνοντας φόρτους εργασίας σε πολλαπλές ζώνες διαθεσιμότητας εντός κάθε περιοχής κέντρου δεδομένων. Η εφαρμογή κάθε πελάτη είναι containerized με ένα τυποποιημένο runtime image που περιλαμβάνει τον agent παρακολούθησης, τον forwarder καταγραφών και το endpoint ελέγχου υγείας. Αυτή η ομοιομορφία είναι που καθιστά δυνατό το auto-scaling· κάθε container είναι εναλλάξιμο, ώστε ο orchestrator να μπορεί να προσθέτει ή να αφαιρεί instances χωρίς να ανησυχεί για ιδιαιτερότητες του περιβάλλοντος.

Για το επίπεδο δεδομένων, υιοθετήσαμε μια στρατηγική αποθήκευσης σε επίπεδα. Τα hot data βρίσκονται σε NVMe SSD με replication σε δύο κόμβους. Τα warm data μετακινούνται σε τυπικούς SSD μετά από επτά ημέρες. Τα cold data αρχειοθετούνται σε object storage μετά από τριάντα ημέρες. Μόνο αυτό μείωσε το κόστος αποθήκευσής μας κατά 40% χωρίς καμία αισθητή επίπτωση στην απόδοση των πελατών.

Η αυτόματη κλιμάκωση ακούγεται απλή στη θεωρία: όταν η ζήτηση αυξάνεται, προσθέτεις πόρους· όταν πέφτει, τους αφαιρείς. Στην πράξη, ο χρονισμός και τα όρια έχουν τεράστια σημασία. Αν κλιμακώσεις πολύ αργά, οι χρήστες συναντούν σφάλματα. Αν κλιμακώσεις πολύ νωρίς, ξοδεύεις χρήματα σε αδρανείς πόρους. Αφιερώσαμε τρεις μήνες στη ρύθμιση των πολιτικών κλιμάκωσης προτού αποκτήσουμε αρκετή βεβαιότητα ώστε να τις τρέχουμε σε παραγωγή χωρίς ανθρώπινη επίβλεψη.

Το σύστημά μας χρησιμοποιεί ένα μοντέλο προβλεπτικής κλιμάκωσης πάνω από αντιδραστικούς μηχανισμούς ενεργοποίησης. Το προβλεπτικό επίπεδο αναλύει ιστορικά μοτίβα επισκεψιμότητας, ημέρα της εβδομάδας, ώρα της ημέρας, εποχιακές τάσεις και γνωστά γεγονότα όπως κυκλοφορίες προϊόντων ή καμπάνιες marketing που προγραμματίζουν οι πελάτες μέσω του dashboard μας. Προμηθεύει εκ των προτέρων χωρητικότητα δεκαπέντε λεπτά πριν από την αναμενόμενη ζήτηση. Το αντιδραστικό επίπεδο παρακολουθεί μετρήσεις σε πραγματικό χρόνο: χρήση CPU, πίεση μνήμης, βάθος ουράς αιτημάτων και λανθάνουσα απόκριση P95. Αν οποιαδήποτε μέτρηση ξεπεράσει το όριό της, νέα containers ενεργοποιούνται μέσα σε δευτερόλεπτα.

Κατασκευάσαμε επίσης έναν προσαρμοσμένο μηχανισμό cooldown. Αφού υποχωρήσει μια αιχμή, δεν καταργούμε αμέσως την επιπλέον χωρητικότητα. Αντ' αυτού, τη διατηρούμε για ένα διαμορφώσιμο διάστημα (προεπιλογή: δέκα λεπτά), επειδή οι αιχμές επισκεψιμότητας συχνά έρχονται σε κύματα. Αυτό αποτρέπει το δαπανηρό churn της επανειλημμένης ενεργοποίησης και απενεργοποίησης containers κατά τη διάρκεια παρατεταμένων γεγονότων υψηλής επισκεψιμότητας όπως η Black Friday ή στιγμές viral στα μέσα κοινωνικής δικτύωσης.

Η εξισορρόπηση φόρτου στη GRADAX λειτουργεί σε δύο επίπεδα. Το εξωτερικό επίπεδο είναι ένα παγκόσμιο δίκτυο anycast που δρομολογεί τους χρήστες στο πλησιέστερο κέντρο δεδομένων με βάση τη λανθάνουσα απόκριση, όχι μόνο τη γεωγραφία. Ένας χρήστης στο Μόναχο μπορεί να δρομολογηθεί στον κόμβο μας στη Φρανκφούρτη ή στον κόμβο μας στο Άμστερνταμ ανάλογα με τις συνθήκες δικτύου σε πραγματικό χρόνο. Αυτή η απόφαση επαναξιολογείται κάθε εξήντα δευτερόλεπτα χρησιμοποιώντας ενεργούς ελέγχους υγείας που αποστέλλονται από κάθε τοποθεσία edge.

Το εσωτερικό επίπεδο κατανέμει την επισκεψιμότητα σε containers εντός ενός κέντρου δεδομένων. Εγκαταλείψαμε νωρίς το απλό round-robin επειδή δεν λαμβάνει υπόψη την υγεία των containers ή το τρέχον φόρτο. Ο balancer μας χρησιμοποιεί έναν σταθμισμένο αλγόριθμο least-connections που συνυπολογίζει τον τρέχοντα αριθμό αιτημάτων κάθε container, τη χρήση CPU και το πρόσφατο ποσοστό σφαλμάτων. Τα containers που δυσκολεύονται λαμβάνουν λιγότερα αιτήματα, δίνοντάς τους χρόνο να ανακάμψουν χωρίς να αφαιρεθούν εντελώς από την εναλλαγή.

Υλοποιήσαμε επίσης connection draining για ομαλούς τερματισμούς. Όταν ο auto-scaler αποφασίσει να αφαιρέσει ένα container, πρώτα σταματά να του στέλνει νέες συνδέσεις και μετά περιμένει έως και τριάντα δευτερόλεπτα για να ολοκληρωθούν τα υπάρχοντα αιτήματα. Αυτό εξάλειψε τα σφάλματα 502 που ταλαιπωρούσαν τις προηγούμενες εκδόσεις μας κατά τη διάρκεια γεγονότων scale-down.

Η υποδομή cloud μπορεί να γίνει ακριβή γρήγορα, ειδικά όταν εκτελείτε auto-scaling σε πολλαπλές περιοχές. Υιοθετήσαμε μια πειθαρχημένη προσέγγιση στη διαχείριση κόστους από την πρώτη μέρα, αντιμετωπίζοντας τη δαπάνη υποδομής ως μέτρηση προϊόντος εξίσου σημαντική με τον χρόνο λειτουργίας ή τη λανθάνουσα απόκριση. Κάθε αρχιτεκτονική απόφαση περνά από αξιολόγηση κόστους πριν φτάσει στην παραγωγή.

Η μεγαλύτερη εξοικονόμησή μας προήλθε από το right-sizing. Κατασκευάσαμε ένα εργαλείο ανάλυσης που δειγματοληπτεί τη χρήση πόρων των containers σε παράθυρα δεκατεσσάρων ημερών και προτείνει βέλτιστες κατανομές CPU και μνήμης. Οι περισσότεροι πελάτες είχαν υπερπαροχή πόρων κατά 30-50% με βάση τις αρχικές μας εκτιμήσεις. Μετά το right-sizing, μειώσαμε το βασικό κόστος υπολογισμού κατά 35% σε ολόκληρο τον στόλο. Διαπραγματευτήκαμε επίσης συμφωνίες δεσμευμένης χωρητικότητας με τους upstream παρόχους μας για τον βασικό φόρτο εργασίας, κλειδώνοντας τιμές 45% κάτω από την τιμολόγηση κατά παραγγελία.

Για πελάτες που θέλουν μέγιστη αποδοτικότητα κόστους, προσφέρουμε ένα επίπεδο "burstable" που λειτουργεί σε κοινόχρηστη υποδομή κατά τις κανονικές ώρες και κλιμακώνεται σε αποκλειστικούς πόρους μόνο κατά τις περιόδους αιχμής. Αυτό το επίπεδο κοστίζει 60% λιγότερο από την τυπική μας προσφορά και είναι ιδανικό για επιχειρήσεις με προβλέψιμες περιόδους χαμηλής επισκεψιμότητας, όπως προϊόντα B2B SaaS που δεν έχουν σχεδόν καθόλου χρήση εκτός ωρών εργασίας.

Δεν μπορείτε να διαχειριστείτε ό,τι δεν μπορείτε να μετρήσετε, και σε ένα κατανεμημένο σύστημα auto-scaling, η ορατότητα είναι τα πάντα. Κατασκευάσαμε τη στοίβα παρατηρησιμότητάς μας γύρω από τρεις πυλώνες: μετρήσεις, καταγραφές και traces. Κάθε container εκπέμπει δομημένες μετρήσεις σε διαστήματα πέντε δευτερολέπτων που καλύπτουν CPU, μνήμη, I/O δίσκου, ρυθμαπόδοση δικτύου, αριθμό αιτημάτων, ποσοστό σφαλμάτων και εκατοστημόρια λανθάνουσας απόκρισης. Αυτές ρέουν σε μια βάση δεδομένων χρονοσειρών που διατηρεί δεδομένα υψηλής ανάλυσης για επτά ημέρες και υποδειγματοληπτημένα δεδομένα για δεκατρείς μήνες.

Το distributed tracing ήταν το κομμάτι που πήρε τον περισσότερο χρόνο να γίνει σωστά αλλά απέδωσε τη μεγαλύτερη αξία. Κάθε εισερχόμενο αίτημα λαμβάνει ένα trace ID που το ακολουθεί μέσω του load balancer, του container εφαρμογής, του επιπέδου cache και της βάσης δεδομένων. Όταν ένας πελάτης αναφέρει αργή φόρτωση σελίδων, μπορούμε να ανακτήσουμε το ακριβές trace και να δούμε επακριβώς πού δαπανήθηκε χρόνος. Εννέα στις δέκα φορές, το σημείο συμφόρησης είναι ένα μη βελτιστοποιημένο query βάσης δεδομένων ή ένα κλειδί cache που λείπει, όχι η υποδομή.

Το σύστημα ειδοποιήσεών μας χρησιμοποιεί επίπεδα σοβαρότητας συνδεδεμένα με τον επιχειρηματικό αντίκτυπο, όχι μόνο με τεχνικά όρια. Σε συνδυασμό με την παρακολούθηση website security, ένα μεμονωμένο container που υπερθερμαίνεται είναι ενημερωτικό. Ένα παρατεταμένο ποσοστό σφαλμάτων άνω του 1% σε ολόκληρο τον στόλο ενός πελάτη είναι προειδοποίηση. Οποιαδήποτε πτώση διαθεσιμότητας κάτω από 99,9% σε παράθυρο πέντε λεπτών ειδοποιεί αμέσως τον εφημερεύοντα μηχανικό. Αυτή η προσέγγιση μείωσε τον θόρυβο ειδοποιήσεων κατά 70% σε σύγκριση με το αρχικό μας σύστημα βασισμένο σε όρια.

Έπειτα από δεκαοκτώ μήνες λειτουργίας αυτής της αρχιτεκτονικής σε παραγωγή, τα νούμερα μιλούν από μόνα τους. Διατηρήσαμε 99,97% uptime σε όλα τα workloads των πελατών μας, ακόμη και κατά τη διάρκεια τριών μεγάλων γεγονότων επισκεψιμότητας που το καθένα ξεπέρασε κατά 50 φορές το βασικό φορτίο. Η πλατφόρμα διαχειρίστηκε πάνω από 2,8 δισεκατομμύρια αιτήματα μόνο το τελευταίο τρίμηνο, με παγκόσμιο χρόνο απόκρισης P95 στα 142 χιλιοστά του δευτερολέπτου. Κανένας πελάτης δεν αντιμετώπισε διακοπή λειτουργίας λόγω αποτυχιών κλιμάκωσης.

Από πλευράς κόστους, οι πελάτες μας εξοικονομούν συνολικά εκτιμώμενα 40% σε σύγκριση με ισοδύναμες διαμορφώσεις σε μεγάλους δημόσιους παρόχους cloud. Το σύστημα αυτόματης κλιμάκωσης απέτρεψε εκτιμώμενη δαπάνη 180.000 € σε περιττούς υπολογιστικούς πόρους πέρυσι, μειώνοντας την κλίμακα κατά τις ώρες χαμηλής ζήτησης αντί να λειτουργεί σε πλήρη ισχύ 24/7. Για τον πελάτη μας στον χώρο του fashion marketplace, αυτόν του οποίου η flash sale ξεκίνησε όλη αυτή τη διαδρομή, ο μηνιαίος λογαριασμός υποδομής μειώθηκε κατά 52% μετά τη μετάβαση στην πλατφόρμα μας, παρόλο που διαχειρίζεται τριπλάσια επισκεψιμότητα από πριν.

Οι λειτουργικές βελτιώσεις ήταν εξίσου σημαντικές. Ο μέσος χρόνος εντοπισμού προβλημάτων απόδοσης μειώθηκε από 12 λεπτά σε λιγότερο από 90 δευτερόλεπτα. Ο μέσος χρόνος επίλυσης έπεσε από 45 λεπτά σε 8 λεπτά κατά μέσο όρο. Η ομάδα υποδομής μας, που προηγουμένως αφιέρωνε το 60% του χρόνου της σε αντιδραστική αντιμετώπιση προβλημάτων, τώρα αφιερώνει το 80% του χρόνου της σε προληπτικές βελτιώσεις και ανάπτυξη νέων λειτουργιών.

Δεν σταματάμε εδώ. Η επόμενη φάση του οδικού χάρτη μας για την υποδομή cloud επικεντρώνεται σε τρεις τομείς: edge computing, σχεδιασμό χωρητικότητας με τεχνητή νοημοσύνη και προγραμματισμό με γνώμονα τις εκπομπές άνθρακα. Δοκιμάζουμε αυτή τη στιγμή κόμβους edge compute σε δώδεκα επιπλέον πόλεις, που θα επιτρέψουν σε workloads ευαίσθητα στην καθυστέρηση, όπως η βελτιστοποίηση εικόνων και οι αποκρίσεις API, να εκτελούνται πιο κοντά στους τελικούς χρήστες. Τα πρώτα benchmarks δείχνουν μείωση 40% στην καθυστέρηση P99 για χρήστες που βρίσκονται πάνω από 1.000 χιλιόμετρα από το πλησιέστερο data center μας.

Στον τομέα της τεχνητής νοημοσύνης, εκπαιδεύουμε ένα μοντέλο πρόβλεψης χωρητικότητας σε δύο χρόνια ιστορικών δεδομένων από όλα τα workloads των πελατών μας. Στόχος είναι η πρόβλεψη των μοτίβων επισκεψιμότητας 24 ώρες νωρίτερα με αρκετή βεβαιότητα ώστε να προετοιμάζουμε χωρητικότητα πριν από τις αιχμές, εξαλείφοντας ακόμη και τη σύντομη αύξηση καθυστέρησης που συμβαίνει κατά τα αντιδραστικά γεγονότα κλιμάκωσης. Τα αρχικά αποτελέσματα είναι ενθαρρυντικά, με το μοντέλο να επιτυγχάνει 89% ακρίβεια στις προβλέψεις αιχμής της επόμενης ημέρας.

Τέλος, διερευνούμε τον προγραμματισμό με γνώμονα τις εκπομπές άνθρακα, που θα μεταφέρει μη επείγοντα workloads όπως backups, μαζική επεξεργασία και pre-rendering σε χρονικά διαστήματα όπου το τοπικό δίκτυο ηλεκτροδότησης έχει το υψηλότερο ποσοστό ανανεώσιμης ενέργειας. Αυτό ευθυγραμμίζεται με τη γενικότερη δέσμευσή μας για βιώσιμη υποδομή και δίνει στους περιβαλλοντικά συνειδητοποιημένους πελάτες μας ένα μετρήσιμο στοιχείο στο οποίο μπορούν να αναφερθούν. Αν θέλετε να μάθετε πώς αυτές οι βελτιώσεις μπορούν να ωφελήσουν την επιχείρησή σας, επικοινωνήστε με την ομάδα μας. Αναμένουμε να διαθέσουμε και τις τρεις δυνατότητες πριν από το τέλος του 2026.