Ένα σύστημα που καταλαβαίνει τις δικές του αποτυχίες.
Το AXONOS είναι το stack που τρέχω στον δικό μου υπολογιστή: τα services πίσω από τις εφαρμογές μου, τοπικά γλωσσικά μοντέλα, backups και αρκετοί AI agents που γράφουν κώδικα παράλληλα. Εδώ είναι μία εβδομάδα του, όπως έγινε: τέσσερις αποτυχίες, πώς εντοπίστηκε η καθεμία, τι διορθώθηκε και τι μένει ανοιχτό.
- Περίοδος
- 8–15 Οκτωβρίου 2026
- Μέγεθος
- 60 user services, 38 timers
- Ρόλος
- Μόνος, με AI agents
01 · Πλαίσιο
Γιατί έχει σημασία
Στις 11 Οκτωβρίου κατέγραψα κάτι δυσάρεστο για το stack: είχε αισθητήρες, watchdog και backups, αλλά σχεδόν κάθε πρόβλημα το έβρισκα ακόμα εγώ ή κάποιος AI agent τυχαία. Το watchdog έτρεχε κάθε πέντε λεπτά και πάλι δεν είδε δίσκο στο 94% ή launcher που άνοιγε λάθος διεύθυνση, γιατί έλεγχε μόνο αν τα services ζουν.
Άλλαξα λοιπόν τον κανόνα. Οι έλεγχοι γράφονται από αποτυχίες που συνέβησαν, όχι από θεωρία. Ό,τι είναι αναστρέψιμο και γνωστό το σύστημα μπορεί να το διορθώσει μόνο του· ό,τι αγγίζει δεδομένα, χρήματα, DNS ή δημόσιο προϊόν το προτείνει με απόδειξη και περιμένει εμένα.
Τα τέσσερα περιστατικά παρακάτω είναι το πώς φάνηκε αυτό στην πράξη μέσα σε μία εβδομάδα. Τα τρία έκλεισαν. Το ένα όχι, και το λέω.
02 · Τέσσερα περιστατικά
Τι χάλασε και ποιος το είδε
Thermidor · systemd service
Ένα service που έδειχνε σε εκτελέσιμο που δεν υπήρχε πια
Διορθώθηκε πριν πέσει
- Τι έγινε
- Το service που τρέχει το Thermidor, την εφαρμογή μου για θερμίδες, το ξεκινούσε μέσω pnpm από σταθερή διαδρομή. Το pnpm δεν βρισκόταν πια εκεί. Η εφαρμογή έτρεχε, οπότε τίποτα δεν φαινόταν λάθος, αλλά στο επόμενο restart θα έπεφτε.
- Πώς εντοπίστηκε
- Η ίδια χαμένη διαδρομή είχε ήδη ρίξει άλλο service: ένας έλεγχος του υπολογιστή στις 13 Οκτωβρίου εντόπισε σε αυτήν μια αποτυχία systemd 203/EXEC (το εκτελέσιμο δεν μπορούσε να τρέξει). Στις 15 Οκτωβρίου φάνηκε ότι και το unit του Thermidor έδειχνε στην ίδια διαδρομή.
- Διόρθωση
- Το unit δείχνει πλέον στη διαδρομή που χρησιμοποιεί πραγματικά το pnpm. Την ίδια μέρα άλλαξε και το watchdog: όταν λείπει το εκτελέσιμο ενός service δεν το κάνει πια restart στα τυφλά· αναφέρει το αρχείο που λείπει και περιμένει 15 λεπτά.
Diff του unit · commit του watchdog με 19 tests
Συγχρονισμός γνώσης · νυχτερινή εργασία με τοπικό μοντέλο
Μία χαλασμένη απάντηση μοντέλου έριχνε όλη τη νύχτα
Μερικώς · ακόμα ανοιχτό
- Τι έγινε
- Κάθε βράδυ μια εργασία μετατρέπει τις σημειώσεις μου σε γράφο γνώσης, με γλωσσικό μοντέλο που τρέχει στη δική μου κάρτα γραφικών. Όταν το μοντέλο επέστρεφε μια ενότητα ως απλό κείμενο αντί για δομημένο αντικείμενο, ο κώδικας έσκαγε και όλη η εκτέλεση τελείωνε με σφάλμα. Δούλευε κανονικά 8–11 Οκτωβρίου και απέτυχε τέσσερις νύχτες στη σειρά, 12–15 Οκτωβρίου.
- Πώς εντοπίστηκε
- Όχι από το σύστημα. Το service έμενε σε κατάσταση αποτυχίας μέχρι που το κατέγραψε ο έλεγχος του υπολογιστή στις 13 Οκτωβρίου. Αυτό είναι το τίμιο κομμάτι αυτής της ιστορίας.
- Διόρθωση
- Κάθε ενότητα από το μοντέλο ελέγχεται πλέον και κρατιούνται μόνο τα έγκυρα αντικείμενα. Η εκτέλεση μετά τη διόρθωση έσωσε την πρώτη παρτίδα χωρίς καμία κακή ενότητα (87 κόμβοι, 52 ακμές). Η δεύτερη παρτίδα όμως έπεσε σε timeout του τοπικού μοντέλου και η εκτέλεση τελείωσε πάλι με σφάλμα, κρατώντας ακέραιο τον υπάρχοντα γράφο. Επόμενο βήμα: ένα timeout να σημαίνει μία ενότητα που παραλείπεται, όχι μια χαμένη νύχτα.
Journal του service 8–15/10 · log της εκτέλεσης μετά τη διόρθωση
Oxw Nou · παραγγελίες και emails
Διασταυρωμένο review από διαφορετικά μοντέλα έπιασε διπλότυπα πριν το άνοιγμα
Διορθώθηκε · παραγγελίες ακόμα κλειστές
- Τι έγινε
- Το Oxw Nou είναι το οικογενειακό μας μαγαζί με κεριά. Τη ροή παραγγελίας και πληρωμής την έγραψε ένα AI μοντέλο και την έλεγξε ένα διαφορετικό, με scripts αναπαραγωγής αντί για γνώμες. Τα reviews βρήκαν αρκετούς τρόπους να καταλήξει ένας πελάτης με δύο sessions πληρωμής, δύο παραγγελίες ή δύο emails.
- Ευρήματα
- Μια επανάληψη πέντε λεπτά αργότερα δημιουργούσε δεύτερη Stripe Checkout session για την ίδια παραγγελία. Δύο ταυτόχρονα flush έστελναν το ίδιο email δύο φορές. Και η διόρθωση αυτού έφερε το επόμενο: η «κράτηση» ενός email έληγε στα 2 λεπτά ενώ το timeout της βιβλιοθήκης email ήταν 10, άρα μια αργή αποστολή μπορούσε να ξαναπαρθεί και να σταλεί πάλι. Ο reviewer το αναπαρήγαγε με έναν σκόπιμα αργό ψεύτικο mailer.
- Διόρθωση
- Σταθερό idempotency key ανά παραγγελία, ποσό και προσπάθεια, και επαναχρησιμοποίηση της ανοιχτής Checkout session (2 sessions → 1). Το email «κρατιέται» πριν σταλεί, τα SMTP timeouts είναι 30 δευτερόλεπτα και μια αποστολή σημειώνεται ως ολοκληρωμένη μόνο αν η κράτηση ισχύει ακόμα. Ίδια αιτήματα με το ίδιο request id φτιάχνουν μία παραγγελία αντί για δύο. Μια δεύτερη χρέωση σημαίνεται για χειροκίνητη επιστροφή. Η παράδοση email μένει at-least-once· το email δεν έχει exactly-once, και ο κώδικας το τεκμηριώνει.
Δύο αποφάσεις review με repros · 5 commits
Backups · restic, τοπικά και εκτός σπιτιού
Απόδειξη ότι τα backups επαναφέρονται, όχι μόνο ότι τρέχουν
Τρέχει κάθε εβδομάδα
- Τι έγινε
- Τα backups έτρεχαν κάθε βράδυ και ανέφεραν επιτυχία. Τίποτα δεν έλεγχε, σε τακτική βάση, ότι μπορούν πράγματι να επαναφερθούν.
- Διόρθωση
- Ένα restore drill παίρνει το νεότερο ημερήσιο snapshot, το επαναφέρει σε προσωρινό φάκελο και το συγκρίνει με τα ζωντανά δεδομένα: integrity check και λίστα πινάκων στις SQLite, JSON που διαβάζεται, μεγέθη και bytes αρχείων. Μετά σβήνει τον φάκελο. Η πρώτη πραγματική εκτέλεση επανέφερε 87 αρχεία (4,1 MB) σε 6,7 δευτερόλεπτα τοπικά· το αντίγραφο εκτός σπιτιού χρειάστηκε 23. 18 tests το τρέχουν απέναντι σε ψεύτικο restic με χαλασμένη βάση, κακή γραμμή JSON και αρχείο που λείπει.
- Τι βρήκε
- Η ζωντανή βάση του μαγαζιού είχε τρεις πίνακες νεότερους από το snapshot εκείνης της νύχτας: την ουρά των emails, το καθολικό πληρωμών και το log των Stripe events, όλα από τη δουλειά παραπάνω. Θα έμπαιναν μόνο στο επόμενο backup. Ο έλεγχος υγείας θεωρεί πλέον τα backups υγιή μόνο αν ένα drill πέρασε τις τελευταίες 8 μέρες.
2 commits · αναφορά drill · εβδομαδιαίο timer
03 · Λάθος έκαναν και οι αισθητήρες
Δύο ψεύτικοι συναγερμοί
«Η κάρτα γραφικών κολλάει συνέχεια»
Μια αναφορά στις 14 Οκτωβρίου έλεγε ότι η κάρτα γραφικών κολλούσε επανειλημμένα. Ο έλεγχος την επόμενη μέρα μέτρησε ακριβώς δύο τέτοια γεγονότα, και τα δύο στις 8 Οκτωβρίου, και τα δύο αποκατεστημένα από τον driver. Οι «επαναλήψεις» στο log ήταν ο έλεγχος του δικού μου watchdog, που γράφεται κάθε 25 δευτερόλεπτα.
«Το firewall δεν απαντά»
Ένα ερώτημα στο firewall έληξε σε timeout και έμοιαζε με κολλημένο service. Ήταν το επίπεδο εξουσιοδότησης (polkit) που απέρριπτε μη-root χρήστη· ως root, το firewall έτρεχε κανονικά.
04 · Τι έμαθα
Οι περισσότερες αποτυχίες ήταν ολίσθηση, όχι crash
- Τίποτα εδώ δεν ήταν θεαματικό. Μια διαδρομή σωστή όταν γράφτηκε το service και λάθος αργότερα. Ένα backup σωστό για το χθεσινό σχήμα της βάσης. Οι έλεγχοι πρέπει να ψάχνουν ό,τι παύει να ισχύει, όχι μόνο ό,τι παύει να τρέχει.
- Η έξοδος ενός μοντέλου είναι είσοδος. Ένα τοπικό μοντέλο που απαντά σωστά χίλιες φορές, κάποια νύχτα θα επιστρέψει λάθος σχήμα, και ένα κακό στοιχείο δεν πρέπει να παίρνει μαζί του όλη την παρτίδα.
- Διαφορετικός reviewer βρίσκει διαφορετικά bugs, και το δεύτερο review αξίζει όσο το πρώτο: η διόρθωση ενός διπλότυπου έφερε το επόμενο.
- Επαλήθευσε τον αισθητήρα πριν ενεργήσεις. Δύο από τους συναγερμούς της εβδομάδας αφορούσαν την παρακολούθηση, όχι τον υπολογιστή.
05 · Τι θα έκανα αλλιώς
Την επόμενη φορά, από την αρχή
- Θα έγραφα το restore drill πριν εμπιστευτώ τα backups, όχι μετά.
- Κάθε εξωτερική απάντηση, από μοντέλο ή API, θα ήταν μη αξιόπιστη από την πρώτη γραμμή: έλεγχος στο όριο, και ορισμός του τι σημαίνει μερική αποτυχία πριν την πρώτη νυχτερινή εκτέλεση.
- Θα έλεγχα ότι υπάρχει κάθε εκτελέσιμο στο οποίο δείχνει ένα service, όπως ήδη ελέγχονται οι launchers και το autostart.
- Θα ζητούσα το διασταυρωμένο review πριν ο κώδικας μοιάζει τελειωμένος. Το πρώτο διπλότυπο το βρήκε ένας έλεγχος ολοκλήρωσης, που κοστίζει λιγότερο από το να το βρεις στην παραγωγή.