Server-Umzug, mein Tagebuch

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge
  • Jörn
    Administrator
    • 05.01.2008
    • 10231

    Server-Umzug, mein Tagebuch

    Hier werde ich meine täglichen Arbeiten, Siege und Niederlagen notieren, die mich beim Umzug unseres Servers ereilt haben.
  • Jörn
    Administrator
    • 05.01.2008
    • 10231

    #2
    Heute habe ich meinen Schlachtplan aktualisiert, der schon seit einer Weile in meiner Notiz-App schlummert. Dort habe ich die wesentlichen Hürden und Fallstricke aufgeschrieben, die mir derzeit offensichtlich sind. Das soll mir helfen, das "große Ganze" im Blick zu haben und keine Entscheidungen zu treffen, die ich an anderer Stelle bereuen werde.

    Wichtigste Erkenntnis dabei ist, dass nicht nur der Webserver und ein paar Datenbanken umziehen werden, sondern auch zahlreiche andere Dinge, etwa der Dateiserver, Mailserver und die User-Accounts, die den Zugriff auf Dateien ermöglichen und begrenzen. Ich bin ja nicht der einzige User. Vor allem der Mailserver macht mir Sorgen.

    Kommentar

    • Jörn
      Administrator
      • 05.01.2008
      • 10231

      #3
      Dann habe ich die Dateien von Mac-TV und Triathlon-Szene übertragen, insgesamt knapp 100.000 Dateien. Wahnsinn, mit so viel habe ich nicht gerechnet.

      Dabei habe ich über hundert Schulungs-Videos und Bilder gefunden, mit denen die Moderatoren und die Regie die wichtigsten Abläufe lernen sollten. Enorm, was wir da für eine Mühe reingesteckt haben. Hoffentlich melden sich irgendwann neue Moderatoren und Regieleute, die es durch dieses Material dann recht einfach haben werden.

      Kommentar

      • Jörn
        Administrator
        • 05.01.2008
        • 10231

        #4
        Ich habe außerdem entdeckt, dass viele kleinere Programme neu geschrieben werden müssen. Diese Programme organisieren den Upload von Videos oder verteilen die Videos auf verschiedene Festplatten. Beim alten Xserve konnte man ja einen Haufen externer Firewire-Festplatten anschließen, was sehr kostengünstig und performant war. Diese Möglichkeit fällt bei unserem neuen Mietserver weg. Es muss komplett neu organisiert werden. Es gibt ein paar solcher Baustellen. Eine Menge Arbeit.

        Daran kann man sehen, dass es nicht nur ein Umzug von Dateien ist, sondern tatsächlich müssen Programme geschrieben oder geändert werden.
        Zuletzt geändert von Jörn; 07.12.2019, 03:45.

        Kommentar

        • Jörn
          Administrator
          • 05.01.2008
          • 10231

          #5
          Der Upload auf den neuen Server hat gut funktioniert und ist nun abgeschlossen. Ich habe eine Liste von Dateien, die nicht übertragen werden konnten; hauptsächlich Alias-Dateien, die auf bestimmte Orte verweisen. Linux kennt keine Alias-Dateien, dafür aber Symlinks und Hard Links. Das muss ich von Hand zurechtbiegen. Sollte kein Problem sein.

          Außer bei Verweisen auf Videos. Der neue Server soll überhaupt keine Videos speichern, sondern er soll auf einen externen Speicherpool zu greifen, den ich in den letzten paar Jahren programmiert und verfeinert habe. Der Server selbst hat nur kleine SSD-Speicher, dafür ist er aber extrem schnell. Es bedeutet aber, dass dort, wo ich früher einfach ein Alias auf eine externe Festplatte gesetzt habe, ein neues Programm geschrieben werden muss, damit der Server auf die Filme zugreifen kann, die auf ganz anderen Servern gespeichert sind.

          Jetzt mache ich erstmal eine Pause.

          Kommentar

          • Jörn
            Administrator
            • 05.01.2008
            • 10231

            #6
            Nachtrag: Für den Dateitransfer benutze ich "Transmit" der Firma Panic Inc.

            Eigentlich ist es bekannt als FTP-Programm, aber es beherrscht auch alle anderen Protokolle, etwa SFTP. Dadurch ist es ein sehr nützliches Tool, um in Dateisystemen von Linux-Servern herumzustochern. Oder um zwei Server abzugleichen. Eine echte Mac-Software, simpel, aber sehr ordentlich programmiert.

            Das erinnert mich daran, warum ich so lange wie möglich an der Mac-Plattform festhalten wollte. Diese ganze frickelige Linux-Welt ist nützlich, aber verlieben werde ich mich nicht.

            Amen und gute Nacht.

            Kommentar

            • Jörn
              Administrator
              • 05.01.2008
              • 10231

              #7
              Ah, nun ist doch das erste Problemchen aufgetaucht. Die transferierten Dateien verlieren ihr "Modification Date", ihr Änderungsdatum. Das ist aber recht nützlich und ich würde es gerne beibehalten. Dadurch kann ich alte, obsolete Dateien besser erkennen.

              Mal überlegen, wie ich das Änderungsdatum retten könnte... vermutlich muss ich es doch per UNIX/scp-Befehl machen, dort gibt es nach meiner Erinnerung eine Option dafür.

              Probiere zuerst mal FTP, damit scheint es zu gehen...
              Zuletzt geändert von Jörn; 07.12.2019, 07:25.

              Kommentar

              • Jörn
                Administrator
                • 05.01.2008
                • 10231

                #8
                Heute wollte ich die Lasso-Installation durchführen. Lasso ist sowas wie PHP, nur nicht so frickelig. Man programmiert damit Webseiten und Datenbanken.

                Zu meiner Verblüffung habe ich festgestellt, dass die einzige Linux-Version, die damit gut funktioniert, CentOS ist. CentOS ist eine Linux-Version. Andere Versionen werden nicht so gut oder gar nicht unterstützt. Leider habe ich auf dem neuen Server vor einiger Zeit bereits Debian-Linux installiert (und mir auch was dabei gedacht). Außerdem bin ich davon ausgegangen, dass die Linux-Version keine Rolle spielt. Ist ja beim Apache-Webserver oder bei MySQL usw. auch so. Auf die Idee wäre ich gar nicht gekommen. Komisch, komisch...

                Nun müsste ich also den neuen Server nochmal plattmachen und CentOS darauf installieren. Dann wieder alle Dateien hochladen und die Dienste konfigurieren.

                Dummerweise laufen auf dem Server bereits ein paar Dinge, für die unser Xserve zu alt geworden war. Beispielsweise die stark abgesicherte Kommunikation mit unserem Zahlungsdienstleister. Es war sehr knifflig, alles so einzurichten, dass es den hohen Anforderungen dafür genügte. Der Server ist also in Betrieb.

                Ich frage mich, ob ich innerhalb einer Nacht zuverlässig alles platt machen und fehlerfrei wieder einrichten kann, sodass es tagsüber wie gewohnt zur Verfügung steht? Noch dazu mit einem neuen Betriebssystem? Linux-Server sind normalerweise nach der Installation nicht fertig, sondern man beginnt damit, einen Haufen Zusatzmodule zu laden und zu konfigurieren.

                Mit der Stimme von Tim Bendzko: "Ich bin doch keine Maschiiiiine...!"

                Jetzt habe ich erstmal alles eingesammelt, was ich auf dem neuen Server bereits installiert und konfiguriert hatte. Dann Backups davon gemacht und auf andere Server geladen. Dadurch sind diese Dateien schonmal sicher und können für neue Installationen verwendet werden. Hoffentlich habe ich nichts vergessen.

                Jetzt muss ich mir überlegen, ob ich den neuen Server morgen nacht platt mache und alles auf diese Karte setze.

                Kommentar

                • iPodFan94
                  Erfahrener Benutzer
                  • 05.01.2008
                  • 1384

                  #9
                  Man könnte auch einfach LXD auf dem Host installieren und CentOS als Container laufen lassen, oder Docker, falls Du etwas länger Zeit haben solltest.
                  Schau Dir das doch mal an. Gibt hier ein interaktives Tutorial.

                  Kommentar

                  • Micky79
                    Neuer Benutzer
                    • 05.01.2008
                    • 3

                    #10
                    Docker ist in der Tat deine Lösung.

                    Google mal nach Docker und Lasso.
                    Da findest du was. Ich denke das hilft.

                    Docker ist sowieso genial. Wenn man es einmal verstanden hat.

                    Kommentar

                    • QWallyTy
                      Erfahrener Benutzer
                      • 05.01.2008
                      • 18069

                      #11
                      Moin,

                      habe ich nicht irgendwas läuten hören das Docker arge finanzielle Probleme hat oder galt das nur für bestimmte Systeme?

                      Wäre ja nicht so praktisch auf einem nagelneuen Server etwas einzurichten dass dann in Kürze nicht mehr supported wird.
                      QWallyTy
                      Mac mini 2018 / iPhone 11 / iPad Air 4 / AW 6 LTE Nike / diverse Sonüsse

                      Kommentar

                      • Jörn
                        Administrator
                        • 05.01.2008
                        • 10231

                        #12
                        Einige Tage habe ich nichts gepostet, aber das bedeutet selbstverständlich nur, dass ich ganz besonders fleißig war.

                        Heute ist sogar mein Bürostuhl unter mir zusammengebrochen — ein weiterer Beweis für meinen Fleiß.

                        Eigentlich habe ich jahrelang darauf gewartet, denn richtig bequem war der Stuhl nicht. Aber ich werfe ja nichts weg.

                        Das neue Exemplar wurde ausgiebig im Laden getestet und für gut befunden. Die Weihnachtstage können also am Schreibtisch verbracht werden.

                        Kommentar

                        • Jörn
                          Administrator
                          • 05.01.2008
                          • 10231

                          #13
                          Heute konnte ich einen wichtigen Meilenstein abhaken, an dem ich die letzten paar Wochen gearbeitet habe. Das Filmarchiv ist nun so umprogrammiert, dass es ohne interne Festplatte auskommt. Wie man sich denken kann, spielt das an sehr vielen Stellen des Website-Codes eine wichtige Rolle.

                          Der neue Server wird keinen Platz für Videos haben, da er nur einen pfeilschnellen (aber kleinen) SSD-Speicher haben wird. Alle Video-Daten sind dann auf externen Servern, die in Gruppen aufgeteilt sind.

                          Beispielsweise würde eine bestimmte Sendung in Gruppe 2 gespeichert werden. Gruppe 2 könnte aus drei oder vier Servern bestehen, die jeweils ein paar Festplatten haben. Die Aufgabe besteht dann darin, herauszufinden, wo sich eine Sendung befindet. Im Prinzip ist es nicht schwierig, aber es muss an vielen Stellen berücksichtigt werden. Machmal möchte man einfach die Dateigröße wissen, auch das kann man nicht einfach abfragen, sondern es braucht dazu ein eigenes kleines Progrämmchen.

                          Ein besonders großer und kniffliger Bereich ist der Upload der Videos. Das ist komplexer, als man es sich vorstellt. Bei großen Uploads kann viel schief gehen, und man muss alle Fehler abfangen.

                          Nach einem erfolgreichen Upload geht es aber erst los: Ein neuer Film muss eine Servergruppe mit genügend Speicherplatz zugewiesen bekommen; dies muss in verschiedenen Datenbanken notiert werden. Es folgen interne Transfers auf weitere Server (fürs Loadbalancing).

                          Am Ende muss genau geprüft werden, ob alle Speicherstellen die erwarteten Dateigrößen aufweisen, und ob alle Bildgrößen vorhanden sind. Dann kann die Sendung veröffentlicht werden.

                          Es folgt dann noch der automatische Upload zu Youtube, was natürlich nicht gerade einfacher wird, wenn man nicht auf eine interne Festplatte zugreifen kann.

                          Der ganze Wahnsinn wird übrigens angestoßen durch ein AppleScript, welches nachts nach der Live-Ausstrahlung die Videos von Final Cut übernimmt.
                          Zuletzt geändert von Jörn; 24.12.2019, 01:57.

                          Kommentar

                          • Jörn
                            Administrator
                            • 05.01.2008
                            • 10231

                            #14
                            Ein Ergebnis dieses neuen Uploads ist, dass die RePlay-Sendung (direkt nach der Live-Ausstrahlung) noch schneller online sein wird.

                            Denn wir konnten die Dateien nur recht langsam auf den Xserve transferieren, weil dieser sonst in eine Art Schockstarre geriet, bei dem die Festplatte nur noch gerasselt hat.

                            Als der Xserve noch neu war, hat niemand mit Upload-Geschwindigkeiten von 40 Mbit/s gerechnet. Vor allem das Beschreiben der Festplatte ist dabei kritisch; Lesen geht schneller.

                            Auch der Weitertransport vom Xserve auf die weiteren Server war nur sehr langsam möglich.

                            Mit der neuen Programmierung geht der Upload bis zu 60 mal (!) so schnell. Ich bin mal gespannt, was das dann unter "realen Bedingungen" ausmacht. Eine Stunde können wir sicher rausholen. Das juckt zwar niemanden, aber interessant ist es trotzdem.

                            Kommentar

                            • Jörn
                              Administrator
                              • 05.01.2008
                              • 10231

                              #15
                              Bei dieser Gelegenheit möchte ich gerne Apples seltsame Alleingänge feiern.

                              Einer dieser seltsamen Alleingänge war Firewire. Unser Xserve ist in dem Rechenzentrum buchstäblich der einzige Server mit Firewire. Es gilt nicht als professionell.

                              Aber mit Firewire konnte man einfach eine Festplatte anschließen, und daran eine weitere, und daran erneut eine weitere. Das war sehr kostengünstig. Man brauchte kein teures RAID-System, sondern der Speicher wuchs einfach so, wie man ihn brauchte. Für uns arme Schlucker, die aber leider riesige Datenmengen zu verwalten haben, war das ein Segen.

                              Es ist ein Jammer, dass unsere neuen Server diese Möglichkeit nicht mehr haben.

                              Es ist wie mit Thunderbolt: Apple macht einfach nicht genügend Reklame dafür, wie toll die fortschrittlichen Technologien in den Macs sind. Die Leute zucken mit den Schultern, wenn sie "Thunderbolt" hören, so wie sie bei "Firewire" mit den Schultern gezuckt haben.

                              Ich habe jedenfalls sehr davon profitiert.

                              Kommentar

                              Lädt...
                              X