logo
logo
Server-Umzug, mein Tagebuch - Seite 2 - Mac-TV.de
Zurück   Mac-TV.de > Rund um Mac-TV.de > TV-Talk
Registrieren Hilfe Suchen Heutige Beiträge Alle Foren als gelesen markieren

Antwort
 
Themen-Optionen Thema durchsuchen
  #11  
Alt 09.12.2019, 18:18
QWallyTy QWallyTy ist offline
Erfahrener Benutzer
 
Registriert seit: 05.01.2008
Ort: tiefstes Sauerland
Beiträge: 17.983
QWallyTy eine Nachricht über AIM schicken
Moin,

habe ich nicht irgendwas läuten hören das Docker arge finanzielle Probleme hat oder galt das nur für bestimmte Systeme?

Wäre ja nicht so praktisch auf einem nagelneuen Server etwas einzurichten dass dann in Kürze nicht mehr supported wird.
__________________
QWallyTy
Mac mini 2018 / iPhone 11 / iPad Pro 2018 / AW 4 LTE / diverse Sonüsse
Mit Zitat antworten
  #12  
Alt 23.12.2019, 21:30
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Einige Tage habe ich nichts gepostet, aber das bedeutet selbstverständlich nur, dass ich ganz besonders fleißig war.

Heute ist sogar mein Bürostuhl unter mir zusammengebrochen — ein weiterer Beweis für meinen Fleiß.

Eigentlich habe ich jahrelang darauf gewartet, denn richtig bequem war der Stuhl nicht. Aber ich werfe ja nichts weg.

Das neue Exemplar wurde ausgiebig im Laden getestet und für gut befunden. Die Weihnachtstage können also am Schreibtisch verbracht werden.
Mit Zitat antworten
  #13  
Alt 23.12.2019, 21:46
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Heute konnte ich einen wichtigen Meilenstein abhaken, an dem ich die letzten paar Wochen gearbeitet habe. Das Filmarchiv ist nun so umprogrammiert, dass es ohne interne Festplatte auskommt. Wie man sich denken kann, spielt das an sehr vielen Stellen des Website-Codes eine wichtige Rolle.

Der neue Server wird keinen Platz für Videos haben, da er nur einen pfeilschnellen (aber kleinen) SSD-Speicher haben wird. Alle Video-Daten sind dann auf externen Servern, die in Gruppen aufgeteilt sind.

Beispielsweise würde eine bestimmte Sendung in Gruppe 2 gespeichert werden. Gruppe 2 könnte aus drei oder vier Servern bestehen, die jeweils ein paar Festplatten haben. Die Aufgabe besteht dann darin, herauszufinden, wo sich eine Sendung befindet. Im Prinzip ist es nicht schwierig, aber es muss an vielen Stellen berücksichtigt werden. Machmal möchte man einfach die Dateigröße wissen, auch das kann man nicht einfach abfragen, sondern es braucht dazu ein eigenes kleines Progrämmchen.

Ein besonders großer und kniffliger Bereich ist der Upload der Videos. Das ist komplexer, als man es sich vorstellt. Bei großen Uploads kann viel schief gehen, und man muss alle Fehler abfangen.

Nach einem erfolgreichen Upload geht es aber erst los: Ein neuer Film muss eine Servergruppe mit genügend Speicherplatz zugewiesen bekommen; dies muss in verschiedenen Datenbanken notiert werden. Es folgen interne Transfers auf weitere Server (fürs Loadbalancing).

Am Ende muss genau geprüft werden, ob alle Speicherstellen die erwarteten Dateigrößen aufweisen, und ob alle Bildgrößen vorhanden sind. Dann kann die Sendung veröffentlicht werden.

Es folgt dann noch der automatische Upload zu Youtube, was natürlich nicht gerade einfacher wird, wenn man nicht auf eine interne Festplatte zugreifen kann.

Der ganze Wahnsinn wird übrigens angestoßen durch ein AppleScript, welches nachts nach der Live-Ausstrahlung die Videos von Final Cut übernimmt.

Geändert von Jörn (24.12.2019 um 01:57 Uhr).
Mit Zitat antworten
  #14  
Alt 23.12.2019, 21:55
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Ein Ergebnis dieses neuen Uploads ist, dass die RePlay-Sendung (direkt nach der Live-Ausstrahlung) noch schneller online sein wird.

Denn wir konnten die Dateien nur recht langsam auf den Xserve transferieren, weil dieser sonst in eine Art Schockstarre geriet, bei dem die Festplatte nur noch gerasselt hat.

Als der Xserve noch neu war, hat niemand mit Upload-Geschwindigkeiten von 40 Mbit/s gerechnet. Vor allem das Beschreiben der Festplatte ist dabei kritisch; Lesen geht schneller.

Auch der Weitertransport vom Xserve auf die weiteren Server war nur sehr langsam möglich.

Mit der neuen Programmierung geht der Upload bis zu 60 mal (!) so schnell. Ich bin mal gespannt, was das dann unter "realen Bedingungen" ausmacht. Eine Stunde können wir sicher rausholen. Das juckt zwar niemanden, aber interessant ist es trotzdem.
Mit Zitat antworten
  #15  
Alt 23.12.2019, 22:03
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Bei dieser Gelegenheit möchte ich gerne Apples seltsame Alleingänge feiern.

Einer dieser seltsamen Alleingänge war Firewire. Unser Xserve ist in dem Rechenzentrum buchstäblich der einzige Server mit Firewire. Es gilt nicht als professionell.

Aber mit Firewire konnte man einfach eine Festplatte anschließen, und daran eine weitere, und daran erneut eine weitere. Das war sehr kostengünstig. Man brauchte kein teures RAID-System, sondern der Speicher wuchs einfach so, wie man ihn brauchte. Für uns arme Schlucker, die aber leider riesige Datenmengen zu verwalten haben, war das ein Segen.

Es ist ein Jammer, dass unsere neuen Server diese Möglichkeit nicht mehr haben.

Es ist wie mit Thunderbolt: Apple macht einfach nicht genügend Reklame dafür, wie toll die fortschrittlichen Technologien in den Macs sind. Die Leute zucken mit den Schultern, wenn sie "Thunderbolt" hören, so wie sie bei "Firewire" mit den Schultern gezuckt haben.

Ich habe jedenfalls sehr davon profitiert.
Mit Zitat antworten
  #16  
Alt 23.12.2019, 22:09
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Wo steht also der Umzug?

Da die Webseite jetzt nicht mehr auf irgendwelche Festplatten angewiesen ist, die nach dem Umzug nicht mehr vorhanden sein werden, ist nun der Weg frei, umzuziehen.

Der nächste Schritt ist also, den neuen Server einzurichten. Davon war bereits in den früheren Postings die Rede, aber ich habe dann erstmal die Umprogrammierung des Codes vorgezogen.
Mit Zitat antworten
  #17  
Alt 25.12.2019, 09:57
QWallyTy QWallyTy ist offline
Erfahrener Benutzer
 
Registriert seit: 05.01.2008
Ort: tiefstes Sauerland
Beiträge: 17.983
QWallyTy eine Nachricht über AIM schicken
Moin und Frohe Weihnachten,

Sollte in Serverumgebungen iSCSI nicht ähnlich gut tun wie FW? Ist halt nur die Frage ob jede 0815 Platte mit Ethernet iSCSI sprechen kann - wobei ich im Rack wenn einmal Geld vorhanden ist eh eine der großen Drobos oder was vergleichbares reingeschraubt hätte da kann man dann nach Belieben WD Reds oder Seagate Iron Wolfs von der Stange nach Belieben ein und aus stecken wie man lustig ist und es grade benötigt.
__________________
QWallyTy
Mac mini 2018 / iPhone 11 / iPad Pro 2018 / AW 4 LTE / diverse Sonüsse
Mit Zitat antworten
  #18  
Alt 25.12.2019, 10:52
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Ja. Aber jeder Höhen-Zentimeter kostet im Rechenzentrum Geld. Deswegen sind flache, kleine Geräte vorzuziehen.

Bei unserem Xserve haben wir die externen Festplatten einfach hinter das Gerät gelegt, weil dort noch etwas Platz war. Die Höhe blieb daher gleich. Wir hatten daher keinerlei Kosten, außer gelegentlich den Kauf einer neuen Festplatte. Effizienter kann es nicht sein.

Ich finde das deshalb bemerkenswert, weil immer darauf hingewiesen wird, wie teuer Apple ist. Das mag auch sein. Aber manchmal hat man auch Vorteile.

Unser Xserve stammt aus dem Jahr 2006/7. Das war eine ganz andere Welt als heute. Damals hatten Server-Festplatten (jene, die besonders lange und zuverlässig laufen können) noch recht kleine Kapazitäten, und sie waren teuer. Video-Archive mit einigen TeraByte waren damals ungewöhnlich.

RAID-Systeme hätten wir uns schlicht nicht leisten können, die waren damals utopisch teuer. Aber mit FireWire bekamen wir es quasi kostenlos. Eine neue Festplatte musste einfach an eine der vorhandenen Festplatten angestöpselt werden, fertig.
Mit Zitat antworten
  #19  
Alt 25.12.2019, 11:02
QWallyTy QWallyTy ist offline
Erfahrener Benutzer
 
Registriert seit: 05.01.2008
Ort: tiefstes Sauerland
Beiträge: 17.983
QWallyTy eine Nachricht über AIM schicken
Gutes Argument mit den HEs - allerdings hat Apple FW auch nie wirklich ernsthaft weiterentwickelt (scheiss Stecker bei FW800, …).

Da TB3 zumindest bei der Hardware auf Standard USB-C Stecker setzt könnte das diesmal vielleicht etwas besser klappen.

In meinem Umfeld kennen aber die wenigsten USB-C oder gar TB3 und wenn sie USB-C kennen kommt so was wie "das sind doch diese neuen Samsung Stecker?"

Kommt denn TB3 im Pro Bereich an? Oder setzt man da mittlerweile auf andere Techniken und vor allem auf Pro Stecker (was USB-C ja auch nicht wirklich sind).
__________________
QWallyTy
Mac mini 2018 / iPhone 11 / iPad Pro 2018 / AW 4 LTE / diverse Sonüsse
Mit Zitat antworten
  #20  
Alt 25.12.2019, 11:07
Jörn Jörn ist offline
Administrator
 
Registriert seit: 05.01.2008
Beiträge: 8.734
Heute habe ich eine schwierige Aufgabe vor mir. Es ist ein Bäumchen-Wechsle-Dich-Spiel mit ein paar Servern im laufenden Betrieb.

Der Server, auf dem letztlich alles landen soll, müsste platt gemacht und neu installiert werden. Allerdings laufen dort bereits einige Dinge, die ich nicht einfach löschen oder stoppen kann.

Deswegen muss dieser Server (S0) zunächst umziehen auf einen anderen Server (S1). Dann wird der erste Server (S0) plattgemacht und neu aufgesetzt. Dann werden die früheren Installationen von S1 auf S0 zurück transferiert.

Wenn diese Operation geglückt ist, können die Daten vom Xserve umziehen auf Server S0.

Mal sehen, wie weit ich damit heute komme.
Mit Zitat antworten
Antwort


Themen-Optionen Thema durchsuchen
Thema durchsuchen:

Erweiterte Suche

Forumregeln
Es ist Ihnen nicht erlaubt, neue Themen zu verfassen.
Es ist Ihnen nicht erlaubt, auf Beiträge zu antworten.
Es ist Ihnen nicht erlaubt, Anhänge anzufügen.
Es ist Ihnen nicht erlaubt, Ihre Beiträge zu bearbeiten.

vB Code ist An.
Smileys sind An.
[IMG] Code ist An.
HTML-Code ist Aus.
Gehe zu




Powered by vBulletin® Version 3.6.8 (Deutsch)
Copyright ©2000 - 2020, Jelsoft Enterprises Ltd.