Datenübertragung leicht gemacht!

Wie hochwertig editiertes Foto- und Videomaterial den Weg in die Cloud findet, zeigen wir Euch hier!
Google Cloud News

Die European Pressphoto Agency (epa) ist eine internationale Bildagentur mit Sitz in Frankfurt und wurde 1985 von sieben europäischen nationalen
Nachrichtenagenturen gegründet.

Die Gründungsidee war aus Mangel an Alternativen zu den damals angebotenen britisch/amerikanisch ausgerichteten Bilddiensten entstanden. So vertreibt epa heute weltweit qualitativ hochwertige Pressefotos und -videos für den weltweiten Nachrichtenmarkt und verfügt über ein ständiges Netzwerk von über 130 Bild-und Videojournalisten und eine umfangreiche Liste regelmäßiger Stringer weltweit. Die Foto- und Videoproduktion wird 24/7 von 50 Redakteuren in Bangkok, Frankfurt, Madrid, Kairo und Washington unterstützt. 
Im Jahr 2003 begann die EPA mit dem weltweiten Verkauf ihrer Fotos und verwaltet seitdem ein Fotoarchiv mit knapp 10 Millionen Fotos. 

Täglich versendet epa rund 2.000 Fotos in die ganze Welt. Der Fotoservice umfasst Nachrichtenfotos aus Politik, Sport, Wirtschaft, Finanzen sowie Kunst, Kultur und Unterhaltung. Seit Januar 2020 betreibt epa zudem einen eigenen Videodienst, der international verfügbar ist. 

Die täglich produzierten Bilder werden in der Zentrale in Frankfurt bearbeitet und im Anschluss an die Kunden geliefert. Die Journalist:innen müssen also das entstandene Bildmaterial an die Zentrale nach Frankfurt schicken, während das Videomaterial in Madrid, Bangkok und Bogota editiert wird, und sie müssen außerdem darauf achten, dass sie sowohl pünktlich als auch qualitativ hochwertig versendet werden. 

Um diese Herausforderung möglichst kosteneffizient und dabei funktional umzusetzen, hat sich epa an uns gewandt. 
Thomas Schick, Cloud Platform Developer bei CLOUDPILOTS, hat sich diesem Projektes angenommen.

Alle Fotografen und Filmemacher, die Material an die Zentrale schicken, haben eine grundlegende Sache gemeinsam. Ob in einer hell erleuchteten Stadt wie Tokio, umgeben von sprechenden Maschinen, einer trockenen Steppenlandschaft in der Mitte der Wüste Gobi oder unter den Baumkronen im Amazonas: Ihr Ziel ist es, qualitativ hochwertiges Bildmaterial zeitgerecht an die Zentrale zu schicken. Um das zu schaffen, braucht es selbstverständlich passende technische Mittel. 

 

Background und Herausforderung

Die Videos und Fotografien, die weltweit entstehen, werden dabei verständlicherweise mit unterschiedlicher technischer Ausstattung produziert. Dementsprechend kommt das Bildmaterial auch in ganz unterschiedlichen Formaten zur epa. Ziel war es, hier einen standardisierten Output für die Fotografen zu schaffen, sodass sie schnell, einfach und bequem Videos hochladen können. Zudem sollten die Mitarbeiter:innen, die das Bildmaterial bei epa sichten und bearbeiten, die Möglichkeit haben, das in ein einheitliches Format kodierte Bildmaterial an einer zentralen Stelle in Empfang zu nehmen. 

Es wurde jedoch schnell klar, dass mehr als eine klassische Plattform benötigt wurde, auf der Videomaterial hochgeladen werden konnte. Die neue Plattform erfordert praktische Lösungen für gleich zwei Herausforderungen. Zum einen ist die Internetverbindung im Golf von Thailand nicht so gut wie in Seoul, der Hauptstadt Südkoreas. Andererseits muss eine kostengünstigere Variante her, da gewöhnliche Server durch die permanente und weltweite Aufzeichnung von Daten unerschwingliche Kosten verursachen.

Es wurde schnell versucht, unsere Ideen in machbare Lösungen umzusetzen, hierzu mussten sich die Kollegen von CLOUDPILOTS natürlich auch in das Thema Video reinarbeiten. Das nötige Wissen wurde sich sehr schnell angeeignet, und dadurch wurde eine gut durchdachte Lösung gefunden

Martin Adlerepa

Die Multi-Cloud als Lösung! 

Bei einem so großen Problem ist es keine Selbstverständlichkeit, eine kostengünstige Lösung zu finden, ohne ein bisschen Funktionalität einzubüßen. Thomas Schick, Cloud Platform Developer bei CLOUDPILOTS, sagt: 

 

„Wir haben zunächst verschiedene Ansätze ausprobiert. Die Multi-Cloud-Lösung zwischen Google Cloud und AWS war zu dem Zeitpunkt hinsichtlich Kosten, Effizienz und Funktionalität mit Abstand die erfolgreichste.“ 

 
 

Mit AWS Lambda entschieden wir uns für eine ereignisgesteuerte und serverlose Computerplattform. Der Computerdienst, der auf Amazon Web Service bereitgestellt wird, skaliert horizontal und führt Code nur als Reaktion auf Ereignisse aus. So ein Ereignis ist beispielsweise das Hochladen neuen Videomaterials, worauf unser System dann mit dem Einreihen eines Transkodierungs-Jobs reagiert. Durch ereignisgesteuerte Serverless-Dienste ist die Lösung bestens für variable, schwierig vorhersehbare Auslastung gewappnet. Für das Frontend haben wir uns für die Google App Engine als Lösung entschieden, eine pay-as-you-go Webapplikationsplattform, die ebenfalls horizontal skalieren kann und ein attraktives kostenloses Kontingent bietet. Durch die Kombination der beiden Cloud-Anbieter haben wir die jeweils besten Dienste nutzen können und die Kosten auf ein Minimum reduziert. Gezahlt wird nur, wenn jemand die Applikation aktiv nutzt oder Code ausgeführt wird. 

Als nächstes müssen die Herausforderungen einer schlechten Internetverbindung und unterschiedlicher Medientypen angegangen werden. Für stabilere Uploads weltweit stellt AWS S3 ein globales Reverse-CDN bereit. Auf diese Weise kann ein nahe gelegener AWS-Netzwerkzugriffspunkt überall auf der Welt verwendet werden. Mit der Kombination aus kurzem Übertragungsweg und eines resilienten Übertragungsverfahrens mittels TUS (https://tus.io/), können nun aus der ganzen Welt Beiträge über eine einfache Webservices-Schnittstelle jederzeit und überall im Internet gespeichert und abgerufen werden. 


Ergebnis 

Die Kombination aller genannten Komponenten bildet eine zuverlässige Plattform für die Versorgung von Produktionsunternehmen mit hochwertigen Ausgangsmaterialien. Die Videodateien gelangen zuverlässig nach Madrid, wo sie ohne großen IT-Aufwand weiterverarbeitet und an Nachrichtenorganisationen in aller Welt verteilt werden können. 

Über die Zusammenarbeit mit CLOUDPILOTS sagt Martin Adler, Deputy Director Information Technology und Leiter des Projekts seitens epa:

Die Kommunikation war durch tools wie Google Meet immer perfekt. Die Betreuung durch CLOUDPILOTS, vom Erstkontakt bis zum Projektabschluss, empfinden wir als sehr gut!

Martin Adlerepa