Planung der Skalierbarkeit und des Laufzeitverhaltens

Skalieren Sie Ihren FME Flow, um den Job-Durchsatz zu erhöhen und das Job-Laufzeitverhalten zu optimieren.

Um die Fähigkeit von FME Flow zur gleichzeitigen Ausführung von Jobs zu erhöhen, sollten Sie einen der folgenden Ansätze berücksichtigen:

Sie können FME Flow skalieren, um ein höheres Job-Volumen zu unterstützen, indem Sie FME Engines auf demselben Computer hinzufügen, auf dem sich der FME Flow Core befindet. Ein einziger aktiver Core reicht aus, um die Verarbeitungskapazität zu skalieren. Der FME Flow Core enthält einen Software Load Balancer, der Jobs an die FME Engines verteilt. Jede FME Engine kann jeweils einen Job verarbeiten. Wenn Sie zehn Engines haben, können Sie zehn Jobs gleichzeitig ausführen. Wenn Sie viele gleichzeitige Job-Anfragen haben und sich die Aufträge ständig in der Warteschlange befinden, können Sie dem Core-Rechner Engines hinzufügen.

Hinweis  Das Hinzufügen von Engines zu derselben Maschine reduziert nicht die Ausführungszeit einer einzelnen Umsetzung. Diese Zeit hängt von der zugrunde liegenden Hardware und dem Design des Workspaces ab. Komplexe Workspaces und die Verarbeitung von großen Datenmengen erfordern mehr Zeit für die Ausführung.

Mehrere Engines auf demselben Computer zu haben, hilft auch bei Job-Wiederherstellung.

Wenn vorhandene FME Engines alle Systemressourcen zur Verarbeitung von Jobs verwenden, können Sie FME Engines auf einem separaten Computer hinzufügen. Auf diese Weise können Sie die Systemressourcen mehrerer Maschinen nutzen, wodurch zusätzliche gleichzeitige Jobs ausgeführt werden können.

Eine fehlertolerante Architektur ermöglicht mehrere eigenständige FME Flow-Installationen. Neben der Bereitstellung von Fehlertoleranz ermöglicht diese Konfiguration die Verteilung von Jobs zwischen FME Flown über einen Lastverteiler eines Drittanbieters.

Hinzufügen von FME Engines auf einem separaten Computer bietet Flexibilität für die Ausführung von Jobs in unmittelbarer physischer Nähe zu den Daten, die sie lesen und schreiben. Dieser Ansatz kann innerhalb eines Netzwerks oder über geografisch verteilte Netzwerke verwendet werden.

Hinweis  Die Verteilung von FME Engines in geografisch verteilten Netzwerken erfordert, dass das Netzwerk, das FME-Komponenten verbindet, schnell und zuverlässig ist. Insbesondere lesen die FME Engines Daten und Konfigurationsdateien aus dem FME Flow System Share-Verzeichnis. Das Netzwerk kann nicht gelegentlich angeschlossen werden, sondern muss immer verbunden sein.

Um sicherzustellen, dass jeder Job von der vorgesehenen Engine ausgeführt wird, müssen Sie diesen Ansatz in Kombination mit Warteschlangensteuerung verwenden.

Angenommen wird ein Netzwerk mit zwei Datenquellen - eine in einer nördlichen Region und eine andere in einer südlichen Region. Um Jobs effizient auszuführen, ist es sinnvoll, FME Engines in beiden Regionen einzusetzen. Jobs, die in der Warteschlange north ausgeführt werden, greifen auf Daten im nördlichen Datenspeicher zu. Diese Jobs werden an FME Engines in der nördlichen Region weitergeleitet. Jobs, die in der Warteschlange south ausgeführt werden, greifen dementsprechend auf Daten im südlichen Datenspeicher zu. Diese Jobs werden an FME Engines in der südlichen Region weitergeleitet.

Um die Verarbeitung von Jobs genauer steuern zu können, sollten Sie die folgenden Ansätze berücksichtigen:

Warteschlangensteuerung verwalten oder verteilen die Arbeitslast von Engines, auf denen Workspaces ausgeführt werden. In einer verteilten Umgebung möchten Sie möglicherweise kleine Jobs für bestimmte Engines und größere Jobs für andere Engines ausführen.

Oder Sie verfügen über eine Mischung von Betriebssystem-Plattformen, auf denen bestimmte FME-Formate ausgeführt werden können oder nicht. Betrachten Sie beispielsweise FME Flow unter einem Linux-Betriebssystem. Linux kann einige Formate nicht ausführen, die von Ihrem Unternehmen möglicherweise benötigt werden. Daher muss gegebenenfalls ein Windows-Betriebssystem mit einer zusätzlichen FME Flow Engine konfiguriert werden.

Warteschlangen werden auch beim Hinzufügen von FME Engines auf einem separaten Computer verwendet, um Jobs an Engines weiterzuleiten, die sich in unmittelbarer Nähe der Daten befinden, die sie lesen und schreiben.

Sie können Engines so einstellen, dass bestimmte Jobs basierend auf der Warteschlange der Umsetzungsanforderung verarbeitet werden.

Mit FME Flow können Sie die Job-Priorität mithilfe einer Priorität-Direktive innerhalb einer Warteschlange festlegen. Jobs in Warteschlangen mit höherer Priorität können vor Jobs in Warteschlangen mit niedrigerer Priorität ausgeführt werden.