SAP BDC Connect für Databricks leicht gemacht

SAP BDC Connect verbindet SAP Business Data Cloud und S/4HANA Quellsysteme direkt mit Ihrer bestehenden Databricks-Umgebung, und zwar ohne dass Daten physisch kopiert werden müssen. SAP BDC Connect macht SAP-Daten direkt in Databricks nutzbar und schafft so eine schnelle, kosteneffiziente und durchgängig gesteuerte Grundlage für ML und KI. In diesem Beitrag führe ich Sie Schritt für Schritt durch die Einrichtung von SAP BDC Connect für Databricks.

Nachfolgend finden Sie eine Übersicht der notwendigen Schritte:

• Voraussetzungen
• Databricks Connection Identifier erhalten
• BDC Connect Provision
• Verbindung in Databricks abschließen
• BDC Connect zur Formation hinzufügen
• Datenprodukt teilen
• Datenprodukt in den Databricks Katalog aufnehmen
• Mit Databricks Assets verknüpfen
• In Power BI anzeigen

Voraussetzungen

Stellen Sie sicher, dass Ihr Benutzer alle benötigten Berechtigungen hat. Führen Sie die Folgende SQL Query aus. Ersetzen Sie dabei die Email durch Ihre eigene.

GRANT CREATE PROVIDER ON METASTORE TO `denis.reis@email.ch`;
GRANT CREATE RECIPIENT ON METASTORE TO `denis.reis@email.ch`;
GRANT USE RECIPIENT ON METASTORE TO `denis.reis@email.ch`;
GRANT USE PROVIDER ON METASTORE TO `denis.reis@email.ch`;
GRANT CREATE CATALOG ON METASTORE TO `denis.reis@email.ch`;

Darüber hinaus sollte ihr Workspace Unity Catalog und OpenSharing unterstützen. Was wohl bei meisten standardmäßig der Fall ist. Weitere Voraussetzungen können Sie unter Databricks Doku und SAP Hilfe nachlesen. Ich hatte vielmehr mit Berechtigungen zu kämpfen.

Databricks Connection Identifier erhalten

Wählen Sie zunächst in Databricks den Eintrag Data Ingestion im Menü aus.

Suchen Sie anschließend nach SAP Business Data Cloud und wählen Sie die entsprechende Kachel aus.

Klicken Sie auf Connection Identifier und speichern Sie diesen ab. Wir werden diesen im nächsten Schritt brauchen.

BDC Connect Provision

Nun müssen wir über SAP for Me eine BDC Connect Instanz bereitstellen. Folgen Sie dem Menüpfad Portfolio & Products → My Products & Packages und Wählen Sie Business Data Cloud aus.

Wählen Sie anschließend Applications aus und klicken Sie bei SAP BDC Connect auf Start Provisioning.

Vergeben Sie einen Namen und weisen Sie einen Pfad zu.

Weisen Sie anschließend Capacity Units zu.

Kopieren Sie im nächsten Schritt den Databricks Connection Idenfier rein und wählen Sie die Region von SAP BDC aus (nicht von Databricks).

Überprüfen Sie anschließend die Einstellungen und klicken Sie auf Finish.

Nun wird die Verbindung eingerichtet. Clicken Sie auf Open Tenant notification und kopieren Sie die dargestellte URL.

Verbindung in Databricks abschließen

Wechseln Sie nun zurück zu Databricks und klicken Sie auf Connect to SAP BDC.

Fügen Sie die zuvor kopierte URL ein und klicken Sie auf Connect.

Anschließend wird eine Erfolgsmeldung angezeigt.

BDC Connect zur Formation hinzufügen

Wechseln Sie nun zurück zu SAP for Me und folgen Sie dem Menüpfad Customer Landscape – Formations – Include Systems.

Wählen Sie das zuvor angelegte SAP BDC Connect System aus.

Klicken Sie anschließend auf Include.

Synchronisieren Sie die Formation neu.

Datenprodukt teilen

Öffnen Sie nun SAP BDC Cockpit, wählen Sie Catalog & Marketplace Menüeintrag aus und suchen Sie nach dem Datenprodukt Ihrer Wahl. Klicken Sie anschließend auf das Teilen Symbol. Das Datenprodukt muss davor über das Menü Intelligent Content and Data Packages installiert werden.

Klicken Sie auf den Add Target Button.

Wählen Sie BDC Connect als das Zielsystem aus.

Klicken Sie anschließend auf Share.

Nun ändert sich der Status auf Share in progress.

Anschließend kann das Datenprodukt in Databricks genutzt werden.

Der Status des Datenprodukts ändert sich auf Shared.

Datenprodukt in den Databricks Katalog aufnehmen

Nun müssen Sie das Datenprodukt in den Databricks Katalog aufnehmen.

Gehen Sie zu Catalog und Settings → OpenSharing.

Wählen Sie den BDC Connect Provider aus.

Klicken Sie nun auf Mount to catalog Schaltfläche.

Wählen Sie den bestehenden Katalog aus oder legen Sie ein neues an.

Nun wird das Datenprodukt im Katalog veröffentlicht.

Unter Shares received können Sie es ganz normal auswählen.

Sie können die Tabelle auswählen und Daten anzeigen.

Mit Databricks Assets verknüpfen

Nun können Sie die SAP Daten für das Machine Learning in Databricks verwenden. In unserem Beispiel legen wir eine neue Tabelle an und füllen diese mit einem Gesundheitsindikator pro Buchungskreis.

Anschließend verknüpfen wir die geteilte Tabelle mit der Databricks Tabelle über einen Join. Um die Performance zu verbessern, materialisieren wir diesen.

CREATE MATERIALIZED VIEW playground.default.company_cashflow_health
SCHEDULE EVERY 1 HOUR
AS
SELECT 
    c.CompanyCode,
    h.FinancialHealth,
    SUM(c.AmountInGlobalCurrency) AS TotalAmountInGlobalCurrency,
    COUNT(c.CashFlowID) AS NumberOfTransactions
FROM cashflow_bdc.cashflow.cashflow c
LEFT JOIN playground.default.company_code_health_indicator h
    ON c.CompanyCode = h.CompanyCode
GROUP BY c.CompanyCode, h.FinancialHealth

In Power BI anzeigen

Nun können Sie das Ergebnis in Power BI anzeigen lassen.