Datenquelle vorbereiten

Bevor Sie Funktionen mit Vertex AI Feature Store online bereitstellen können, müssen Sie die Feature-Datenquelle in BigQuery folgendermaßen einrichten:

  1. Erstellen Sie eine BigQuery-Tabelle oder -Ansicht mit Ihren Feature-Daten. Um Feature-Daten in eine BigQuery-Tabelle oder -Ansicht zu laden, können Sie ein BigQuery-Dataset mit den Daten erstellen, eine BigQuery-Dataset erstellen und dann die Feature-Daten aus dem Dataset in die Tabelle laden.

  2. Nachdem Sie die Feature-Daten in die BigQuery-Tabelle oder -Ansicht geladen haben, müssen Sie Vertex AI Feature Store diese Datenquelle für die Onlinebereitstellung zur Verfügung stellen. Es gibt zwei Möglichkeiten, die Datenquelle mit Onlinebereitstellungsressourcen zu verbinden, z. B. Onlinespeicher und Featureansicht-Instanzen:

    • Registrieren Sie die Datenquelle durch Erstellen von Feature-Gruppen und Features: Sie können Feature-Gruppen und Features mit Featureansicht-Instanzen in Ihrem Onlinespeicher verknüpfen. In diesem Szenario können Sie Ihre Daten als Zeitreihe formatieren, indem Sie die Spalte feature_timestamp einschließen. Vertex AI Feature Store stellt nur die neuesten Nicht-Null-Werte für jede eindeutige Entitäts-ID basierend auf dem Feature-Zeitstempel bereit. Weitere Informationen zum Erstellen von Featuregruppen finden Sie unter Eine Featuregruppe erstellen. Informationen zum Erstellen von Features innerhalb einer Featuregruppe finden Sie unter Funktion erstellen.

    • Features direkt aus der Datenquelle bereitstellen, ohne Feature-Gruppen und Features zu erstellen: Sie können den URI der Datenquelle in der Feature-Ansicht angeben. Beachten Sie, dass Sie die Daten in diesem Szenario nicht als Zeitreihe formatieren oder Verlaufsdaten in die BigQuery-Quelle aufnehmen können. Jede Zeile muss die neuesten Featurewerte, die einer eindeutigen ID entsprechen, enthalten. Mehrmaliges Vorkommen derselben Entitäts-ID in verschiedenen Zeilen wird nicht unterstützt.

Da Sie mit Vertex AI Feature Store Feature-Daten in BigQuery verwalten können und Features aus der BigQuery-Datenquelle bereitgestellt werden können, müssen die Features nicht in einen Offlinespeicher importiert oder kopiert werden.

Richtlinien für die Vorbereitung von Datenquellen

Befolgen Sie diese Richtlinien, um das Schema und die Einschränkungen bei der Vorbereitung der Datenquelle in BigQuery zu verstehen:

  1. Die Datenquelle muss die folgenden Spalten enthalten:

    • Mindestens eine Entitäts-ID-Spalte mit string-Werten. Die Größe jedes Werts in dieser Spalte muss kleiner als 4 KB sein.

    • Wenn Sie die Datenquelle mit Featuregruppen und Features registrieren, fügen Sie die Spalte feature_timestamp hinzu und formatieren Sie die Daten als Zeitreihe. Die Spalte feature_timestamp enthält Werte vom Typ timestamp. Während der Onlinebereitstellung stellt Vertex AI Feature Store die neuesten Nicht-Nullwerte eines Features basierend auf diesem Zeitstempel bereit.

    Wenn Sie eine BigQuery-Datenquelle direkt mit einer Feature-Ansicht verknüpfen, ist die Spalte „feature_timestamp“ nicht erforderlich. In diesem Szenario müssen Sie nur die neuesten Featurewerte in der Datenquelle aufnehmen und Vertex AI Feature Store ruft den Zeitstempel nicht ab.

    • Wenn Sie die Verwaltung von Einbettungen in einem Onlinespeicher verwenden möchten, der für eine optimierte Onlinebereitstellung erstellt wurde, muss die Datenquelle die folgenden Spalten enthalten:

      • Eine embedding-Spalte mit Arrays vom Typ float.

      • Optional: Eine oder mehrere Filterspalten vom Typ string oder string-Array.

      • Optional: Eine Crowding-Spalte vom Typ int.

  2. Jede Zeile in der Datenquelle enthält einen vollständigen Datensatz der Feature-Werte, die mit einer Entitäts-ID verknüpft sind. Wenn in einer der Spalten ein Featurewert fehlt, wird er als Nullwert betrachtet. Je nachdem, wie Sie die Feature-Ansicht definieren, gibt es zwei Möglichkeiten, wie Vertex AI Feature Store die bereitgestellten Featurewerte wählt:

    • Wenn die Feature-Ansicht basierend auf Featuregruppen und Features definiert ist, stellt Vertex AI Feature Store den neuesten Nicht-Null-Featurewertunter Verwendung des Feature-Zeitstempels bereit. Wenn beispielsweise der Wert eines bestimmten Features für den neuesten Zeitstempel null ist, stellt Vertex AI Feature Store den neuesten Nicht-Nullwert aus den bisherigen Werten des Features bereit.

    • Wenn die Featureansicht durch direkte Angabe einer BigQuery-Datenquelle definiert wird, muss jede Zeile einen eindeutigen Wert für eine Entitäts-ID-Spalte enthalten. In diesem Fall stellt Vertex AI Feature Store alle Featurewerte aus der verknüpften Datenquelle bereit.

  3. Jede Spalte der BigQuery-Tabelle oder -Ansicht stellt ein Feature dar. Geben Sie die Werte für jedes Feature in einer separaten Spalte an. Wenn Sie die Datenquelle mit einer Featuregruppe und Features verknüpfen, verknüpfen Sie jede Spalte mit einem separaten Feature.

  4. Zu den unterstützten Datentypen für die Featurewerte gehören bool, int, float, string, timestamp, Arrays dieser Datentypen und Byte. Beachten Sie, dass während der Datensynchronisierung Featurewerte vom Typ timestamp in int64 konvertiert werden.

  5. Die Datenquelle muss sich in derselben Region wie die Online-Instanz oder in einer Multi-Region befinden, die die Region für den Onlinespeicher enthält oder sich damit überschneidet. Wenn sich der Onlinespeicher beispielsweise in us-central befindet, kann sich die BigQuery-Quelle in us-central oder US befinden.

  6. Synchronisieren Sie die Daten in einer Feature-Ansicht, vor der Onlinebereitstellung, um sicherzustellen, dass Sie nur die neuesten Featurewerte bereitstellen.

Nächste Schritte