Back

Загрузка данных Cloud Data Fusion

Cloud Data Fusion

Stamps

Initial conditions

Categories:

Google Cloud


В этом примере Cloud Data Fusion будет считывать данные из сегмента хранилища.

В консоли облачной оболочки выполн/p>

CODE...

Примечание. Созданное имя корзины — это идентификатор вашего проекта.
 

Эти команды используются для создания Cloud Storage ведра, присвоения переменной для проекта Google Cloud и копирования файла в ведро. Давайте рассмотрим каждую команду более подробно:

  1. export BUCKET=$GOOGLE_CLOUD_PROJECT:

    • Эта команда создает переменную окружения BUCKET и устанавливает ее равной значению переменной окружения GOOGLE_CLOUD_PROJECT. Обычно GOOGLE_CLOUD_PROJECT содержит идентификатор проекта Google Cloud.
  2. gcloud storage buckets create gs://$BUCKET:

    • Эта команда использует утилиту командной строки gcloud для создания нового ведра (бакета) в Cloud Storage. Вместо указания имени ведра напрямую, используется переменная BUCKET, которая была определена на предыдущем шаге. Создание ведра предоставляет место для хранения файлов в облачном хранилище.
  3. gcloud storage cp gs://cloud-training/OCBL017/ny-taxi-2018-sample.csv gs://$BUCKET:

    • Эта команда использует gcloud для копирования файла ny-taxi-2018-sample.csv из общедоступного ведра gs://cloud-training/OCBL017/ в ведро, которое было создано на предыдущем шаге. Таким образом, файл ny-taxi-2018-sample.csv теперь копируется в ведро, которое находится в текущем проекте Google Cloud.

Эти команды удобны для начала работы с хранилищем Cloud Storage в рамках проекта Google Cloud и копирования файлов в облако для дальнейшего использования в различных сервисах и приложениях.

...
Prog

В командной строке выполните следующую команду, чтобы создать корзину для элементов временного хранилища, к/p>

CODE...

Примечание. Имя созданного сегмента — это идентификатор вашего проекта, за которым следует «-temp».
 

Команда gcloud storage buckets create gs://$BUCKET-temp используется для создания еще одного Cloud Storage ведра, но на этот раз ведро будет иметь название $BUCKET-temp. Давайте разберем, что происходит:

  • gcloud storage buckets create: Эта часть команды использует утилиту командной строки gcloud для создания нового ведра в Cloud Storage.

  • gs://$BUCKET-temp: Это указывает на полное имя нового ведра. Здесь $BUCKET-temp используется в качестве имени ведра. Обычно $BUCKET представляет идентификатор проекта, так что создание ведра с именем $BUCKET-temp создаст ведро с уникальным именем, содержащим значение переменной $BUCKET и "-temp".

Таким образом, эта команда создает новое ведро с именем $BUCKET-temp в Cloud Storage. После выполнения этой команды вы будете иметь два ведра в Cloud Storage: одно с именем $BUCKET и другое с именем $BUCKET-temp.

...
Prog

Нажмите ссылку «Просмотреть экземпляр» на странице экземпляров Data Fusion или странице сведений об экземпляре.

...
Prog

Wrangler — это интерактивный визуальный инструмент, который позволяет вам видеть эффекты преобразований на неб

...
Prog

В разделе GCS выберите Cloud Storage Default .

Prog

Нажмите на ведро, соответствующее названию вашего проекта.

Prog

Выберите ny-taxi-2018-sample.csv . Данные загружаются на экран Wrangler в форме строки/столбца.

Prog

В окне «Параметры синтаксического анализа» установите «Использовать первую строку как заголовок» как True.

...
Prog

Нажмите «Подтвердить» .

Prog

Final conditions:

;

Organize your work