Загрузка данных Cloud Data Fusion
Cloud Data Fusion
Stamps
Initial conditions
Categories:
Google Cloud
В этом примере Cloud Data Fusion будет считывать данные из сегмента хранилища.
В консоли облачной оболочки выполн/p>
CODE...
Примечание. Созданное имя корзины — это идентификатор вашего проекта.
Эти команды используются для создания Cloud Storage ведра, присвоения переменной для проекта Google Cloud и копирования файла в ведро. Давайте рассмотрим каждую команду более подробно:
-
export BUCKET=$GOOGLE_CLOUD_PROJECT
:- Эта команда создает переменную окружения
BUCKET
и устанавливает ее равной значению переменной окруженияGOOGLE_CLOUD_PROJECT
. ОбычноGOOGLE_CLOUD_PROJECT
содержит идентификатор проекта Google Cloud.
- Эта команда создает переменную окружения
-
gcloud storage buckets create gs://$BUCKET
:- Эта команда использует утилиту командной строки
gcloud
для создания нового ведра (бакета) в Cloud Storage. Вместо указания имени ведра напрямую, используется переменнаяBUCKET
, которая была определена на предыдущем шаге. Создание ведра предоставляет место для хранения файлов в облачном хранилище.
- Эта команда использует утилиту командной строки
-
gcloud storage cp gs://cloud-training/OCBL017/ny-taxi-2018-sample.csv gs://$BUCKET
:- Эта команда использует
gcloud
для копирования файлаny-taxi-2018-sample.csv
из общедоступного ведраgs://cloud-training/OCBL017/
в ведро, которое было создано на предыдущем шаге. Таким образом, файлny-taxi-2018-sample.csv
теперь копируется в ведро, которое находится в текущем проекте Google Cloud.
- Эта команда использует
Эти команды удобны для начала работы с хранилищем Cloud Storage в рамках проекта Google Cloud и копирования файлов в облако для дальнейшего использования в различных сервисах и приложениях.
...В командной строке выполните следующую команду, чтобы создать корзину для элементов временного хранилища, к/p>
CODE...
Примечание. Имя созданного сегмента — это идентификатор вашего проекта, за которым следует «-temp».
Команда gcloud storage buckets create gs://$BUCKET-temp
используется для создания еще одного Cloud Storage ведра, но на этот раз ведро будет иметь название $BUCKET-temp
. Давайте разберем, что происходит:
-
gcloud storage buckets create
: Эта часть команды использует утилиту командной строкиgcloud
для создания нового ведра в Cloud Storage. -
gs://$BUCKET-temp
: Это указывает на полное имя нового ведра. Здесь$BUCKET-temp
используется в качестве имени ведра. Обычно$BUCKET
представляет идентификатор проекта, так что создание ведра с именем$BUCKET-temp
создаст ведро с уникальным именем, содержащим значение переменной$BUCKET
и "-temp".
Таким образом, эта команда создает новое ведро с именем $BUCKET-temp
в Cloud Storage. После выполнения этой команды вы будете иметь два ведра в Cloud Storage: одно с именем $BUCKET
и другое с именем $BUCKET-temp
.
Нажмите ссылку «Просмотреть экземпляр» на странице экземпляров Data Fusion или странице сведений об экземпляре.
...Wrangler — это интерактивный визуальный инструмент, который позволяет вам видеть эффекты преобразований на неб
...Выберите ny-taxi-2018-sample.csv . Данные загружаются на экран Wrangler в форме строки/столбца.
В окне «Параметры синтаксического анализа» установите «Использовать первую строку как заголовок» как True.
...