Загрузка данных Cloud Data Fusion
Cloud Data Fusion
Stamps
Initial conditions
Categories:
Google Cloud
В этом примере Cloud Data Fusion будет считывать данные из сегмента хранилища.
В консоли облачной оболочки выполн/p>
CODE...
Примечание. Созданное имя корзины — это идентификатор вашего проекта.
Эти команды используются для создания Cloud Storage ведра, присвоения переменной для проекта Google Cloud и копирования файла в ведро. Давайте рассмотрим каждую команду более подробно:
-
export BUCKET=$GOOGLE_CLOUD_PROJECT:- Эта команда создает переменную окружения
BUCKETи устанавливает ее равной значению переменной окруженияGOOGLE_CLOUD_PROJECT. ОбычноGOOGLE_CLOUD_PROJECTсодержит идентификатор проекта Google Cloud.
- Эта команда создает переменную окружения
-
gcloud storage buckets create gs://$BUCKET:- Эта команда использует утилиту командной строки
gcloudдля создания нового ведра (бакета) в Cloud Storage. Вместо указания имени ведра напрямую, используется переменнаяBUCKET, которая была определена на предыдущем шаге. Создание ведра предоставляет место для хранения файлов в облачном хранилище.
- Эта команда использует утилиту командной строки
-
gcloud storage cp gs://cloud-training/OCBL017/ny-taxi-2018-sample.csv gs://$BUCKET:- Эта команда использует
gcloudдля копирования файлаny-taxi-2018-sample.csvиз общедоступного ведраgs://cloud-training/OCBL017/в ведро, которое было создано на предыдущем шаге. Таким образом, файлny-taxi-2018-sample.csvтеперь копируется в ведро, которое находится в текущем проекте Google Cloud.
- Эта команда использует
Эти команды удобны для начала работы с хранилищем Cloud Storage в рамках проекта Google Cloud и копирования файлов в облако для дальнейшего использования в различных сервисах и приложениях.
...В командной строке выполните следующую команду, чтобы создать корзину для элементов временного хранилища, к/p>
CODE...
Примечание. Имя созданного сегмента — это идентификатор вашего проекта, за которым следует «-temp».
Команда gcloud storage buckets create gs://$BUCKET-temp используется для создания еще одного Cloud Storage ведра, но на этот раз ведро будет иметь название $BUCKET-temp. Давайте разберем, что происходит:
-
gcloud storage buckets create: Эта часть команды использует утилиту командной строкиgcloudдля создания нового ведра в Cloud Storage. -
gs://$BUCKET-temp: Это указывает на полное имя нового ведра. Здесь$BUCKET-tempиспользуется в качестве имени ведра. Обычно$BUCKETпредставляет идентификатор проекта, так что создание ведра с именем$BUCKET-tempсоздаст ведро с уникальным именем, содержащим значение переменной$BUCKETи "-temp".
Таким образом, эта команда создает новое ведро с именем $BUCKET-temp в Cloud Storage. После выполнения этой команды вы будете иметь два ведра в Cloud Storage: одно с именем $BUCKET и другое с именем $BUCKET-temp.
Нажмите ссылку «Просмотреть экземпляр» на странице экземпляров Data Fusion или странице сведений об экземпляре.
...Wrangler — это интерактивный визуальный инструмент, который позволяет вам видеть эффекты преобразований на неб
...Выберите ny-taxi-2018-sample.csv . Данные загружаются на экран Wrangler в форме строки/столбца.
В окне «Параметры синтаксического анализа» установите «Использовать первую строку как заголовок» как True.
...