Back

Partitioned Tables in Google BigQuery

Partitione

Stamps

Initial conditions

Categories:

Google Cloud



В Google Cloud Console выберите Меню навигации > BigQuery .

Откроется окно сообщения « Добро пожаловать в BigQuery в Cloud Cons

Нажмите Готово .

...
Prog

Создайте новый набор данных в своем проекте, щелкнув значок «Просмотреть действия» рядом с идентификатором

...
Prog
  1. Установите для идентификатора набора данныхecommerce значение . Для остальных параметров оставьте значени/p>

  2. Нажмите СОЗДАТЬ НАБОР ДАННЫХ .

...
Prog

В редакторе запросов добавьте приведенный ниже запрос. Перед запуском обратите внимание на общий объем дан

CODE...
...
Prog

Аналитика веб-страниц запросов для выборки посетителей в 2018 году

CODE...
...
Prog

Создайте новую секционированную таблицу на основе даты

CODE...
...
Prog

Просмотр данных, обработанных с помощью секционированной таблицы

CODE...

 

...
Prog

Теперь запустите приведенный ниже запрос и запишите общее количество байтов, которые необходимо обработать:

CODE...
...
Prog

Изучите доступные таблицы погодных данных NOAA

  1. На левой панели нажмите + ADD и выберите Public Datasets .

  2. Най/p>

  3. Нажмите «Просмотреть набор данных» .

  4. Прокрутите таблицы в наборе данных noaa_gsod (которые сегментированы вручную, а не секционированы).

  5. Затем скопируйте и вставьте приведенный ниже запрос в редактор запросов :

CODE...

Обратите внимание, что подстановочный знак таблицы * используется в предложении FROM для ограничения количества таблиц, на которые ссылается фильтр TABLE_SUFFIX .

Обратите внимание, что хотя был добавлен LIMIT 10, это все равно не уменьшает общий объем сканируемых данных (около 141,6 МБ), поскольку разделов еще нет.

Нажмите «Выполнить» .

Убедитесь, что дата имеет правильный формат и в поле осадков отображаются ненулевые значения.

 

...
Prog
  • Измените предыдущий запрос, чтобы создать таблицу со следующими спецификациями:

    • Имя таблицы: ecommerce.days
    • Используйте поле даты в качестве PARTITION BY.
    • Для ОПЦИИ укажите раздел_expiration_days = 60.
    • Добавьте описание таблицы = "метеостанции с осадками, разбитые по дням"

Ваш запрос должен выглядеть так:

CODE...

Убедитесь, что срок действия раздела данных работает.

Чтобы убедиться, что вы храните данные только за 60 дней прошлого и до сегодняшнего дня, запустите запрос DATE_DIFF, чтобы получить возраст ваших разделов, срок действия которых истекает через 60 дней.

Ниже приведен запрос, который отслеживает среднее количество осадков на метеостанции NOAA в Вакаяме, Япония , где выпадает значительное количество осадков.

...
Prog
  • Добавьте этот запрос и запустите его:
CODE...

 

...
Prog

Убедитесь, что возраст самого старого раздела_age_age не превышает 60 дней.

Обновите предложение ORDER BY, чтобы сн/p>

  • Добавьте этот запрос и запустите его:
CODE...

Примечание. Ваши результаты будут отличаться, если вы повторно запустите запрос в будущем, поскольку данные о погоде и ваши разделы постоянно обновляются.

...
Prog

Final conditions:

;

Organize your work