Partitioned Tables in Google BigQuery
Partitione
Stamps
Initial conditions
Categories:
Google Cloud
В Google Cloud Console выберите Меню навигации > BigQuery .
Откроется окно сообщения « Добро пожаловать в BigQuery в Cloud Cons
Нажмите Готово .
...Создайте новый набор данных в своем проекте, щелкнув значок «Просмотреть действия» рядом с идентификатором
...-
Установите для идентификатора набора данных
ecommerce
значение . Для остальных параметров оставьте значени/p> -
Нажмите СОЗДАТЬ НАБОР ДАННЫХ .
В редакторе запросов добавьте приведенный ниже запрос. Перед запуском обратите внимание на общий объем дан
CODE......
Теперь запустите приведенный ниже запрос и запишите общее количество байтов, которые необходимо обработать:
CODE......
Изучите доступные таблицы погодных данных NOAA
-
На левой панели нажмите + ADD и выберите Public Datasets .
-
Най/p>
-
Нажмите «Просмотреть набор данных» .
-
Прокрутите таблицы в наборе данных noaa_gsod (которые сегментированы вручную, а не секционированы).
-
Затем скопируйте и вставьте приведенный ниже запрос в редактор запросов :
CODE...
Обратите внимание, что подстановочный знак таблицы * используется в предложении FROM для ограничения количества таблиц, на которые ссылается фильтр TABLE_SUFFIX .
Обратите внимание, что хотя был добавлен LIMIT 10, это все равно не уменьшает общий объем сканируемых данных (около 141,6 МБ), поскольку разделов еще нет.
Нажмите «Выполнить» .
Убедитесь, что дата имеет правильный формат и в поле осадков отображаются ненулевые значения.
...
-
Измените предыдущий запрос, чтобы создать таблицу со следующими спецификациями:
- Имя таблицы: ecommerce.days
- Используйте поле даты в качестве PARTITION BY.
- Для ОПЦИИ укажите раздел_expiration_days = 60.
- Добавьте описание таблицы = "метеостанции с осадками, разбитые по дням"
Ваш запрос должен выглядеть так:
CODE...
Убедитесь, что срок действия раздела данных работает.
Чтобы убедиться, что вы храните данные только за 60 дней прошлого и до сегодняшнего дня, запустите запрос DATE_DIFF, чтобы получить возраст ваших разделов, срок действия которых истекает через 60 дней.
Ниже приведен запрос, который отслеживает среднее количество осадков на метеостанции NOAA в Вакаяме, Япония , где выпадает значительное количество осадков.
...Убедитесь, что возраст самого старого раздела_age_age не превышает 60 дней.
Обновите предложение ORDER BY, чтобы сн/p>
- Добавьте этот запрос и запустите его:
CODE...
Примечание. Ваши результаты будут отличаться, если вы повторно запустите запрос в будущем, поскольку данные о погоде и ваши разделы постоянно обновляются.
...