Posts by Tag

BigQuery

INFORMATION_SCHEMAを使用してBigQueryのViewの定義をDataformに移管する

13 minute read

こんにちは、風音屋データエンジニアの妹尾です。

大学のデータ分析の授業で Google Cloud を活用した話（登壇文字起こし）

15 minute read

風音屋（@kazaneya_PR）代表ゆずたそ（@yuzutas0）です。この記事は、Google Cloud Champion Innovators Advent Calendar、BigQuery Advent Calendar、datatech-jp Advent Calendar 2023 24日目の...

外部組織に分析目的でデータを提供するインフラ設計において考慮すること

8 minute read

風音屋アドバイザーのうっちー（@hanon52_）です。

Aurora から BigQuery へのデータ連携を Datastream でやろうとしたが、あまり上手くいかなかった話

5 minute read

風音屋データエンジニアの濱田（@hrkhjp）です。

BigQueryのセキュリティ対策手順

16 minute read

風音屋アドバイザーの山田雄（@nii_yan）です。データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。

GA4のデータをSQL（BigQuery）で扱うハンズオン

9 minute read

風音屋の共同代表 @mizuki_takenobu です。この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。

Redashでドリルダウンを実現する

10 minute read

風音屋の兼業データアナリスト、星野（@mochigenmai）です。この記事ではRedashでドリルダウンを実現する方法を紹介します。

Back to Top ↑

datatech-jp

大学のデータ分析の授業で Google Cloud を活用した話（登壇文字起こし）

15 minute read

風音屋（@kazaneya_PR）代表ゆずたそ（@yuzutas0）です。この記事は、Google Cloud Champion Innovators Advent Calendar、BigQuery Advent Calendar、datatech-jp Advent Calendar 2023 24日目の...

ITオペレーションから始めるデータマネジメント

6 minute read

風音屋（@kazaneya_PR）共同代表の竹信です。本稿は datatech-jp Advent Calendar 2023 22日目の記事になります。

Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました

4 minute read

こんにちわ。風音屋アドバイザーの@nii_yanです。風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！)

Back to Top ↑

dbt

dataformのSCDパッケージとdbtのsnapshot機能を比較してみた

29 minute read

こんにちは、風音屋データエンジニアの妹尾です。

dbt 開発で使える SQL スタイルガイドを導入した話

13 minute read

兼業データアナリストの星野（@mochigenmai）です。この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。

dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策

6 minute read

兼業データアナリストの星野（@mochigenmai）です。

Back to Top ↑

Airflow

Airflowの実行順序が期待通りにならないときは priority_weight を見直してみよう

7 minute read

風音屋アドバイザーの渡部徹太郎(@fetarodc) です。このブログでは、Airflowの基本であるスケジューラ、DAG、DAG_RUNの仕組みを解説した後、タスクの優先順位を決めるpriority_weightの仕組みと注意点を解説します。また、priority_weightを考慮しなかったことで実際に起...

Airflowをソースコードから起動する

17 minute read

風音屋アドバイザーの渡部徹太郎(@fetarodc) です。このブログではAirflowをソースコードから起動する方法を説明します。ソースコードから起動できると、デバッガを刺してデバッグしたり、一部書き換えて動作を検証したりと、色々便利です。

Back to Top ↑

SQL

dbt 開発で使える SQL スタイルガイドを導入した話

13 minute read

兼業データアナリストの星野（@mochigenmai）です。この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。

GA4のデータをSQL（BigQuery）で扱うハンズオン

9 minute read

風音屋の共同代表 @mizuki_takenobu です。この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。

Back to Top ↑

Security

Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う

13 minute read

風音屋兼業エンジニアの “宮地克弥”（@int_tt）です。

BigQueryのセキュリティ対策手順

16 minute read

風音屋アドバイザーの山田雄（@nii_yan）です。データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。

Back to Top ↑

SRE

Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う

13 minute read

風音屋兼業エンジニアの “宮地克弥”（@int_tt）です。

ログ欠損が発生した時、データエンジニアは現場でどう対応しているか

6 minute read

風音屋アドバイザーの “たけっぱ”（@takegue）です。

Back to Top ↑

DataManagement-fm

データエンジニア2人がデータ整備周りの採用難について考える

6 minute read

風音屋アドバイザーの “たけっぱ”（@takegue）です。

ログ欠損が発生した時、データエンジニアは現場でどう対応しているか

6 minute read

風音屋アドバイザーの “たけっぱ”（@takegue）です。

Back to Top ↑

SQLFluff

dbt 開発で使える SQL スタイルガイドを導入した話

13 minute read

兼業データアナリストの星野（@mochigenmai）です。この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。

dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策

6 minute read

兼業データアナリストの星野（@mochigenmai）です。

Back to Top ↑

Snowflake

Snowparkとは何か？ Snowpark for Pythonができること、できないこと

8 minute read

風音屋アドバイザーの渡部徹太郎(@fetarodc) です。

Snowflakeの操作履歴データを永続化する方法

19 minute read

風音屋アドバイザーの渡部徹太郎(@fetarodc) です。本ブログではSnowflakeの COPY_HISTORY、TASK_HISTORY、LOGIN_HISTORYそしてQUERY_HISTORY のデータを永続化する方法を説明します。

Back to Top ↑

Python

Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法

4 minute read

風音屋データエンジニアの濱田（@hrkhjp）です。

Snowparkとは何か？ Snowpark for Pythonができること、できないこと

8 minute read

風音屋アドバイザーの渡部徹太郎(@fetarodc) です。

Back to Top ↑

LookerStudio

Looker Studio Pro で料金を抑えながらレポートを管理する方法

7 minute read

風音屋の兼業データアナリスト、星野（@mochigenmai）です。この記事は、datatech-jp Advent Calendar 2023 の 13 日目の記事です。

担当者の退職で Looker Studio のレポートが壊れてしまう問題への対処法

6 minute read

風音屋の兼業データアナリスト、星野（@mochigenmai）です。

Back to Top ↑

Redash

Redashでドリルダウンを実現する

10 minute read

風音屋の兼業データアナリスト、星野（@mochigenmai）です。この記事ではRedashでドリルダウンを実現する方法を紹介します。

Back to Top ↑

book

Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました

4 minute read

こんにちわ。風音屋アドバイザーの@nii_yanです。風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！)

Back to Top ↑

GoogleAnalytics

GA4のデータをSQL（BigQuery）で扱うハンズオン

9 minute read

風音屋の共同代表 @mizuki_takenobu です。この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。

Back to Top ↑

SLA

ログ欠損が発生した時、データエンジニアは現場でどう対応しているか

6 minute read

風音屋アドバイザーの “たけっぱ”（@takegue）です。

Back to Top ↑

GitHubActions

dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策

6 minute read

兼業データアナリストの星野（@mochigenmai）です。

Back to Top ↑

opendata

法人データの取得と活用についての資料を公開しました

2 minute read

風音屋の"ゆずたそ"@yuzutas0です。

Back to Top ↑

S3

Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う

13 minute read

風音屋兼業エンジニアの “宮地克弥”（@int_tt）です。

Back to Top ↑

AWS

Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う

13 minute read

風音屋兼業エンジニアの “宮地克弥”（@int_tt）です。

Back to Top ↑