INFORMATION_SCHEMAを使用してBigQueryのViewの定義をDataformに移管する
こんにちは、風音屋データエンジニアの妹尾です。
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。
書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。
ぜひカジュアルトークをお申し込みください。
Posts by Tag
- BigQuery 7
- datatech-jp 3
- dbt 3
- Airflow 2
- SQL 2
- Security 2
- SRE 2
- DataManagement-fm 2
- SQLFluff 2
- Snowflake 2
- Python 2
- LookerStudio 2
- Redash 1
- book 1
- GoogleAnalytics 1
- SLA 1
- GitHubActions 1
- opendata 1
- S3 1
- AWS 1
- Looker 1
- Holistics 1
- Cube 1
- Sigma 1
- LightDash 1
- Mprove 1
- MLCraft 1
- Docker 1
- Digdag 1
- Embulk 1
- LookerStudioPro 1
- dataform 1
- DimensionalModeling 1
- Discussion 1
- DataQuality 1
- GoogleSheets 1
- GAS 1
- Productivity 1
- Aurora 1
- CDC 1
- Datastream 1
- DataManagement 1
- AnalyticsHub 1
- Dataform 1
- Tableau 1
- TableauWriteBack 1
- Research 1
BigQuery
大学のデータ分析の授業で Google Cloud を活用した話（登壇文字起こし）
風音屋（@kazaneya_PR）代表 ゆずたそ（@yuzutas0）です。 この記事は、Google Cloud Champion Innovators Advent Calendar、BigQuery Advent Calendar、datatech-jp Advent Calendar 2023 24日目の...
外部組織に分析目的でデータを提供するインフラ設計において考慮すること
風音屋アドバイザーのうっちー（@hanon52_）です。
Aurora から BigQuery へのデータ連携を Datastream でやろうとしたが、あまり上手くいかなかった話
風音屋 データエンジニアの濱田（@hrkhjp）です。
BigQueryのセキュリティ対策手順
風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。
GA4のデータをSQL（BigQuery）で扱うハンズオン
風音屋の共同代表 @mizuki_takenobu です。 この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。
Redashでドリルダウンを実現する
風音屋の兼業データアナリスト、星野（@mochigenmai）です。 この記事ではRedashでドリルダウンを実現する方法を紹介します。
datatech-jp
大学のデータ分析の授業で Google Cloud を活用した話（登壇文字起こし）
風音屋（@kazaneya_PR）代表 ゆずたそ（@yuzutas0）です。 この記事は、Google Cloud Champion Innovators Advent Calendar、BigQuery Advent Calendar、datatech-jp Advent Calendar 2023 24日目の...
ITオペレーションから始めるデータマネジメント
風音屋（@kazaneya_PR） 共同代表の竹信です。 本稿は datatech-jp Advent Calendar 2023 22日目の記事になります。
Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました
こんにちわ。風音屋アドバイザーの@nii_yanです。 風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！)
dbt
dataformのSCDパッケージとdbtのsnapshot機能を比較してみた
こんにちは、風音屋 データエンジニアの妹尾です。
dbt 開発で使える SQL スタイルガイドを導入した話
兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
兼業データアナリストの星野（@mochigenmai）です。
Airflow
Airflowの実行順序が期待通りにならないときは priority_weight を見直してみよう
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログでは、Airflowの基本であるスケジューラ、DAG、DAG_RUNの仕組みを解説した後、タスクの優先順位を決めるpriority_weightの仕組みと注意点を解説します。 また、priority_weightを考慮しなかったことで実際に起...
Airflowをソースコードから起動する
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログではAirflowをソースコードから起動する方法を説明します。 ソースコードから起動できると、デバッガを刺してデバッグしたり、一部書き換えて動作を検証したりと、色々便利です。
SQL
dbt 開発で使える SQL スタイルガイドを導入した話
兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。
GA4のデータをSQL（BigQuery）で扱うハンズオン
風音屋の共同代表 @mizuki_takenobu です。 この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。
Security
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。
BigQueryのセキュリティ対策手順
風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。
SRE
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。
ログ欠損が発生した時、データエンジニアは現場でどう対応しているか
風音屋 アドバイザーの “たけっぱ”（@takegue） です。
DataManagement-fm
データエンジニア2人がデータ整備周りの採用難について考える
風音屋 アドバイザーの “たけっぱ”（@takegue） です。
ログ欠損が発生した時、データエンジニアは現場でどう対応しているか
風音屋 アドバイザーの “たけっぱ”（@takegue） です。
SQLFluff
dbt 開発で使える SQL スタイルガイドを導入した話
兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
兼業データアナリストの星野（@mochigenmai）です。
Snowflake
Snowparkとは何か？ Snowpark for Pythonができること、できないこと
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。
Snowflakeの操作履歴データを永続化する方法
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 本ブログではSnowflakeの COPY_HISTORY、TASK_HISTORY、LOGIN_HISTORYそしてQUERY_HISTORY のデータを永続化する方法を説明します。
Python
Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法
風音屋 データエンジニアの濱田（@hrkhjp）です。
Snowparkとは何か？ Snowpark for Pythonができること、できないこと
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。
LookerStudio
Looker Studio Pro で料金を抑えながらレポートを管理する方法
風音屋の兼業データアナリスト、星野（@mochigenmai）です。この記事は、datatech-jp Advent Calendar 2023 の 13 日目の記事です。
担当者の退職で Looker Studio のレポートが壊れてしまう問題への対処法
風音屋の兼業データアナリスト、星野（@mochigenmai）です。
Redash
Redashでドリルダウンを実現する
風音屋の兼業データアナリスト、星野（@mochigenmai）です。 この記事ではRedashでドリルダウンを実現する方法を紹介します。
book
Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました
こんにちわ。風音屋アドバイザーの@nii_yanです。 風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！)
GoogleAnalytics
GA4のデータをSQL（BigQuery）で扱うハンズオン
風音屋の共同代表 @mizuki_takenobu です。 この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。
SLA
ログ欠損が発生した時、データエンジニアは現場でどう対応しているか
風音屋 アドバイザーの “たけっぱ”（@takegue） です。
GitHubActions
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
兼業データアナリストの星野（@mochigenmai）です。
opendata
法人データの取得と活用についての資料を公開しました
風音屋の"ゆずたそ"@yuzutas0です。
S3
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。
AWS
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。
Looker
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
Holistics
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
Cube
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
Sigma
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
LightDash
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
Mprove
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
MLCraft
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
Docker
Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法
風音屋 データエンジニアの濱田（@hrkhjp）です。
Digdag
Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法
風音屋 データエンジニアの濱田（@hrkhjp）です。
Embulk
Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法
風音屋 データエンジニアの濱田（@hrkhjp）です。
LookerStudioPro
Looker Studio Pro で料金を抑えながらレポートを管理する方法
風音屋の兼業データアナリスト、星野（@mochigenmai）です。この記事は、datatech-jp Advent Calendar 2023 の 13 日目の記事です。
dataform
dataformのSCDパッケージとdbtのsnapshot機能を比較してみた
こんにちは、風音屋 データエンジニアの妹尾です。
DimensionalModeling
ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか
こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。
Discussion
ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか
こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。
DataQuality
データ品質の5つの分類と品質管理プロセス
風音屋（@kazaneya_PR）アドバイザーの笹川です。 本稿は datatech-jp Advent Calendar 2023 14日目の記事です。
GoogleSheets
GoogleスプレッドシートとGASで作る請求書作成・提出システム
この記事は Google Apps Script Advent Calendar 2023の 20 日目の記事です。
GAS
GoogleスプレッドシートとGASで作る請求書作成・提出システム
この記事は Google Apps Script Advent Calendar 2023の 20 日目の記事です。
Productivity
GoogleスプレッドシートとGASで作る請求書作成・提出システム
この記事は Google Apps Script Advent Calendar 2023の 20 日目の記事です。
Aurora
Aurora から BigQuery へのデータ連携を Datastream でやろうとしたが、あまり上手くいかなかった話
風音屋 データエンジニアの濱田（@hrkhjp）です。
CDC
Aurora から BigQuery へのデータ連携を Datastream でやろうとしたが、あまり上手くいかなかった話
風音屋 データエンジニアの濱田（@hrkhjp）です。
Datastream
Aurora から BigQuery へのデータ連携を Datastream でやろうとしたが、あまり上手くいかなかった話
風音屋 データエンジニアの濱田（@hrkhjp）です。
DataManagement
ITオペレーションから始めるデータマネジメント
風音屋（@kazaneya_PR） 共同代表の竹信です。 本稿は datatech-jp Advent Calendar 2023 22日目の記事になります。
AnalyticsHub
外部組織に分析目的でデータを提供するインフラ設計において考慮すること
風音屋アドバイザーのうっちー（@hanon52_）です。
Dataform
INFORMATION_SCHEMAを使用してBigQueryのViewの定義をDataformに移管する
こんにちは、風音屋データエンジニアの妹尾です。
Tableau
Tableauの拡張機能「Write-Back」でExcel対応をなくせるか
風音屋 データコンサルタントの竹内です。 この記事ではTableauの拡張機能「Write-Back」について調査した内容をご紹介します。
TableauWriteBack
Tableauの拡張機能「Write-Back」でExcel対応をなくせるか
風音屋 データコンサルタントの竹内です。 この記事ではTableauの拡張機能「Write-Back」について調査した内容をご紹介します。
Research
新しいツールを調査するときの心得
風音屋の兼業データアナリスト、星野（@mochigenmai）です。