INFORMATION_SCHEMAを使用してBigQueryのViewの定義をDataformに移管する
こんにちは、風音屋データエンジニアの妹尾です。
風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。
書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。
ぜひカジュアルトークをお申し込みください。
Posts by Year
2023
大学のデータ分析の授業で Google Cloud を活用した話（登壇文字起こし）
風音屋（@kazaneya_PR）代表 ゆずたそ（@yuzutas0）です。 この記事は、Google Cloud Champion Innovators Advent Calendar、BigQuery Advent Calendar、datatech-jp Advent Calendar 2023 24日目の...
外部組織に分析目的でデータを提供するインフラ設計において考慮すること
風音屋アドバイザーのうっちー（@hanon52_）です。
ITオペレーションから始めるデータマネジメント
風音屋（@kazaneya_PR） 共同代表の竹信です。 本稿は datatech-jp Advent Calendar 2023 22日目の記事になります。
Aurora から BigQuery へのデータ連携を Datastream でやろうとしたが、あまり上手くいかなかった話
風音屋 データエンジニアの濱田（@hrkhjp）です。
GoogleスプレッドシートとGASで作る請求書作成・提出システム
この記事は Google Apps Script Advent Calendar 2023の 20 日目の記事です。
データ品質の5つの分類と品質管理プロセス
風音屋（@kazaneya_PR）アドバイザーの笹川です。 本稿は datatech-jp Advent Calendar 2023 14日目の記事です。
ディメンショナルモデリングでアクセス分析のファクトテーブルをどう設計するか
こんにちは、風音屋 データエンジニアの妹尾です。 この記事は、datatech-jp Advent Calendar 2023 15 日目の記事です。
dataformのSCDパッケージとdbtのsnapshot機能を比較してみた
こんにちは、風音屋 データエンジニアの妹尾です。
Looker Studio Pro で料金を抑えながらレポートを管理する方法
風音屋の兼業データアナリスト、星野（@mochigenmai）です。この記事は、datatech-jp Advent Calendar 2023 の 13 日目の記事です。
Digdag/Embulkと任意のバージョンのPythonを両立させたDockerイメージを作成する方法
風音屋 データエンジニアの濱田（@hrkhjp）です。
担当者の退職で Looker Studio のレポートが壊れてしまう問題への対処法
風音屋の兼業データアナリスト、星野（@mochigenmai）です。
Snowparkとは何か？ Snowpark for Pythonができること、できないこと
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。
Lookerライクな新興BIツールの比較検討
はじめに こんにちは。廣瀬智史 (@satoshihirose) と申します。
Snowflakeの操作履歴データを永続化する方法
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 本ブログではSnowflakeの COPY_HISTORY、TASK_HISTORY、LOGIN_HISTORYそしてQUERY_HISTORY のデータを永続化する方法を説明します。
Airflowの実行順序が期待通りにならないときは priority_weight を見直してみよう
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログでは、Airflowの基本であるスケジューラ、DAG、DAG_RUNの仕組みを解説した後、タスクの優先順位を決めるpriority_weightの仕組みと注意点を解説します。 また、priority_weightを考慮しなかったことで実際に起...
Trivyを利用して、S3のセキュリティチェックや推奨設定の監査を行う
風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。
法人データの取得と活用についての資料を公開しました
風音屋の"ゆずたそ"@yuzutas0です。
dbt 開発で使える SQL スタイルガイドを導入した話
兼業データアナリストの星野（@mochigenmai）です。 この記事では dbt 開発で使える SQL スタイルガイドを導入した話について紹介します。
dbt × SQLFluff を GitHub Actions で動かす時の情報漏洩リスクとその対策
兼業データアナリストの星野（@mochigenmai）です。
データエンジニア2人がデータ整備周りの採用難について考える
風音屋 アドバイザーの “たけっぱ”（@takegue） です。
2022
ログ欠損が発生した時、データエンジニアは現場でどう対応しているか
風音屋 アドバイザーの “たけっぱ”（@takegue） です。
BigQueryのセキュリティ対策手順
風音屋アドバイザーの山田雄（@nii_yan）です。 データ活用においてセキュリティ対策が最重要トピックであることは言うまでもありません。 風音屋でBigQueryの導入支援を行うにあたって、どのようなセキュリティ対策を行っているのかをご紹介します。
GA4のデータをSQL（BigQuery）で扱うハンズオン
風音屋の共同代表 @mizuki_takenobu です。 この記事ではアクセス解析ツール「Google Analytics 4」（以下GA4）のデータをSQLで扱う方法をサンプルコードとともに紹介します。
Slackコミュニティで『実践的データ基盤への処方箋』の輪読会を行いました
こんにちわ。風音屋アドバイザーの@nii_yanです。 風音屋の創業者であるゆずたそさんやアドバイザーの渡部徹太郎さんが執筆した書籍『実践的データ基盤への処方箋』の輪読会を行いました！ (私も本書のレビュアーとして名前が記載されています！)
Redashでドリルダウンを実現する
風音屋の兼業データアナリスト、星野（@mochigenmai）です。 この記事ではRedashでドリルダウンを実現する方法を紹介します。
Airflowをソースコードから起動する
風音屋アドバイザーの渡部徹太郎(@fetarodc) です。 このブログではAirflowをソースコードから起動する方法を説明します。 ソースコードから起動できると、デバッガを刺してデバッグしたり、一部書き換えて動作を検証したりと、色々便利です。