DataZone Amazon DataZone
DataZone とは DataZone は組織のデータを迅速かつ簡単にカタログ化、発見、共有、管理できるようにするデータ管理サービスです。データをカタログ化し、共有することで、組織内の様々なデータのコラボレーションを容易にし、データによる...
Analytics
DataZone 
Lake Formation ハイブリッドアクセスモード
概要 ハイブリッドアクセスモードとは、既存のデータカタログに対する制御を保持しつつ、特定のリソースとプリンシパルに対して Lake Formation によるアクセス制御を適用する機能です。 ハイブリッドアクセスモードを利用した場合の認証フ...
Lake Formation Lake Formation のアクセス制御
概要 Lake Formation では、 データベースやテーブルなどのデータカタログリソースに対するメタデータレベル 統合された分析エンジンに代わって、S3 に保存されているデータへのアクセスを管理するストレージレベル の 2 つのレベル...
Lake Formation AWS Lake Formation
Lake Formation とは Lake Formation は、データレイクを構築、運用するための AWS マネージドサービスです。 データレイクについては、AWS のドキュメントで以下のように説明されています。 データレイクとはデー...
Glue AWS Glue
概要 Glue は、分析や機械学習、アプリケーション開発のために、複数のデータソースからデータを簡単に抽出、移動、統合するためのサーバレスデータ統合サービスです。 公式 doc: 2024 年 5 月現在で 70 を超える多様なデータソース...
Kinesis Data Streams シャードイテレータタイプ
概要 Kinesis Streams からレコードを取得する際、レコード取得の前にシャードイテレータを取得します。シャードイテレータは GetRecords で読み取る範囲を示しますが、シャードイテレータタイプによってその範囲の開始地点が変...
Kinesis Data Streams Kinesis Streams の基本操作
やること Kinesis Streams の基本操作を公式ドキュメントのチュートリアルを使って確認します。 ストリームの作成 まずは、ストリームの作成です。今回は create-stream コマンドを利用してストリームを作成します。 cr...
Kinesis Data Streams リシャーディング
Kinesis Data Streams シャード数の見積もり
プロビジョニングモードの Kinesis Streams を利用する際のシャード数の見積もり方法は、ドキュメントに記載されています。 With the provisioned mode, you must specify the numbe...
Kinesis Data Streams Kinesis Streams オンデマンドモードのスケール動作
Kinesis Streams のドキュメントを読んでいて、オンデマンドモード利用時のスループットのスケール動作が気になったので調べたことをメモしておこうと思います。 ドキュメント 今回気になったのは以下の部分です。 A data stre...