AWS

DataZone

Amazon DataZone

DataZone とは DataZone は組織のデータを迅速かつ簡単にカタログ化、発見、共有、管理できるようにするデータ管理サービスです。データをカタログ化し、共有することで、組織内の様々なデータのコラボレーションを容易にし、データによる...
Lake Formation

ハイブリッドアクセスモード

概要 ハイブリッドアクセスモードとは、既存のデータカタログに対する制御を保持しつつ、特定のリソースとプリンシパルに対して Lake Formation によるアクセス制御を適用する機能です。 ハイブリッドアクセスモードを利用した場合の認証フ...
Lake Formation

Lake Formation のアクセス制御

概要 Lake Formation では、 データベースやテーブルなどのデータカタログリソースに対するメタデータレベル 統合された分析エンジンに代わって、S3 に保存されているデータへのアクセスを管理するストレージレベル の 2 つのレベル...
Lake Formation

AWS Lake Formation

Lake Formation とは Lake Formation は、データレイクを構築、運用するための AWS マネージドサービスです。 データレイクについては、AWS のドキュメントで以下のように説明されています。 データレイクとはデー...
Glue

AWS Glue

概要 Glue は、分析や機械学習、アプリケーション開発のために、複数のデータソースからデータを簡単に抽出、移動、統合するためのサーバレスデータ統合サービスです。 公式 doc: 2024 年 5 月現在で 70 を超える多様なデータソース...
Kendra

Kendra フィールド

はじめに Kendra のキュメントでは、ドキュメントのメタデータを格納するフィールドを設定可能です。設定したフィールドを使って、検索やソートを行うことができ、より柔軟な検索を実現できるようになります。 今回は、検証しながらフィールドの設定...
Kendra

Kendra の基本操作

やること Kendra インデックスを作成して S3 データソースのドキュメントを同期し、検索を行うまでの操作を確認します。 インデックスの作成 Kendra のコンソールを開き、"Create an Index" をクリックしてインデック...
Kendra

Amazon Kendra

概要 Kendra は、自然言語処理と機械学習を使用した検索サービスです。 公式 doc: 従来のキーワード検索と異なり、セマンティック検索を行って、ユーザーにより価値のある検索結果を提供します。 Kendra で実行できる検索クエリは、以...
Kinesis Data Streams

シャードイテレータタイプ

概要 Kinesis Streams からレコードを取得する際、レコード取得の前にシャードイテレータを取得します。シャードイテレータは GetRecords で読み取る範囲を示しますが、シャードイテレータタイプによってその範囲の開始地点が変...
Kinesis Data Streams

Kinesis Streams の基本操作

やること Kinesis Streams の基本操作を公式ドキュメントのチュートリアルを使って確認します。 ストリームの作成 まずは、ストリームの作成です。今回は create-stream コマンドを利用してストリームを作成します。 cr...