Google Professional-Data-Engineer日本語 Exam : Google Certified Professional Data Engineer Exam (Professional-Data-Engineer日本語版)

あなたは北米各地に拠点を置く大手銀行に勤務しています。銀行口座の取引を処理するデータストレージシステムを構築しています。ACID準拠とSQLによるデータアクセス機能が必要です。どのソリューションが適切でしょうか？

• A. トランザクションをクラウド スパナーに保存します。ロック付き読み書きトランザクションを使用します。
• B. トランザクションデータをCloud SQLに保存します。分析には、BigQueryのフェデレーションクエリを使用します。
• C. トランザクションデータをBigQueryに保存します。一貫性を確保するため、クエリキャッシュを無効にしました。
• D. トランザクションデータをCloud Spannerに保存します。レイテンシを削減するために、古いデータの読み取りを有効にします。

Cloud Dataproc 閲覧者はどのようなアクションを実行できますか?

• A. ジョブを送信します。
• B. クラスターを削除します。
• C. ジョブを一覧表示します。
• D. クラスターを作成します。

会社では、カンマ区切り値 (CSV) ファイルを Google BigQuery にロードしています。データは完全に正常にインポートされましたが、インポートされたデータはソース ファイルとバイト単位で一致していません。この問題の原因として最も可能性が高いのは何でしょうか。

• A. CSV データには、インポート時にスキップされた無効な行が含まれています。
• B. CSV データは、BigQuery にロードされる前に ETL フェーズを経ていません。
• C. BigQuery にロードされた CSV データは、BigQuery のデフォルトのエンコードを使用していません。
• D. BigQuery にロードされた CSV データには CSV のフラグが付けられていません。

ケーススタディ1 - Flowlogistic
会社概要
Flowlogisticは、物流およびサプライチェーン分野におけるリーディングプロバイダーです。世界中の企業が資源を管理し、最終目的地まで輸送できるよう支援しています。同社は急速に成長を遂げ、鉄道、トラック、航空機、海上輸送など、サービス提供範囲を拡大しています。
会社概要
同社は地域密着型のトラック運送会社として創業し、その後、他の物流市場へと事業を拡大しました。しかし、インフラの更新が遅れたため、注文や出荷の管理・追跡がボトルネックとなっていました。業務改善のため、Flowlogisticは小包レベルでリアルタイムに出荷を追跡する独自の技術を開発しました。しかし、Apache Kafkaをベースとした既存の技術スタックでは処理量に対応できないため、この技術を導入することができませんでした。さらに、Flowlogisticは注文と出荷に関する詳細な分析を行い、最適なリソース配分方法を検討したいと考えています。
解決策のコンセプト
Flowlogisticはクラウドを使用して2つのコンセプトを実現したいと考えています。
* 自社独自の技術を活用したリアルタイム在庫追跡システムにより、積荷の位置をリアルタイムで表示する。
* 構造化データと非構造化データの両方を含むすべての注文と出荷ログの分析を実行して、リソースを最適に展開する方法、情報を拡大する市場を決定します。
彼らはまた、予測分析を用いて、出荷の遅延が発生する時期をより早く把握したいと考えている。
既存の技術環境
Flowlogisticアーキテクチャは単一のデータセンターに存在します。
* データベース
2つのクラスターに8台の物理サーバーを配置
- SQL Server - ユーザーデータ、在庫、静的データ
物理サーバー3台
- Cassandra - メタデータ、メッセージの追跡
10台のKafkaサーバー - メッセージ集約とバッチ挿入の追跡
* アプリケーションサーバー - 顧客向けフロントエンド、注文/税関向けミドルウェア
20台の物理サーバーに分散された60台の仮想マシン
- Tomcat - Javaサービス
- Nginx - 静的コンテンツ
- バッチサーバー
* 収納機器
- 仮想マシン(VM)ホスト向けiSCSI
- ファイバーチャネルストレージエリアネットワーク(FC SAN) - SQLサーバーストレージ
- ネットワーク接続ストレージ(NAS)のイメージストレージ、ログ、バックアップ
* Apache Hadoop/Sparkサーバー10台
- コアデータレイク
- データ分析の作業負荷
* その他サーバー20台
- Jenkins、監視、バスティオンホスト、
ビジネス要件
* 拡張可能な生産環境を備え、信頼性が高く再現性のある環境を構築する。
分析のためにデータを一元化されたデータレイクに集約する
* 過去のデータを使用して、将来の出荷に関する予測分析を実行します。
独自の技術を用いて、世界中のすべての貨物を正確に追跡します。
* 新しいリソースを迅速に提供することで、ビジネスの俊敏性とイノベーションのスピードを向上させる
クラウドにおけるパフォーマンスを考慮したアーキテクチャの分析と最適化
* 他のすべての要件を満たしている場合は、クラウドに完全移行する
技術要件
ストリーミングデータとバッチデータの両方を処理する
* 既存のHadoopワークロードを移行する
* 会社の変化するニーズに対応できるよう、アーキテクチャが拡張性と柔軟性を備えていることを確認する。
可能な限りマネージドサービスを利用する
* データの転送時および保存時の暗号化
* 本番データセンターとクラウド環境の間にVPNを接続する SEOステートメント 当社は急速に成長してきたため、インフラストラクチャをアップグレードできないことが、さらなる成長と効率性を阻害しています。当社は世界中に商品を輸送することには効率的ですが、データの移動には非効率的です。
顧客がどこにいて、何を発送しているのかをより簡単に把握できるように、情報を整理する必要があります。
CTO声明
ITはこれまで当社にとって優先事項ではなかったため、データ量の増加に伴い、テクノロジーへの投資が十分ではありませんでした。IT管理を担当する優秀なスタッフはいますが、彼らはインフラ管理に追われ、データの整理、分析ツールの構築、CFOの追跡テクノロジーの実装方法の検討といった、本当に重要な業務に時間を割くことができません。
最高財務責任者(CFO)声明
当社の競争優位性の一つは、出荷や納品の遅延に対して自らにペナルティを課している点です。
出荷状況の常時把握は、当社の収益と利益に直接影響します。さらに、サーバー環境の構築に資金を投入したくありません。
Flowlogistic はリアルタイム在庫追跡システムを展開しています。追跡デバイスはすべてパッケージ追跡メッセージを送信しますが、これらのメッセージは Apache Kafka クラスターではなく、単一の Google Cloud Pub/Sub トピックに送信されます。サブスクライバーアプリケーションは、リアルタイムレポート用にメッセージを処理して、履歴分析のために Google BigQuery に保存します。パッケージデータを時系列で分析できるようにしたい場合、どの方法を採用すべきでしょうか？

• A. Cloud Pub/Sub サブスクライバーアプリケーションでメッセージを受信した際に、各メッセージにタイムスタンプを付加します。
• B. 各パブリッシャー デバイスから Clod Pub/Sub に送信される送信メッセージにタイムスタンプとパッケージ ID を添付します。
• C. Cloud Pub/Sub から自動生成されたタイムスタンプを使用してデータを順序付けします。
• D. BigQuery の NOW() 関数を使用してイベントの時間を記録します。

Cloud Bigtable に依存するパフォーマンス テストを実行している場合、以下の 1 つを除くすべての選択肢が推奨される手順です。推奨されない手順はどれですか。

• A. テストを少なくとも 10 分間実行します。
• B. 本番インスタンスを使用しないでください。
• C. テストを行う前に、数分間、負荷の高い事前テストを実行します。
• D. 少なくとも 300 GB のデータを使用します。