[【関連記事】AWS資格の難易度はどれくらい？内容や初心者におすすめの勉強方法を解説](https://and-engineer.com/articles/YZtFsREAACIAjrpS)

[【関連記事】AWS認定ソリューションアーキテクト-アソシエイトとは？難易度と勉強方法を解説！](https://and-engineer.com/articles/YXEoUBIAACEANWUF)

[【関連記事】AWS認定クラウドプラクティショナーとは？難易度や勉強時間の目安を解説](https://and-engineer.com/articles/YwGSlRAAACEAsVo8)

AWS Glue（読み方：グルー）とは、**様々なデータソースからデータ分析やアプリケーション開発、機械学習などを目的にデータ検出・データ抽出・結合などを簡単に行うために用意されたAmazonの『サーバーレス・データ統合サービス』です。**

データ分析のためのデータ環境を整えるためには多くの工数やコストが掛かりますが、AWS Glueの利用によってそれらの工数やコストを大幅に減らすことが可能になります。この記事では、AWS Glueについて、概要や機能、メリット・デメリット、始め方や料金などについて紹介していきます。

【参考】：[AWS Glue　分析用データ抽出、変換、ロード （ETL）](https://aws.amazon.com/jp/glue/)

データ分析とは？基本的な目的や方法、職種例と転職方法について解説

AWS GlueはAWSが提供するETLツールでもあります。ETLは「Extrac Transform Load」の略語であり、データレイクなどからデータをExtract（抽出）し、扱いやすいフォーマットにTransformation（変換）してから、DWH（データウェアハウス）に書き出す一連のProcess（処理）です。

**ETLはDHWにデータを保存する際の前処理として行われ、DWHに保存されたデータは分析ツールを用いてビジネスなどで活用されます。**

**AWS Glueは分析を行うために複数のデータソースから、必要なデータの検出や準備・移動・統合を可能とするサーバーレス・データ統合サービスのことです。**AWS Glueの使用により、70以上の多様なデータソースを検出、接続し、一元化されたデータカタログによってデータの管理を行えるようになります。

AWS Glueではデータを視覚的に抽出・変換・ロード（ETL）する基本機能がすべて備わっており、インフラ環境の整備やデータソースの整理や準備、データウェアハウスの構築などが簡単に行え、短時間でデータ分析を行うことができます。

また、AWS Glueに含まれるグラフィカルインターフェースのAWS Glue Studioを利用することで、データ変換のワークフローを視覚的に作成することができます。

~~　【図】： AWS Glue イメージ図　~~

【参考】：[AWS Glue の概念 - AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/components-key-concepts.html)

### AWS Glue の参考書：AWSではじめるデータレイク

AWS Glueを利用する前に、ETLやデータレイクについて学ぶ際におすすめの参考書である「AWSではじめるデータレイク」を紹介します。**本書では、データレイクの概念や機能などの基本から、それらをAWSで実現する方法までが詳しく解説されています。**

他にはAWS上の関連サービスの概要や連携方法も解説されており、予備知識を得ておくことでAWS Glueに早く馴染めることでしょう。

▪著者：上原 誠 、志村 誠、下佐粉 昭、関山 宜孝
▪出版社：テッキーメディア
▪ページ数：377ページ
▪出版日：2020年7月9日

【参考】：[AWSではじめるデータレイク](https://techiemedia.co.jp/books/)

AWS Glueの概要については理解できたでしょうか。AWS Glueを始める前に、*AWS Glueの主な機能について理解しておきましょう。*ここでは、4つの機能について解説します。

**ETLジョブとは、データソースから分析に必要なデータを抽出する機能です。**必要に応じ、サーバーレス・エンジンにてTransformation（データ変換）を行ってDWHに連携します。

【参考】：[AWS Glue での ETL ジョブ ｜ AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/etl-jobs-section.html)
【参考】：[PowerPoint Presentation | AWS Black Belt Online Seminar](https://d1.awsstatic.com/webinars/jp/pdf/services/20210330_AWSBlackBelt2021_AWSGlueStudio.pdf)

~~　【図】： AWS Glue  ETLジョブ概要　~~

データソースからETLジョブによって構築されたデータレイクをクロールし、**データレイクに保存されたデータの内訳情報（メタデータ）を抽出してAWS GlueのData Catalogにテーブル形式で保存する機能です。**

【参考】：[クローラーの仕組み ｜ AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/crawler-running.html)

**クローラーによってデータレイクから収集されたメタデータ（データの場所やスキーマなどの情報)が格納される場所です。**データ分析を行うには、データの発生元や分析対象データの属性などの説明情報が必要なため、データカタログを参照しながらデータ分析が行われます。

【参考】：[AWS Glue のデータカタログとクローラー ｜ AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/catalog-and-crawler.html)

**ここまで紹介したETLジョブ、クローラー、データカタログ出力まで、一連の処理を自動化する機能としてワークフローがあります。**ワークフローを利用することで、AWS Glueのサービスを可視化できます。

【参考】：[Glue の公開 ｜ Amazon Elastic Compute Cloud](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/workflows_overview.html)

## AWS Glueを利用するメリットとデメリット

AWS Glueはデータサイエンティストやデータアナリスト、システムエンジニアにとって優れたサービスです。ここでは、AWS Glueを利用するメリット・デメリットを確認しておきましょう。

AWS Glueを利用することによって、どのようなメリットが得られるのでしょうか。**ここでは主なメリットを3つ紹介します。**

*■ データ分析環境を迅速に構築できる*
AWS Glueはサーバーレスのため、インフラ構築が不要、かつ事前準備がほとんど不要なため、分析データのデータソースさえあれば、直ちに分析を行うことができます。また大規模データの分析実績が豊富にあり、データ容量やサイジングの心配が不要です。

*■ 豊富な自動化機能により運用負荷が掛からない*
データ分析は事前の準備作業や手作業での試行錯誤を伴い、運用負荷が大きい傾向がありますが、AWS Glueのクローラーやワークフロー機能を活用することで、データ分析環境の更新や処理の自動化を行えるため、運用負荷の大幅な低減が可能です。

*■ データ分析に専念できる*
データ分析は常にデータの更新が必要であり、前工程やメンテナンスに労力が必要です。AWS Glueはそのような処理がほぼ自動化できるため、利用者は開発やデータ分析に専念することができます。

データ分析関連の仕事は何がある？必要なスキルや転職方法を解説

AWS Glueには大きなデメリットはありませんが、あくまでもクラウド環境でのサーバーレスサービスであるため、*オンプレミス環境の既存システムやAWS内のEC2インスタンス側のアプリとの連携を構築するのに手間と工数が掛かります。*

AWS Amazon EC2のインスタンスとは？インスタンスの起動・確認方法を合わせて解説！

*AWS Glueを始めるためのステップについて、どのような手順が必要なのかを見ていきましょう。*AWS Glueの利用にはAWSアカウントが必要になりますので、まだ取得していない人は取得しておくことをおすすめします。

**AWS Glueを始めるには次のステップを踏みます。**

①AWS アカウントをセットアップしてログインする
②AWS Glue サービスの IAM ポリシーを設定する
③データストアにアクセスするための環境を設定する 

上記のステップについて、概要を解説します。

【参考】：[開始方法 - AWS Glue ｜ AWS](https://aws.amazon.com/jp/glue/getting-started/)

*■ AWS アカウントをセットアップしてログイン*
AWSアカウントを取得していることが、AWS Glue利用の前提条件です。AWSアカウントでログインするとAWSコンソールが表示されます。これまでにAWS Glueを利用している場合は、メニュー一覧にAWS Glueが表示されていますので、ここからAWS Glueのサービスにアクセスします。

~~【図】： AWSコンソールにログイン　~~

AWS Glueが表示されていない場合は、まだ利用履歴がないため、上の検索窓に"AWS Glue"と入力し、表示されたメニューから目的のサービスを選択します。

~~【図】： AWSコンソールからGlueを選択　~~

*■ AWS Glue サービスの IAM ポリシー設定*
IAMポリシーとは、利用するAWSサービスやリソース、操作や許可などの権限をユーザーに対して設定できる定義のことです。

AWS Glueで設定するIAMは、AWS Glue用IAMロール、AWS Glueコンソールで使用するNotebook server用のIAMロール、コンソールのアクセス権限などです。詳細については、ドキュメントで確認しましょう。

【参考】：[AWS Glue のドキュメント ｜ AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/?icmpid=docs_homepage_analytics)
【参考】：[AWS Glue 用の IAM アクセス許可のセットアップ  ｜  AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/getting-started-access.html)

~~【図】： AWS Glueコンソール IAM ポリシー設定　~~

*■ データストアにアクセスするための環境設定*
AWS Glueを利用できるようにするためには、データストアにアクセスするための環境設定が必要です。AWS GlueではS3以外にRDS、Redshiftなどのデータストアとの連携が可能です。

RDS、RedshiftはVPC（Virtual Private Cloud）内にリソースを置くため、VPC外のS3と連携するためにVPCエンドポイント設定が必要です。他、AWS GlueとVPC内の各リソースと通信が行えるようにセキュリティグループの設定を行います。

最後にDNSの設定を行います。設定ができたら、入門ガイドの手順に従ってデータの分析を開始しましょう。

【参考】：[データストアへのネットワークアクセスを設定する ｜ AWS Glue](https://docs.aws.amazon.com/ja_jp/glue/latest/dg/start-connecting.html)

~~【図】： AWS Glueコンソール　~~

~~【図】： AWS Glue　VPCを作成　~~

【参考】：[Amazon VPC（仮想ネットワーク内での AWS リソースの起動）| AWS](https://aws.amazon.com/jp/vpc/)

~~【図】： AWS Glue VPCを作成　詳細　~~

AWS Glueは実行中のジョブが使用するデータ容量やリソース、クローラーに対する料金が発生し、**時間単位で課金されるものと、月額料金として課金される2種類があります。**

*【時間課金されるもの】*
▪クローラーによるデータの検出と抽出
▪ETLジョブ（データの処理とロード）の実行
▪ETL コードをインタラクティブ開発するため、開発エンドポイントをプロビジョニングする場合

*【月額課金されるもの】*
▪データカタログとして使用しているオブジェクトの個数とアクセス回数（ただし100万個までのオブジェとデータカタログへのアクセス回数100万回までは無料）

詳細料金については、AWS料金計算ツールを利用して試算をしておくことをおすすめします。

【参考】：[ 料金 - AWS Glue | AWS ](https://aws.amazon.com/jp/glue/pricing/)

## AWS Glueを利用してデータ分析環境を簡単構築しよう

ここまでAWS Glueの概要や機能、利用するメリットとデメリット、AWS Glueの始め方や利用料金などについて紹介しました。**AWS Glueを利用することで、高速かつ安価でデータ分析環境の整備ができます。**この記事でAWS Glueに興味が湧いたら、ぜひ利用してみてください。

AWS Glueとは、様々なデータソースから、データ分析やアプリケーション開発などを目的にデータ検出・データ抽出・結合などを簡単に行うために用意された、AWSの『サーバーレスデータ統合サービス』です。この記事では、AWS Glueについて分かりやすく解説します。

AWS GlueはAWSが提供するETLツールであり、サーバーレス・データ統合サービスの名称

AWS Glueの主な機能はETLジョブ、クローラー、データカタログ、ワークフローである

AWS Glue によりデータウェアハウスの構築作業が軽減され、分析環境が容易に作れる

AWS Glueとは？概要や始め方、料金をわかりやすく解説！

[【関連記事】【Pythonのライブラリ管理ツール】pipインストールを徹底解説！Windowsでも簡単？](https://and-engineer.com/articles/YcJyaRAAACMAl3BX)

[【関連記事】PythonのコードをEXE化するには? PyInstallerやその他ツールの特徴や使い方](https://and-engineer.com/articles/ZDZ41BEAAH-qRRlT)

[【関連記事】Pythonで自動化できること7選！面倒な作業を効率化してより便利に](https://and-engineer.com/articles/YRn2KRAAACIA6YPW)<br>

## 「Python in Excel」のパブリックプレビュー版を発表

*マイクロソフト社は2023年8月22日、「Python in Excel」のパブリックプレビュー版を発表しました。*ExcelでPythonを利用することによって、分析機能を大幅に進化させることが可能です。

また、PythonとExcelのデータ分析を同じワークブック内でネイティブに組み合わせることができるため、それぞれの用途に応じて最適な計算や表示が可能となりました。

【参考】：[Microsoft 365 Excel Blog: Announcing Python in Excel: Combining the power of Python and the flexibility of Excel.](https://techcommunity.microsoft.com/t5/excel-blog/announcing-python-in-excel-combining-the-power-of-python-and-the/ba-p/3893439)
【参考】：[Microsoft 365 Blog: Introducing Python in Excel: The Best of Both Worlds for Data Analysis and Visualization](https://techcommunity.microsoft.com/t5/microsoft-365-blog/introducing-python-in-excel-the-best-of-both-worlds-for-data/ba-p/3905482)

Pythonでできることは？初心者が作れるものや実用例を紹介

PythonでできることにExcel操作や自動化があるって本当？

### 「Python in Excel」の利用メリット

これまでも、データ分析やグラフ化などの用途でExcelの利用者は多くいました。Excelの持つ数式や関数のオートコンプリート、ピボットテーブルなどは大変便利です。その反面、データ数が多い場合や複雑な処理となると、Pythonとライブラリを用いた方が圧倒的に効率的でした。

*今回発表された「Python in Excel」では、Excel単一シート上でExcelとPythonをシームレスに組み合わせることが可能になります。*これにより、従来Excelが苦手とした高度なデータ処理や分析、可視化も、Pythonと組み合わせて効率的に行うことが可能になりました。

Pythonは機械学習や、予測分析に強みを持っており、そのメリットをExcelに活かすことができます。

### 「Python in Excel」を利用するには

*「Python in Excel」は、現在パブリックプレビュー版として公開されています。*利用するには、 「Microsoft 365 Insider Program」に参加してベータ チャネルのInsiderレベルを選択します。登録者には、順次ロールアウトが始まっており利用することができます。

【参考】：[Join the Microsoft 365 Insider Program](https://insider.microsoft365.com/en-us/join/windows)

*「Python in Excel」は、ExcelでPythonの得意とする高度なデータ処理や分析、可視化を可能とします。*さらに、Microsoft TeamsやMicrosoft Outlookなどのコラボレーションツールを用いて、ワークブックをチームで共有し、共同作業を効率的に進めることができます。

今回のリリースにおいては、Pythonコミュニティと協力して製品化を進めていると述べています。

【参考】：[Excel での Python の概要](https://support.microsoft.com/ja-jp/office/excel-%E3%81%A7%E3%81%AE-python-%E3%81%AE%E6%A6%82%E8%A6%81-55643c2e-ff56-4168-b1ce-9428c8308545)
【参考】：[Excel for Microsoft 365: Excel での Python の概要](https://support.microsoft.com/ja-jp/office/excel-%E3%81%A7%E3%81%AE-python-%E3%81%AE%E6%A6%82%E8%A6%81-a33fbcbe-065b-41d3-82cf-23d05397f53d)

### 「Python in Excel」の実行環境の構築

*「Python in Excel」は、Windows版Excelで動作します。*現時点では、Mac版やウェブ版、iPhoneやiPad、Androidでは使用することができません。Microsoft 365 Insider Programに参加して通知を受け取ったら、 Insiderビルドをインストールします。

### 「Python in Excel」のセットアップと使用

*「Python in Excel」の Insiderビルドをインストールしたら、まず空白のブックを開いて、リボンから「数式」を選択します。*表示か「Pythonの挿入」を選択するとダイアログが表示されます。ダイアログの「プレビューを試す」をクリックすると利用可能となります。

*ExcelでPythonを使うには、Excelのセルに”=PY”と入力すると、関数オートコンプリート メニューから「PY」を選択することができます。*あるいは、関数に”=PY()”と括弧を追加することで直接記述することもできます。

セルでPythonが有効になると、そのセルに緑の「PY」アイコンが表示されてPythonの入力が可能であることが分かります。

### 「Python in Excel」で用いるPython

*「Python in Excel」をインストールすると、Anacondaによって提供される標準のPythonライブラリセットが搭載されます。*matplotlib、numpy、pandas、seaborn、statsmodelsのコアライブラリはインポート済みです。

これ以外のライブラリもAnacondaが利用できるライブラリはインポートすることができます。

【参考】：[Excel のオープンソース ライブラリと Python](https://support.microsoft.com/ja-jp/office/excel-%E3%81%AE%E3%82%AA%E3%83%BC%E3%83%97%E3%83%B3%E3%82%BD%E3%83%BC%E3%82%B9-%E3%83%A9%E3%82%A4%E3%83%96%E3%83%A9%E3%83%AA%E3%81%A8-python-c817c897-41db-40a1-b9f3-d5ffe6d1bf3e)

Anacondaとは？Pythonの効果的な開発環境を解説！

Matplotlibでグラフ描画が簡単に？pipのインストール手順を解説！

NumPyとは？効率的なPythonのデータ分析手法を解説！

### 「Python in Excel」でのPythonを使った計算

*Python言語に基づく計算は、Microsoft Cloudで実行されます。*そのため、ローカルに別途Pythonをインストールする必要がありませんし、ローカルのPythonの設定をExcelに反映することもできません。

Microsoft CloudでのPythonコードの実行は、Microsoft 365に準拠したエンタープライズレベルのセキュリティで保護されており、安全性が確保されています。

### 「Python in Excel」での外部データの取り込み

Excelで一般的に外部データを取り込むには、「Power Query」を使用します。*「Python in Excel」の場合も、「Power Query」を用いてデータの整形や取り込みを行い、Pythonで分析することができます。*

使用するには、リボンの「データ」タブから「データの取得」を選択し、「他のソースから」「OData フィードから」を順に選択します。表示される「Power Query プレビュー」では、「データの変換」などの読み込みオプションを指定することもできます。

【参考】：[Excel での Python でのPower Queryデータの使用](https://support.microsoft.com/ja-jp/office/excel-%E3%81%A7%E3%81%AE-python-%E3%81%A7%E3%81%AEpower-query%E3%83%87%E3%83%BC%E3%82%BF%E3%81%AE%E4%BD%BF%E7%94%A8-028dbcd4-76c5-4aa4-831d-0e211fefc0a2)
【参考】：[Excel の Power Query について](https://support.microsoft.com/ja-jp/office/excel-%E3%81%AE-power-query-%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6-7104fbee-9e62-4cb9-a02e-5bfb1a6c536a)

### 「Python in Excel」でPythonを用いたプロットとグラフの作成

*「Python in Excel」でPythonを用いたプロットとグラフの作成では、Anacondaで導入可能なPythonライブラリが利用できます。*コアセットはあらかじめインポートされているため、そのまま利用することができます。

例えばグラフ作成・可視化ライブラリのseabornやmatplotlibを用いて、折れ線グラフ、ヒストグラム、散布図、あるいは立体グラフなどが作成可能です。

【参考】：[Excel プロットとグラフでの Python の作成](https://support.microsoft.com/ja-jp/office/excel-%E3%83%97%E3%83%AD%E3%83%83%E3%83%88%E3%81%A8%E3%82%B0%E3%83%A9%E3%83%95%E3%81%A7%E3%81%AE-python-%E3%81%AE%E4%BD%9C%E6%88%90-798b5e8d-ce45-4451-8da3-f269cdad5cff)
【参考】：[seaborn](https://seaborn.pydata.org/index.html)
【参考】：[matplotlib](https://matplotlib.org/)

### 「Python in Excel」でDataFrameを使用する

*「Python in Excel」では、pandasのオブジェクトであるDataFrameも利用可能です。*DataFrame内のデータは、Pythonのオブジェクトとしてではなく Excelの値として出力することもできます。

数式バーの「Python Output」Python出力メニューで「Python Object」あるいは「Excel Value」いずれかを指定します。

【参考】：[Excel DataFrames の Python](https://support.microsoft.com/ja-jp/office/excel-dataframes-%E3%81%AE-python-a10495b2-8372-4f0f-9179-32771fe0dc04)
【参考】：[pandas](https://pandas.pydata.org/docs/index.html)

## 「Python in Excel」はExcelのデータ分析機能を高めます

「Python in Excel」は、Pythonの高機能なデータ分析を、いつものExcelから実現することができます。Excelの良さを活かしながらも、シームレスにPythonを使用することが可能です。

Excelを使った自動化では、マクロやVBAには触れたことがあっても、「Pythonはできることが多くてもちょっと」という方も多いはずです。**そのようなPython未経験の方も、Excelから簡単にPythonのコードを実行したりグラフ化したりすることができますので、多くの利用者から賛同が得られることでしょう。**

データ分析の手法とは？転職に役立つ8つの手法や資格を紹介！

Pythonの機械学習ライブラリ厳選10選！メリット・デメリットも解説

マイクロソフト社は2023年8月22日、「Python in Excel」を発表しました。このリリースで、ExcelでPythonを利用することが可能となります。ここでは、マイクロソフト社の発表内容と「Python in Excel」のリリース概要を紹介していきます。

「Python in Excel」は、ExcelでPythonを実行しシームレスに連携することができます

Pythonの持つ、高度なデータ処理や分析、可視化をExcel上で可能にします

パブリックプレビュー版のため、「Microsoft 365 Insider Program」への参加が必要です

【excelでpythonが使える】Python in Excelの使い方や活用例を解説！

## Pythonでプログレスバーを作成する

*Pythonでは、処理中に進捗を表示させたい場合が多くあります。*データサイエンスで活用することが多いために、データの分析や機械学習など多くの場面が思い浮かびます。

ここでは、Pythonで比較的良く用いられる可視化ライブラリ、および自作のコードを用いた進捗表示のプログレスバーについて解説していきます。

Pythonによるデータ分析：入門情報から資格取得まで解説！

プログレスバーはそこまで複雑ではありませんが、以下の構成要素を覚えておくと良いでしょう。

・*プログレスバーの使用準備と初期設定*
ライブラリを用いる場合は、その読み込み（import）と使用の宣言などを行います。プログレスバーは決まった回数回す場合はループ回数を設定しておきます。

・*プログレスバーの実行*
ここでは、実際に行う処理を記述します。その後プログレスバーの表示を更新する処理を行い、進捗表示に反映させます。

・*プログレスバーの終了*
ここでは、ライブラリ固有の終了処理を宣言します。必要に応じて進捗表示の時間を遅らせる場合は、終了処理の前に疑似的にSleepを入れて表示を維持することができます。

## Pythonのプログレスバーを使ってみる

*Pythonでプログレスバーを使うには、tqdmやprogressbar2・PyPrindなどを使います。*また自前でコードを作成したり、GUIではtkinterを用いたりすることもできます。ここでは、これら5つの方法を使って、プログレスバーを実際に作成・実行し、解説していきます。

GUIとは？CUIとの違いやメリット・デメリットをエンジニア向けに解説！

### プログレスバーの出力の確認

プログレスバーを使うには、出力された表示にエスケープシーケンスを使用するのが一般的です。エスケープシーケンスは、ターミナル出力をエミュレーションする機能を用いて表示されます。そのため、使用する開発環境によっては、正しく表示されないことがあります。

次の図をご覧ください。これはPythonの標準IDE（統合開発環境）のIDLEを使用した例です。エディターウィンドウの「Run」「Run Module」のメニューからコードを実行できます（①）。

実行結果は、右のように表示されますが、先頭から表示するエスケープシーケンスが正しく表示されず、出力が時系列に表示されていることが分かります（②）。

~~　【図】：IDLEでの実行結果~~

次の図は、Google Colabでの実行結果です。Colabでは、実行ボタンをクリックすると、実行結果が表示領域に1行のみ表示されプログレスバーが順次更新されています（①②）。

~~　【図】：Colabでの実行結果~~

このように、*プログレスバーが正しく表示できない場合は、別の実行環境で実行し出力結果を確認するのが良いでしょう。*以降では、この表示の影響を考慮してPythonから直接実行した結果を用いて図解していきます。

IDLEを使ったPythonのプログラム開発！操作方法を解説

*tqdmは、良く用いられるプログレスバーのライブラリです。*使用するには、ライブラリをインストールする必要があり、“pip install tqdm”であらかじめインストールしておきます。以下は、コード部分の構成要素です。

・*プログレスバーの使用準備と初期設定*
ライブラリの読み込み（”import tqdm”）とtqdm()ライブラリをコールし、事前準備しておきます。ここではループ回数は10回にします。

・*プログレスバーの実行*
ここでは、実際に行う処理の代わりに疑似的に1.0秒Sleepを行います。その後プログレスバーの表示を更新する処理として、tqdm.update()をコールします。

・*プログレスバーの終了*
表示を1.0秒維持したのち、終了処理として、tqdm.close()をコールします。

実際のコードと実行結果は次の図をご覧ください（①②③④）。

この例では、進捗率と目盛りで進捗を表示しています。表示方法は、ライブラリコールで調整が可能です。

【参考】：[tqdm](https://tqdm.github.io/)

*progressbar2も、良く用いられるプログレスバーのライブラリです。*使用するには、ライブラリは、“pip install progressbar2”であらかじめインストールしておきます。以下は、コード部分の構成要素です。

・*プログレスバーの使用準備と初期設定*
最初にライブラリの読み込み（”import progressbar”）を行い、progressbar()ライブラリをコールします。開始するには、progressbar.start()をコールします。ここでもループ回数を10回にします。

・*プログレスバーの実行*
ここでは、実際に行う処理の代わりに疑似的に1.0秒Sleepを行います。その後プログレスバーの表示を更新する処理として、progressbar.update()をコールします。

・*プログレスバーの終了*
表示を1.0秒維持したのち、終了処理として、progressbar.finish()をコールします。

~~　【図】：progressbar2のコード~~

~~　【図】：progressbar2の実行結果~~

この例でも、進捗率と目盛りで進捗を表示しています。表示方法は、ライブラリコールで調整が可能です。

【参考】：[PyPi progressbar2](https://pypi.org/project/progressbar2/)
【参考】：[progressbar2](https://progressbar-2.readthedocs.io/en/latest/)

*PyPrindも、良く用いられるプログレスバーのライブラリです。*ライブラリは、“pip install pyprind”であらかじめインストールしておきます。以下は、コード部分の構成要素です。

・*プログレスバーの使用準備と初期設定*
最初にライブラリの読み込み（”import pyprind”）を行い、pyprind.ProgBar()ライブラリをコールします。ここでもループ回数を10回にします。

・*プログレスバーの実行*
ここでは、実際に行う処理の代わりに疑似的に1.0秒Sleepを行います。その後プログレスバーの表示を更新する処理として、pyprind.update()をコールします。

・*プログレスバーの終了*
表示を1.0秒維持したのち、終了処理として、pyprind.atop()をコールします。

~~　【図】：PyPrindの実行結果~~

この場合も表示方法は、ライブラリコールで調整が可能です。

【参考】：[PyPi PyPrind](https://pypi.org/project/PyPrind/)
【参考】：[PyPrind](https://github.com/rasbt/pyprind)

先に挙げた3種類のライブラリで、多くの表示に対応できますが、*要件に応じてよりカスタマイズしたい場合は自分でコードを作成することもできます。*自分でコードを記述するのでライブラリは不要となります。以下は、コード部分の構成要素です。

・*プログレスバーの使用準備と初期設定*
自分でコードを作成するため、ライブラリの読み込みは不要です。ループ回数を10回にします。

・*プログレスバーの実行*
ここでは、実際に行う処理の代わりに疑似的に1.0秒Sleepを行います。表示する文字列を作成する必要がありますが、要件に応じて決定することができます。

文字列はprint()で表示させますが、デフォルトでは現在の位置から表示して、改行されるようになっています。ここで重要なことは”\r”を出力して、行頭から表示させることです。end=””で、改行されずに表示させることができます。改行されても構わない場合は、”\r”やend=””を追加する必要はありません。

・*プログレスバーの終了*
終了処理も、ライブラリを使用しないので特別なコールは不要です。

自分でコードを作る場合は、表示形式は自分で決められるメリットがあります。ここでは、”#”の個数で進捗を表しましたが、例えば”\\”・”|”・”/”・”－”を順に表示し、処理中にぐるぐる回るような表示をさせることも可能です。

*tkinterは、Pythonの標準機能でGUIの構築や操作が可能なライブラリです。*標準機能ですので、ライブラリの追加インストールは不要です。GUIのウィジェットとしてプログレスバーを表示させることができます。以下は、コード部分の構成要素です。

・*プログレスバーの使用準備と初期設定*
ライブラリの読み込み（”import tkinter”、”inport ttk”）を行い、ウィンドウ作成を行っておきます。ttk.Progressbar()でプログレスバーをウィンドウに作成します。ここではループ回数は10回にします。

・*プログレスバーの実行*
ここでは、実際に行う処理の代わりに疑似的に1.0秒Sleepを行います。その後プログレスバーの表示を更新する処理として、ttk.Progressbar()[]の値を更新後windows.update()をコールします。

・*プログレスバーの終了*
ここではmainloop()で表示は維持されていますので、終了時にはウィジェットを閉じます。

~~　【図】：tkinterの実行結果~~

こちらは、ウィジェットを用いて進捗度を表示しています。ウィジェットに何を表示させるかは、自由に決めることができます。個別に別ウィンドウを表示させて、進捗を表示することも可能です。

【参考】：[Python Docs: tkinter --- Tcl/Tk の Python インターフェース](https://docs.python.org/ja/3/library/tkinter.html)

Tkinterのインストール手順から動作確認まで解説！

## Pythonのプログレスバーは大量データの処理に効果的

Pythonは、データサイエンス向けのライブラリが数多く公開されており、データ分析や機械学習などに利用されています。実行時間はデータ量に比例して処理量が増加しますので、完了予定時間や進捗度を表示することで、正しく動作していることも確認でき、有効です。

**プログレスバーのライブラリや自作コードは、1度作成しておくと再利用できますので、大量データの分析などを予定する場合は、あらかじめ準備することをおすすめします。**

Pythonと機械学習を学んでAI時代に対応できるエンジニアに

Pythonのおすすめ本21選！初心者・中級者・上級者別に解説

Pythonは、データサイエンス向けのライブラリが数多く公開されています。実行時間がかかる場合などでは、処理中に進捗を表示させたいことがあります。ここでは、Pythonで進捗表示のプログレスバーを使う方法を、それぞれのライブラリごとに図示し解説していきます。

大量データを扱うPythonでは、プログレスバー表示が有効です

専用のライブラリを使うほか、自作のコードでもプログレスバーの実装が可能です

プログレスバー利用することで大量のデータ分析時に実行完了までの予測が可能です

Pythonでプログレスバーを使うには？実際のコードを図解！

*AWSは、世界最大の利用者数を抱えるクラウドサービス事業者です。*AWSは自社サービス提供エリアにおいて均一なサービスを提供するために、地域を物理的なロケーションに分割してサービスを提供しています。この**物理的なロケーション分割単位がリージョンです。**

AWSはサービスの豊富さと提供範囲の広さが特徴です。そのため、継続的にサービス提供地域を拡大し、対象地域をカバーするリージョンを開設しています。

【参考】[AWS グローバルインフラストラクチャ | AWS](https://aws.amazon.com/jp/about-aws/global-infrastructure/)

AWSのリージョンとは？リージョン一覧と日本のリージョンを解説！

### AWSのアベイラビリティゾーンとは？

**AWSのアベイラビリティゾーン（AZ）とは、1つのリージョンを冗長性・信頼性・可用性を確保した1つ以上のデータセンターで構成する単位を指します。**アベイラビリティゾーンは複数の独立した場所に設置されており、冗長的な電力源・ネットワーク・接続機能によって個々のアベイラビリティゾーンが相互に接続して運用されています。

**AWSローカルゾーンはAWSのリージョンを拡張し、レイテンシーの影響を受けやすいアプリケーションをエンドユーザ近接の地域で実行させるもの**です。AWSローカルゾーンは、ミリ秒単位のレイテンシーが求められるアプリケーション向けに提供されています。

基礎知識の記事（19ページ目）