近年、仮想化ソフトウェアの利用が増加しています。類似する技術である*コンテナ仮想化が、これまでの仮想化ソフトウェアを上回る勢いで急拡大しています*。ここではその代表的なソフトウェアであるDockerとKubernetesについて入門情報を説明し、違いを理解していきます。

Dockerは、*コンテナ仮想化によるOSレベル仮想化プラットフォームソリューションです*。Dockerイメージを用いたコンテナ仮想化システムを構築することで、開発ライフサイクルの効率性を高めることができ、DevOps等で活用されています。
【参考】：[Docker](https://www.docker.com/)

Dockerとは？使いどころやメリット・デメリットについて解説！

Dockerはホストカーネルを利用しているために単一OS上で複数のコンテナが実行できます。OSで用いるシステム資源は少なくメモリー効率性が高いので、コンピュータリソースをより多くコンテナアプリケーションに割り当て可能です。*Dockerを一言で言うと「軽量で速い」ことがメリットです*。環境をイメージとして登録できますので、複製が容易で配布がしやすいメリットもあります。

Dockerのメリットを徹底解説！仮想マシンとは何が違う？

アプリケーションを実行するためには、アプリケーション実行コード・ランタイムライブラリや、依存ライブラリ等が必要です。アプリケーション自体の設定ファイルも必要です。このファイル準備作業は、従来の業務ではサーバーの数が一定のため、さほど手のかかる作業ではありませんでした。

しかしウェブアプリケーションのように、大量のサーバーにアプリケーションを分散するようになると、作業の支障がでてきました。各サーバーにアプリケーションを導入し起動したり、あるいはアプリケーションの設定を差し換えて起動したりとなると、バージョン管理や構成管理等手順の統一が必要となってきます。

コンテナでは、アプリケーション実行コードとランタイムライブラリおよび依存ライブラリをコンテナ化し、イメージ化することでデプロイが簡単になります。実行環境に合わせてコンテナの設定をカスタマイズするだけで準備が完了しますので、ちょっとした*アプリケーションを分散しデプロイするのに最適な仮想化ソリューションとして利用が拡大しました*。

Dockerコンテナでは、仮想マシンと異なりホストカーネルを利用し仮想化を実現しています。そのため、ホストカーネルからはプロセスとして動作します。プロセスはホストカーネルから見ると、他のプロセスと独立して動作しますので、*システムオーバーヘッドが少なく管理も簡単に行うことができます*。

Dockerイメージは、Dockerコンテナで用いる動作環境テンプレートです。アプリケーション実行に必要な変数・コマンドやメタデータを含みます。DockerはDockerイメージを用いてコンテナ化されたアプリケーションを実行します。DockerfileをビルドすることでDockerイメージを生成します。

エンジニア初心者でも分かる！Dockerコンテナの超入門！

Dockerリポジトリとは、*Dockerイメージの保管場所を指します*。またイメージの保管サービス全体をレジストリと言います。Dockerイメージの公開レジストリでデフォルト利用される提供サイトはDocker Hubです。

Kubernetesは、*コンテナのオーケストレーションを行うソフトウェアです*。アプリケーションコンテナをデプロイし、管理します。Kubernetesではクラスタ内でデプロイ・スケール・管理を実行できます。そのため可用性が向上し、企業向けに活用が進んでいます。
【参考】：[Kubernetes](https://kubernetes.io/ja/)

オーケストレーションとは、*コンピュータシステムのサービス設定や提供・管理の各種手続きを自動的に行う考え方です*。オーケストレーションによって全体の効率向上・品質向上・スピード向上を実現します。オーケストレーションの対象は幅広く、ビジネスプロセスから業務サービスまで多岐に渡ります。

ここではオーケストレーションの対象を、コンテナオーケストレーションとします。コンテナオーケストレーションとしては Kubernetesが代表的なソリューションです。この他、Docker社のDocker Swarmもコンテナオーケストレーションのソリューションとして開発提供されています。

KubernetesはアプリケーションをPodという単位で管理します。Podの集合体をサービスと言います。Kubernetesはコンテナ管理において以下のメリットがあります。

・*管理対象を抽象化し簡素化が可能*
管理対象はPodやサービスであり、インフラをノード（Node）として管理します。そのため、コンテナと実行マシンを厳密に結び付けずに簡単な操作で管理が可能となります。

・*クラスタの利用*
Kubernetesクラスタを利用するために、各ノードへのPodのスケジュールやクラスタ内デプロイが簡単にできます。負荷分散のためのスケーリングも簡単に行うことができます。

・*可用性・耐障害性の向上*
Nodeに障害が発生した場合自動復旧を行いますし、Podの障害発生の自動復旧を設定可能です。このため、スケーリングと併用することで耐障害性の向上が可能です。

上記の基本的な特性・メリットを活用し、Kubernetesでは自動化ソリューションとして大量のコンテナを管理し、短期間でデプロイすることが可能となりました。

2020年にKubernetes公式Blogで告知されたように、Dockershimは1.20で非推奨となっています。Dockershimとは、Dockerに対応するランタイムインターフェイスです。実際にはDockershimを介さずに、ContainerdのCRIプラグインにより、*kubeletとのランタイムインターフェイス接続が可能です*。今後もDockerコンテナを利用する上では問題なく利用できます。
【参考】：[Dockershim Deprecation FAQ](https://kubernetes.io/blog/2020/12/02/dockershim-faq/)
【参考】：[Migrating from dockershim](https://kubernetes.io/docs/tasks/administer-cluster/migrating-from-dockershim/)
【参考】：[Dockershim removal is coming. Are you ready?](https://kubernetes.io/blog/2021/11/12/are-you-ready-for-dockershim-removal/)

コンテナエンジンとしては、Dockerが有名です。Dockerは、デベロッパーがOSの設定や管理に時間をかけずにアプリケーション開発に専念し、さらにデプロイをすぐしたい、という要求から開発されました。そのためDevOpsのようにソフトウェアのビルド・テスト・デプロイと運用を短サイクルで運用連携する際に効率的に利用できます。

また、環境の複製やテンプレートの利用も可能ですので、同等のソフトウェアを利用したサービス展開にも柔軟に対応できます。さらにDockerの仕組みを利用することで運用までの作業手順書を標準化したり、簡素化したりすることができます。

Dockerは必要なコンテナソフトウエア機能が含まれますので、単一ノードで足りる場合はDockerをそのまま利用することも選択肢となります。しかし、利用が拡大してくるとコンテナ間で処理を連携するオーケストレーションのニーズが高まってきました。

Kubernetesはサーバーインフラ（Node）をまたがるコンテナ仮想化に対応し、大規模システムに適したクラスターを構成可能です。そのため、コンテナオーケストレーションを重視する場合はKubernetesを利用するケースが多数を占めています。

Docker単体では足りないクラスター機能ですが、現在Swarm modeとしてDockerエンジンにSwarmの機能を統合しています。しかしながらKubernetesもDockerのオーケストレーションモジュールとして採用されていますので、大多数のユーザはKubernetesを選択しているのが実情です。
【参考】：[Docker Orchestration](https://docs.docker.com/get-started/orchestration/)

これらを比較整理すると、単一ノード構成はDockerを、複数ノード構成はKubernetesを選択します。さらに*自動化・障害復旧のオーケストレーション機能が必要な場合はKubernetesを、不要な場合はDocker単体を選択すると良いでしょう*。

### DockerからKubernetesに移行するには

DockerからKubernetesに移行するには、MinikubeとKomposeを用います。Minikubeは、Kubernetesクラスターをローカルで環境構築・実行してくれます。手っ取り早く利用することができます。Komposeは、Docker Composeファイル（設定ファイル）をKubernetes用に変換してくれます。*要望に合わせてツールを選択することができます*。
【参考】：[Kubernetes ツール](https://kubernetes.io/ja/docs/reference/tools/)

## 今後オーケストレーション機能がより重視されます

オーケストレーション機能は、管理を単純化し・高速・短期間のデプロイを容易にします。さらに負荷分散や障害復旧等の可用性向上をもたらします。コンテナ利用は従来の用途から業務範囲を拡大しており、より重要度の高い基幹業務用途でも徐々に利用されてきています。

そのためKubernetesの提供する**オーケストレーション機能は、コンテナ利用で必須のソリューションとして一層利用されると考えられます**。ぜひ必要なスキルアップを進めておくことをおすすめします。

昨今、仮想化ソフトウェアの利用が増加していますが、コンテナ仮想化技術がさらに利用者を増やしています。ここでは、その代表的なソリューションであるDockerとKubernetesについて、その概要とメリットおよび使い分けのポイントをお伝えしていきます。

Dockerは、コンテナを用いたOSレベル仮想化プラットフォームソリューションです

Kubernetesは、コンテナを効率的に利用するオーケストレーションソフトウェアです

単一ノードでオーケストレーション不要の場合はDockerを、それ以外はKubernetesを選択します

DockerとKubernetesの概要・使い分けポイントを解説

## 初心者でも分かるDockerコンテナ

エンジニアの皆さんは、Dockerやコンテナという言葉を耳にしたことがあるでしょう。仮想化の一種であることは分かっても、なかなかイメージがつかみづらく、理解が難しく思えますが、実は意外にシンプルな概念です。

ここでは、**Dockerコンテナに照準を当て、エンジニアの皆さんにぜひ知ってほしいことを中心に分かりやすく解説**をしますので、ぜひ最後まで読んでください。

【参考】：[ホーム-Docker](https://www.docker.com/)

皆さんは「コンテナ」と聞くと、何をイメージしますか？物流のコンテナをイメージする人も少なくないでしょう。確かに「コンテナ」は物流の世界ではよく利用されています。行き先ごとにコンテナに荷物をまとめ、コンテナ単位で船や列車、トラックにそのまま積み、目的地に運べます。

そのため、物流途上での積み替えや振り分けなど、無駄な作業が省け、効率的な物流を実現できます。Amazonはこのコンテナ物流を利用したことで今の地位を築いたとも言われています。

このように**物流業界では「コンテナ」による物流革命が起きましたが、ITの世界でも「コンテナ」が1つの革命を起こした**のです。それが「Dockerコンテナ」です。イメージとしては、次のような関係になります。

　　　　　　　　　　　　　　　*【コンテナA】【コンテナB】*

　　　　　　　　　　　　　　　　　　  *【Doker】*

　　　　　　　　　　　　　　　　　　　 *【OS】*

　　　　　　　　　　　　　　　　　　*【サーバー】*

### コンテナとはユーザー空間のこと

先ほどのイメージをより分かりやすく説明すると、サーバーにはOSがあり、さらにOSとコンテナを動かすためにDocker（エンジン）があります。コンテナはユーザー空間と呼んでも構いません。通常、*ユーザー空間は1つのOSに対して1つですが、Dockerではユーザー空間をコンテナとして複数設けることが可能*です。

**コンテナの中身はアプリケーションとミドルウェア、OSの一部（ライブラリーなど）**です。コンテナはOSのカーネルを利用して、それぞれが独立して動きます。

### Dockerコンテナ環境と仮想マシン環境との違い

ここまでの説明で、多くの方は「ただの仮想環境と何が違うのか？」と思われたかもしれません。確かに仮想マシンを実現する「ハイパーバイザー」と「Docker」の機能は似ているように思いますが、実は次の点で大きく異なっています。

*「仮想マシン環境」では「ハイパーバイザー」の下に「ゲストOS」を立て、その下でアプリケーションが動きます。*つまり、仮想マシンはOSそのものの仮想化です。ハイパーバイザーの詳細については後述します。

一方の「コンテナ型仮想環境」では、「ハイパーバイザー」と同じ位置に「Docker」があり、その下に「コンテナ」が複数あります。「コンテナ」にはOSライブラリー、ミドルウェア、アプリケーションが搭載されていると説明しましたが、Dockerの仮想化対象はコンテナです。

「仮想マシン環境」では必ず「ゲストOS」が必要ですが、**「コンテナ環境」ではアプリケーションを動かす際にサーバーOSのカーネル部分を、カーネル以外の部分はコンテナ自体のOSライブラリーを利用するため、ゲストOSを必要としません。**

上記の説明で簡単に紹介したハイパーバイザーについて、ここで詳しく解説します。**ハイパーバイザーとは、物理サーバー上に仮想環境を構築するためのソフトウェアのこと**です。

ハイパーバイザーには、ホストOSにインストールして使うホスト型ハイパーバイザーと、ホストOSにインストールしないネイティブ型ハイパーバイザーの2種類があります。

ホスト型ハイパーバイザーはOS上でソフトウェアとして稼働することで、OSの上でいくつもの仮想環境を動作させることができます。ホスト型ハイパーバイザーにはVMware Workstation Player・VMware Fusionなどがあります。

一方ネイティブ型ハイパーバイザーは、ハードウェア上で直接プログラムを稼働することで仮想環境を構築します。ネイティブ型ハイパーバイザーにはVMware vSphere・KVMなどがあります。

【参考】：[VMware Workstation Player のダウンロード | VMware | JP](https://www.vmware.com/jp/products/workstation-player/workstation-player-evaluation.html)

【参考】：[KVM](https://www.linux-kvm.org/page/Main_Page)

コンテナ型の仮想化技術はさまざまあります。LinuxベースのOpenVZなどもコンテナ型仮想化の1つです。そうした**コンテナ型仮想化技術を用いたサービスの中で、最も利用されているのがDocker**です。

*Dockerは、2013年にDocker社からリリースされ、Windows、Linux、Macなどのさまざまな環境で動作できる*点が特徴です。

またDockerにはKubernetes（クベルネテス）やDockerUIなどのGUI管理ツールを用いて、コンテナ管理や自動化が行えるメリットがあります。

現在、Dockerはクラウドの3大サービスであるAWS、Azure、GCPでも対応が進められています。

AWSのコンテナについて初心者にも分かりやすく解説！

クラウドエンジニアを目指す方必見！Azureを分かりやすく紹介！

GoogleのGCPについて知り、エンジニアのスキルに生かそう

## Dockerコンテナの利用メリット

コンテナ型仮想化技術を用いたDockerを利用すると、どんなメリットがあるのでしょうか？メリットを確認することで、Dockerに対する理解をさらに深めましょう。 

### 起動までの時間を大きく短縮できる

一般的な仮想サーバーでは、ゲストOS単位で仮想サーバーが生成されるため、OSの起動から利用可能な状態になるまで分単位の時間を要しますが、**コンテナ型仮想化では、コンテナ起動に掛かる時間は数秒程度です。**この身軽さ、素早さは大きな利点です。

*開発したシステムを動かすためには、同一環境を別のマシンで準備*しなければなりません。同一環境の構築の手間、環境確認や環境テストなど、多くの手順が必要です。しかし、**Dockerは環境が丸ごと提供されるため、少ない手順でスピーディーに同じ環境を再現**できます。

### Dockerイメージの配布により開発環境構築の時間が短縮できる

作成した*Dockerイメージはパッケージとして配布*できます。これにより、システム開発などで別のアプリケーションを動かす際にも、**Dockerイメージを利用すれば同一環境となり、環境のずれを防止できます。**Dockerイメージは開発環境を準備する時間の短縮にもおすすめです。

### ハードウェアリソースを削減できる

コンテナ自体は、アプリケーションの実行に必要なものだけに限定され、またホストOSのカーネル部分だけを使用するため、**無駄がなくパフォーマンスが向上し、リソースの削減も実現**します。

Dockerの特徴としてはコンテナ共有化サービスの『Docker Hub』があります。**『Docker Hub』を通じて世界中の開発者の成果物が共有**できます。これによって、よりレベルの高い優れたイメージを効果的、効率的に活用できます。

また、『Docker Hub』ではWebサイト構築に利用するWordPressやPHP、MySQLなどの環境がコンテナイメージとして提供されていますので、これらを利用してローカルに簡単にコンテナ環境を作成することも可能です。

【参考】：[Docker Hub Container Image Library | App Containerization](https://hub.docker.com/)

### インフラ調達は後回しにできる

一般的なシステム開発では、サーバーなどのインフラ環境を先に整えますが、Dockerコンテナでは、まずはアプリケーション作りから始めて問題がありません。アプリケーション開発が進んだところで、**コンテナ単位で本番環境に乗せればよいので、システムエンジニアはインフラを気にせず開発に専念**できます。

ロールバックの時間が速く簡単なことも、Dockerのメリットの1つです。ロールバックとは、日本語で「後退」「巻き戻し」という意味で、PCの状態を指定したところまで戻すことを言います。

開発やテストを行う上で、バージョンアップや処理を繰り返すことは多いです。そのため、バージョンアップする前や処理を実行する前の状態に戻すのに時間がかかると、作業効率が悪くなります。

ロールバックが速く簡単なことは開発・テスト作業を行う上で重要です。**Dockerコンテナは状態の差分を保存するため、ロールバックの時間が速く簡単なのがメリット**です。

良いことだらけに見えるDockerコンテナですが、デメリットもあり、必ずしもオールマイティではありません。そのため利用する際には、デメリットを意識し、対策が必要な場合があります。以下、**Dockerコンテナのデメリットを挙げますので、メリットと同様に認識しましょう。**

**Dockerコンテナは1つのOSに依存するため、OSの自由度はありません。**コンテナはホストOSのカーネルを使って動作します。したがってWindowsOS上で直接Linuxコンテナは動作させられません。同一マシン上で異なるOSを動作させるにはホスト型の仮想マシン環境が必要です。

コンテナはホストOSへの依存度が高く、個別にOSを立てるホスト型の仮想マシンと比較して、OSとの分離レベルが低いというデメリットがあります。**OSの脆弱性などに対する外部からの攻撃に対しては、すべてのコンテナが危険にさらされるため、細かいケアや対策が求められます。**

### Dockerファイルを作成するための知識が必要

**Dockerコンテナは便利なシステムである一方、使いこなすのが難しい**と感じることがあります。Dockerコンテナは使用する容量を少なく効率化するため、独自のファイルシステムを使用しています。このファイルシステムを理解するのが難しいと感じる場合があります。

## Dockerコンテナに関する疑問を解消

Dockerコンテナに関して、ある程度理解は進んだでしょうか？ここでは、**Dockerコンテナに関するよくある疑問について解説します。**

### Dockerコンテナの製品やサービス

Dockerコンテナを実際に製品やサービスとして提供しているものには何があるのか紹介します。

*▪Docker Hub*
**Docker Hubは、開発者が作成したコンテナをWeb上に公開・共有できるサービス**です。公開されているコンテナはダウンロード可能で、他人が作成したコンテナを利用してローカルにコンテナ環境を作成することもできます。

なお、2019年にDocker Store・Docker CloudはDocker Hubに統合されました。

【参考】：[DockerHub-Docker](https://www.docker.com/products/docker-hub/)

*▪AWS Fargate*
AWS Fargateとは、**「Amazon ECS（Elastic Container Service）」および「Amazon EKS（Elastic Kubernetes Service）」 で動作する、コンテナ実行環境**です。

コンテナ向けのサーバーを意識せずに利用できるクラウドサービスです。Googleの「Google Cloud Run」、Azureの「Azure Container Instances」なども同様のサービスです。

【参考】：[AWS Fargate（サーバーやクラスターの管理が不要なコンテナの使用）| AWS](https://aws.amazon.com/jp/fargate/)

*▪Docker Desktop*
**パソコンなどのローカル環境で簡単にDockerコンテナの開発環境を構築、導入できるソフト**です。WindowsやMacなどのOSに対応しています。個人向けプランは無償ですが、企業向けプランは有料化されています。

【参考】：[Docker Desktop - Docker](https://www.docker.com/products/docker-desktop/)

エンジニア必見！ Docker Desktop有料化の影響と対策

### Dockerのインストールと実行方法

Dockerは皆さんのパソコンにインストールをして実際に試すことができます。**インストールは『Docker Hub』から入手**します。以下のサイトでインストール、実行方法などを確認してください。

【参照】[Docker Desktop](https://docs.docker.jp/desktop/toc.html)

**パソコンにインストールしたDockerを利用するには、コマンドを用います。**Windowsであれば、コマンドラインを開いて、直接コマンドを打ち込みます。よく使うコマンドの例を挙げます。

*>docker version*
インストールされているDocker Engineのバージョン情報を確認します。

*>docker ps*
動作中のコンテナ一覧を表示します。

*>docker ps -a*
停止中のコンテナも含めて全てのコンテナを一覧表示します。

*>docker images*
現在取得済みのDockerイメージの一覧を表示します。イメージは主に「Docker Hub」から取得できます。

*>docker pull [イメージID]*
イメージをローカルに取得する際に使うコマンドです。

*>docker create --name [コンテナID] [イメージID]*
取得したイメージからコンテナ作成を行うコマンドです。 

*>docker start  [コンテナID]*
コンテナを実行するコマンドです。

*>docker stop [コンテナID] *
コンテナを停止するコマンドです。

*>docker cp*
コンテナのコピー、ファイル転送するコマンドです。

いかがですか？すでにDockerイメージがあれば、以上のコマンドだけでDockerコンテナのイメージを取得し、コンテナの作成と実行ができます。

## Dockerコンテナは必ず押さえておくべき技術

仮想化技術には、大きく分けるとOSの仮想化とコンテナ（ユーザー空間）の仮想化があります。ここではコンテナ仮想化のDockerについて採り上げ、その概念やメリット、デメリットなどを解説します。Dockerはエンジニアには必須技術ですので、ぜひ学んでください。

Dockerは、Docker社が提供するコンテナを仮想化するコンテナ型仮想環境実現ツール

従来型のホスト型仮想環境と異なり、コンテナ型仮想環境はゲストOSが不要である

Dockerイメージとはテンプレートであり、DockerコンテナとはDockerイメージを実行してできる仮想実行環境である

Snowflakeは、米国シリコンバレーで2012年に創業のSnowflake社が提供するSaaS（Software as a Service）型データプラットフォームの名称です。

ビッグデータに代表されるよう、膨大なデータがあふれている昨今、さまざまなデジタルデータの格納が可能な大容量ストレージとして、「データレイク」に対する期待が高まっています。

**Snowflakeはクラウド型データウェアハウス（DWH）として知られていますが、さらに「データレイク」を処理するのに適した「データプラットフォーム」としても各分野から注目が集まっています。**

Snowflakeはこれまでの伝統的なDWHと比較して柔軟性が高く、AWS・Azure・GCPなど他のクラウドパートナーのサービス上で動作します。クラウド型DWHとしては、すでに「Amazon Redshift」※1や「Google BigQuery」※2などがありますが、Snowflakeはこれらのユーザーまで取り込んでおり、今後の動きが注目されます。

*【参考】：[SNOWFLAKE　データクラウド｜公式サイト](https://www.snowflake.com/snowflake-cloud-data-platform/?lang=ja)*

*【参考】：※1[Amazon Redshift｜AWS公式サイト](https://aws.amazon.com/jp/redshift/)*

*【参考】：※2[BigQuery｜Google Cloud公式サイト](https://cloud.google.com/bigquery?hl=ja)*

IaaSとPaaSの違いを知り、クラウドに強いエンジニアになろう！

多くの人がSnowflakeの名前の由来や意味が気になることでしょう。**Snowflakeは日本語の「雪片」の英語です。雪片は雲（クラウド）から生まれます。**

ここにSnowflakeの名前の由来があるようです。Snowflake社も同様の質問を受けることが多いようで、同社の公式ブログで名前の由来について紹介していますので、興味のある方は目を通してみてください。

*【参考】：[「Snowflake」という名前の背景｜Snowflake公式ブログ](https://www.snowflake.com/blog/behind-snowflakes-name/?lang=ja)*

Snowflakeはクラウド型のデータウェアハウス（DWH）ですが、データウェアハウスとは何なのでしょうか？データウェアハウスの類似語にデータマートがありますが、その違いと先ほど登場したデータレイクとの関係についても探ってみましょう。

**データウェアハウスの意味は「データの倉庫」です。指定した形式で必要なデータを一括保存し、直ちに分析できるようにデータベース化をして利用します。**

例えば自社の顧客の買い物情報を一括保存しておき、「いつ、誰が、どんな商品を、どれだけ買ったか」といった情報をデータウェアハウスによって調べることができます。

データウェアハウスには業務などで必要なデータが全て保存されており、データの分析を行う人は、データウェアハウスにアクセスすることで、必要な情報をすぐ入手し、分析したり、生産活動や販売活動に生かすことができます。

このように、データウェアハウスはビッグデータが注目を浴びる以前から、企業などのデータの保存や活用に利用されていました。データウェアハウスと似たものにデータマートとデータレイクがあります。

データウェアハウスは企業活動などで得られたあらゆるデータが格納されており便利ですが、いざ必要な情報を得ようとした時に、必要のないデータが多くあり、やや不便です。

そこで、データウェアハウスの**データを部門単位などで分けて、データベースにしたものがデータマートです。**部門の担当者はデータマートにアクセスすれば、自部門に必要な情報を直ちに入手できます。

データベースとは？今更聞けないその内容をITエンジニアとして改めて学ぶ

**データレイクは、最近、ビッグデータの保存形式として注目を浴びているサーバーのタイプです。**

ビッグデータには従来のテキストデータに加え、画像、動画、SNSなどのそれぞれ形式が異なるデータが集められていますが、これをデータウェアハウスで管理するためには、形式ごとにデータ加工が必要となり、データベース化するための手順が煩雑になります。

データレイクでは「タグ」と呼ばれるキーワードのようなものを付けて、異なる形式のデータを同じ場所に保存します。これによって異なる形式のデータをまとめて同時に比較や分析を行うことが容易になり、さまざまな切り口から多面的な分析が行えるようになります。

これがデータレイクの強みですが、データの用途などを考慮せず、あらゆるデータを保存しようとすると、逆にデータを取り出しにくくなり、分析などが行いにくくなるため、データの活用という視点から保存や管理を行うべきです。

## Snowflakeは何がすごい？その特徴とは

企業活動などでは、データ活用が重要な鍵になっていますが、データの収集からデータ統合、データ変換、データの正規化、データ活用に至るまで、さまざまなプロセスを経るため、多くの労力を消費します。

一方で、Snowflakeを利用すると、データ分析環境の構築が容易で、運用効率を大きく向上させることが可能です。

**Snowflakeの最大の特徴は、ストレージとコンピュータのリソースを完全に分離した、Snowflake社独自のアーキテクチャにあり、複数のワークロードを大規模な並列処理ができる点です。**これがSnowflakeの高いパフォーマンスを支え、さらに次のような優れた機能によって高い信頼性を保っているのです。

Snowflakeの特徴について、機能面から見ていきましょう。

*【参考】：[Snowflake　データクラウド｜公式サイト](https://www.snowflake.com/snowflake-cloud-data-platform/?lang=ja)*

一般的に、データの格納場所（ストレージ）とデータ処理（コンピュートリソース）は1つにまとめられていますが、Snowflakeではそれらを分けたアーキテクチャを採用しています。

たとえば自分の保管データに、他者の管理するリソースを利用してアクセスすることが可能となっています。これらの機能は「データシェアリング」と呼ばれています。

これまで、データの格納場所と処理する場所が異なる場合は、必要なデータの複製を他者に送っていましたが、**「データシェアリング」では自分のデータを直接他者に見せることで、データ複製に伴うリスクや作業が解消されるというメリットを得られます。**

AWSやGCPなどにもデータウェアハウスサービスはありますが、他社のデータウェアハウスとの連携はできません。しかし、Snowflakeでは**マルチクラウドを前提とした環境を採用しており、クラウド間を越えてデータの連携が可能です。**

Snowflakeはニアゼロメンテナンスをポリシーとし、**データメンテナンスに掛かる時間を最小限にしています。**これを支える機能として、データを元に戻せる「タイムトラベル機能」、データウェアハウス環境のコピー時間を数秒に抑えられる「ゼロコピークローン機能」を有しています。

データウェアハウスの作成に、他製品では数分程度を要しますが、**Snowflakeは作成/停止を短時間で行うことが可能です。**

また停止も秒単位で行えるため、稼働時間で課金される従量制料金体系では無駄なコストの発生を防げます。

Snowflakeは**マルチクラウド環境を採用しているため、データの移行が簡単です。**たとえばAWSにあるデータをGCPに移行するには大変な労力とコストが掛かりますが、Snowflakeでは移行のコストを最小限に抑えることが可能です。

データベースエンジニアの多くは、データベースのパフォーマンスを上げるために、サーバー増強やクエリーのチューニングに力を注いでいますが、Snowflakeでは現在の環境を止めずに、リソースの割り当てをGUI上で増やすといったことが短時間で行え、**素早くパフォーマンス改善が行えます。**

それによって簡単に処理の高速化を実現しています。

ここまで、Snowflakeの概要や特徴となる機能について見てきましたが、**Snowflakeを導入するメリットはどのようなものがあるのか、確認しておきましょう。**

Snowflakeは高速なデータ処理を強みとしており、これまでのデータウェアハウスでは不可欠だった、パフォーマンスチューニングに労力をかける必要がありません。Snowflakeは、ストレージとは切り離された処理層でクエリを実行します。

さらに**大規模並列処理を用いてクエリを処理することによって、高速なデータ処理を実現しています。**

SaaS型で提供されるSnowflakeは、ハードウェアやソフトウェアを自社で保有する必要がありません。インフラ管理を完全にディストリビューターに任せることができ、ソフトウェアやデータの管理も不要です。

そのため、Snowflakeを採用すると、従来のデータウェアハウス運用で時間がかかっていた**データウェアハウスに関する管理業務が不要になり、本来の目的である分析や集計業務に専念することができます。**また、クエリなどの知識がなくとも、管理コンソールから分析が行える点は大きなメリットと言えます。

ここまで紹介したように、Snowflake はクラウドベースのデータウェアハウスです。

データウェアハウスの構築はハードルが高いイメージがありましたが、**Snowflake はSaaS 型のサービスとして登場し、コンピュート部分とストレージ部分が完全に分離されたアーキテクチャを持つことで、それぞれが柔軟にスケーリングできる先進的なサービスであることが分かりました。**

Snowflakeには30日間無償トライアルが用意されており、下のリンクから申し込みができます。アカウントを作成し、登録すると30日間無償、400ドル分のクレジットが提供されます。クラウドプラットフォームとしてAWS、Azureのいずれかを選択できます。

登録後にアクティベートを求めるメールが届きますので、メールに従ってアクティベートを行うと管理コンソールに飛びます。この管理コンソールからデータベースの作成、SQLの実行、データウェアハウスの作成などができます。

データベースを学んでいる方、クラウドを勉強している方はぜひ一度利用してみることをお勧めします。

*【参考】：[30日間の無料トライアルを開始｜Snowflake 公式](https://signup.snowflake.com/?_l=ja)*

ITエンジニアなら知っておくべきAWS入門とAmazon EC2

AzureとAWSの違いは？概要からサービスまで比較解説！

「Snowflake」はSnowflake社のSaaS型クラウドDWH（データウェアハウス）サービスです。ビッグデータ解析に必要なDWHを瞬時に構築でき、高速でデータ分析や集計が行えます。この記事ではSnowsoftの概要や特徴、メリットについて解説します。

Snowflakeはストレージとコンピュータのリソースを完全に分離した、独自のアーキテクチャが特徴

Snowflake採用によって、チューニングや管理業務から解放され、データ分析や集計に集中できる

Snowflakeは30日間無償トライアルを利用してデータウェアハウスの構築や活用の体験ができる

Snowflakeとは？次世代クラウドデータウェアハウスを徹底解説！

Kaggleは、予測モデリングを行う会社とそのサービスを表します。Kaggleでは予測モデリングや分析手法のプラットフォーム運営を行いながら、*設定課題にむけて研究者がデータを投稿してモデルの良し悪しを競争し、手法のブラッシュアップを図っています*。
【参考】：[kaggle](https://www.kaggle.com/)

Kaggleは登録会員800万人を超える、*最大のデータサイエンス向けCompetition（コンペ）サービスプラットフォームとなります*。企業とデータサイエンティストとのマッチングがされるメリットがあるほか、自己学習のインプットと競争によるアウトプットが実現できる場としても有効です。
【参考】：[Unique Kaggle Users](https://www.kaggle.com/tunguz/unique-kaggle-users)

Kaggleを始めるには、公式サイトの右上「Register」をクリックし無料会員登録を行います。会員登録のアカウントはGoogleアカウントを用いるか、Eメールを使いサインインします。
【参考】：[Kaggle Register](https://www.kaggle.com/account/login?phase=startRegisterTab&returnUrl=%2F)

データサイエンティストとは？おすすめの資格から年収まで解説

Kaggleのサイトのカテゴリーは、*「Competitions」「Datasets」「Code」「Course」に分類されています*。
【参考】：[Competitions](https://www.kaggle.com/competitions)
【参考】：[Datasets](https://www.kaggle.com/datasets)
【参考】：[Code](https://www.kaggle.com/code)
【参考】：[Courses](https://www.kaggle.com/learn)

Competitions（コンペティション）はいわゆるコンペで、機械学習・データ分析のベストなアルゴリズムを競い合います。賞金が得られますので、優秀なアイデアが集約できるメリットがあります。Datasetsデータセット）はデータサイエンスや機械学習で用いるデータの集合体です会員・コミュニティはデータを活用し、分析に役立てることができます。

Code（コード）では、データサイエンスと機械学習のコードが集約されており、データ分析にすぐ活用できます。Learn（学習）では、AI学習プラットフォームとして16の各コースを無償利用し、修了認定を受けることができます。

Kaggleのコード編集・デバッグ・実行は、Kaggle Notebook（ノートブック）を用います。アカウントにサインイン後に、左上の「＋」ボタンをクリックし、「New Notebook」で作成します。

機械学習・データ分析のラーニングから活用までカバーされていることが利用者増加につながっています。

データセットとはデータサイエンスで用いるデータの集合体です。データサイエンス業務に必要とされるコードとデータとして、CSVやJSON・SQLite等のファイルフォーマットがサポートされています。

具体的には、「Trending Datasets（トレンドデータセット）」「Popular Datasets（定番人気のデータセット）」等の他、テーマ別のデータセットが多数掲載されています。およそ*50,000のデータセットと400,000のノートブックが公開されています*。
【参考】：[Datasets](https://www.kaggle.com/datasets)

JSON入門！基本フォーマットからファイルの作り方まで解説

### Kaggleのおすすめデータセット

Kaggleのドキュメントでは、*「CSV」「SQLite」「アーカイブ形式」のファイルタイプに応じたデータセットが紹介されています*。

「The Complete Pokemon Dataset」では、7世代の802体のポケモンの基本データがCSVで提供されています。「European Soccer Database」では、欧州プロサッカーの25,000を超える対戦データと、10,000を超える選手のデータがSQLiteで掲載されています。
【参考】：[The Complete Pokemon Dataset](https://www.kaggle.com/rounakbanik/pokemon)
【参考】：[European Soccer Database](https://www.kaggle.com/hugomathien/soccer)

アーカイブ形式はZipや7zがサポートされています。「Chest X-Ray Images (Pneumonia)」圧縮アーカイブされた胸部X線画像（肺炎）の画像データセットが紹介されています。
【参考】：[Chest X-Ray Images (Pneumonia)](https://www.kaggle.com/paultimothymooney/chest-xray-pneumonia)

Kaggleの学習と成長を支えるために関連情報が整理され「Kaggle Progression System」として公開されています。以下の主要な報奨制度を挙げておきます。
【参考】：[Kaggle Progression System](https://www.kaggle.com/progression)

・*付与される称号レベル*
作業品質や達成状況に応じて、「Novice」「Contributor」「Expert」「 Master」「Grandmaster」の階級が設定されています。そのランキングも「Competition」「Datasets」「Notebook」「Discussion」ごとに公開されています。Grandmasterは一握りで、Competition分野で248名が掲載されています。
【参考】：[Kaggle Rankings](https://www.kaggle.com/rankings?group=competitions&page=1&pageSize=20)

・*メダルの授与*
Kaggleにおいても、表彰の方法としてメダル授与が一般的です。「Competition」「Datasets」「Notebook」「Discussion」それぞれに付与条件が決まっています。コンペの場合は参加チーム数によって多少の差がありますが、Goldがトップ10、Silverがトップ5～20%、Bronzeがトップ10～40%に付与されています。金メダルはやはり難関だと言えそうです。

・*ランキングとポイント*
ランキングと獲得ポイントも公式サイトのLeaderboard順位表に掲載されます。獲得ポイントは時間とともに減衰するよう計算されており、最新の達成状況がポイント上位になります。称号やメダルと同様に、ポイント付与においても「Competition」「Datasets」「Notebook」「Discussion」それぞれにポイント計算の条件が決まっています。

Kaggleの勉強法ですが、まずはKaggle提供の学習コースがおすすめです。KaggleのLearn（学習）サイトでは各16コースの紹介があります。Python自体を学ぶことも可能ですし、SQLや計算科学・機械学習等があります。入門から中上級レベルのコースまでカバーされています。

プラットフォームの記事（9ページ目）