はじめてのAWS EC2にDocker Registryコンテナを立てて保存先はS3にする ローカルからEC2のDocker-registryへpushできるようにする

これからEC2を利用し、インスタンス1つでDockerコンテナをたくさん稼働してマイクロサービスをいろいろ作っていきたい。
サービスを開発していく環境でイメージをいろいろ管理していきたいので、Docker Hubの利用を検討したが、プライベートは有料なので自前でDocker Registryを作ることに。
Docker Registryはそこそこ容量がいるので、S3に保存することとする。

前提として

前回構築したSSL、リバースプロキシの環境も使っていきます。

はじめてのAWS EC2インスタンスにDockerインストール、docker-compseでnginx-proxyとletsencrypt-nginx-proxy-companionを使う

Docker Registryのイメージを取得する

$ docker pull registry:2.6.0

※ 最新バージョンはこちらで確認
https://github.com/docker/distribution/releases

Docker Registryのイメージを確認

$ docker images
REPOSITORY    TAG         IMAGE ID            CREATED             SIZE
registry      2.6.0       d1e32b95d8e8        2 weeks ago         33.17 MB

作業用ディレクトリを作成してdocker-compose.ymlを作成

$ mkdir /home/ec2-user/work
$ cd /home/ec2-user/work
$ vim docker-compose.yml

docker-compose.yml

docker-registry:
  image: registry:2.6.0
  container_name: docker-registry
  privileged: true
  ports:
    - 5000
  environment:
    VIRTUAL_HOST: registry.example.com
    LETSENCRYPT_HOST: registry.example.com
    LETSENCRYPT_EMAIL: example@gmail.com
    REGISTRY_STORAGE: s3
    REGISTRY_STORAGE_S3_ACCESSKEY: [S3フルアクセスのIAMユーザーのアクセスキー]
    REGISTRY_STORAGE_S3_SECRETKEY: [S3フルアクセスのIAMユーザーのシークレットキー]
    REGISTRY_STORAGE_S3_BUCKET: [バケット名]
    REGISTRY_STORAGE_S3_REGION: ap-northeast-1 ←東京リージョン
    REGISTRY_STORAGE_S3_ROOTDIRECTORY: /       ←バケットのディレクトを指定(ルートディレクトリ)
  restart: always

※事前にregistry.example.com のドメイン設定は、EC2のIPかドメインに設定しておくこと

Docker Registryのコンテナを起動する

$ docker-compose up -d

Docker Registryを使ってみる

今回、ローカルからリモートのレジストリへpushしてみる

イメージ名を変更するためタグを貼る

プライベートレジストリにpushするためにはイメージの名前を変える必要があります。

docker tag [イメージ名]:[tag] [レジストリのIP、URL]:[ポート]/[任意のリポジトリ名]/[イメージ名]:[tag]
docker tag centos:latest registry.example.com/registry-test/centos

※今回、jwilder/nginx-proxyのコンテナがEC2のフロントにあり、ポートは443なるため、ポートの指定はしない。

イメージを確認

$ docker images
REPOSITORY                                 TAG    IMAGE ID     CREATED      SIZE
registry.example.com/registry-test/centos  latest 67591570dd29 7 weeks ago  191.8 MB
centos                                     latest 67591570dd29 7 weeks ago  191.8 MB

イメージをプッシュする

docker push イメージ名
docker push registry.example.com/registry-test/centos
The push refers to a repository [registry.example.com/registry-test/centos]
3981cd79f308: Pushing [==================================================>] 122.1 MB/122.1 MB
34e7b85d83e4: Preparing
error parsing HTTP 413 response body: invalid character ・・・・・・・・・・・・・

HTTP 413 は、アップロードしようとしたデータサイズが大きいと怒られているのでnginxの上限値を上げたら解消される?あとで調査

S3に保存されているか確認する

バケット名の直下に「docker」ディレクトができいる。なんか保存されていそう。

/[バケット名]/docker/registry/v2/・・・

client_max_body_sizeの設定を追加

/etc/nginx/nginx.conf

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    server_names_hash_bucket_size 128;
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;

    client_max_body_size 1G; ←★1Gにしてみた

}
daemon off;

まだしてないこと

  • basic認証をnginxで設定すること

はじめてのAWS EC2インスタンスにDockerインストール、docker-compseでnginx-proxyとletsencrypt-nginx-proxy-companionを使う

巷ではSSLが当たり前になってきました。
さくらVPSからAWSへの移行作業といっしょにdockerでマイクロサービスが作れる環境、そしてSSL化もしたい。
といったところでいろいろ調査したり試したりしています。

SSL化ではAWS Certificate Managerがあります。しかしELB(ロードバランサー)でしか使えないよう。詳しく調べていないけど。。。

まあここは、無料で有名なLet’s Encryptを使うことにしました。
公式HP:https://letsencrypt.org/
Github:https://github.com/letsencrypt/letsencrypt

mozaic.fmでLet’s Encryptについて詳しく説明されていました。
https://mozaic.fm/episodes/23/lets-encrypt.html

Lets Encryptは無料の認証局で、誰でも簡単に使えて、かつ自動化ができます!
下記の手順では、letsencrypt-nginx-proxy-companionが自動でやってくれます。

はじめてのAWS EC2インスタンス(Amazon Linux)にS3のバケットをgoofysでマウントする

EC2でS3をマウントするにはs3fsがメジューみたいですが、s3fsが遅いという情報があり、今回goofysを使ってマウントすることにしました。

EC2インスタンスにS3のバケットをgoofysでマウントする

goとfuseのパッケージが必要となるためインストール

sudo yum install golang fuse

 

AWS CLIの設定

$ aws configure
AWS Access Key ID [None]: [S3 フルアクセスユーザのAccess key ID]
AWS Secret Access Key [None]: [S3 フルアクセスユーザのSecret access key]
Default region name [None]: ap-northeast-1
Default output format [None]: json

※アジアパシフィック (東京)のリージョン: ap-northeast-1

http://docs.aws.amazon.com/ja_jp/general/latest/gr/rande.html#s3_region

 

バケットの確認

aws s3 ls s3://[バケット名]

GOPATHを設定

export GOPATH=$HOME/go
echo $GOPATH /home/ec2-user/go

goofysのインストール

go get github.com/kahing/goofys go install github.com/kahing/goofys

マウントポイントの作成

sudo mkdir /mnt/bucket

/mnt/bucketへアクセス権限を付与(とりあえず全アクセス)

sudo chmod -R 777 /mnt/bucket/

 

マウント

./go/bin/goofys [バケット名] /mnt/bucket

注意:コマンドが帰ってきたら完了です。マウントに成功してもしなくても、何も戻ってこないので実際に確認してみます。

 

プロセス確認

$ ps auxf | grep goofys

ec2-user 31604 0.0 0.2 110472 2188 pts/0 S+ 22:11 0:00 \_ grep --color=auto goofys
ec2-user 30988 0.0 1.3 225460 14168 ? Ssl 17:21 0:00 /home/ec2-user/go/bin/goofys バケット名 /mnt/bucket

ボリューム確認

$ df -h

ファイルシス サイズ 使用 残り 使用% マウント位置
devtmpfs 488M 56K 488M 1% /dev
tmpfs 498M 0 498M 0% /dev/shm
/dev/xvda1 30G 1.6G 28G 6% /
バケット名  1.0P 0 1.0P 0% /mnt/bucket

自動マウント

手動でマウントするのは面倒なので、/etc/fstabにサーバー起動時にマウントされるように設定します。

 

rootユーザーでAWS CLIの設定

$ sudo aws configure
AWS Access Key ID [None]: [S3 フルアクセスユーザのAccess key ID]
AWS Secret Access Key [None]: [S3 フルアクセスユーザのSecret access key]
Default region name [None]: ap-northeast-1
Default output format [None]: json

 

fstabを修正

$ vim /etc/fstab

LABEL=/ / ext4 defaults,noatime 1 1
tmpfs /dev/shm tmpfs defaults 0 0
devpts /dev/pts devpts gid=5,mode=620 0 0
sysfs /sys sysfs defaults 0 0
proc /proc proc defaults 0 0
/home/ec2-user/go/bin/goofys#[バケット名] /mnt/bucket fuse _netdev,allow_other,--dir-mode=0775,--file-mode=0666,--uid=500,--gid=500 0 0
※--dir-mode、--file-modeと--uid、--gidはファイルやディレクトリが作成された際のデフォルト権限/所有者の設定

インスタンスを再起動して確認してみる

$ reboot

マウント確認する

$ df -h
オプション | 説明
-----------+--------------------------------------------------------------------
_netdev    | ネットワークが有効になるまでマウントを待つためのオプション。
           | ネットワーク経由のデバイスを起動時にマウントさせたい場合などに指定する。
allow_other| 他のユーザーでも利用できるようにする。
--file-mode| マウントする際のファイル権限を設定する。
--uid      | マウントするユーザーIDを指定する。
--gid      | マウントするグループIDを指定する。

参考サイト

http://qiita.com/kooohei/items/a14f22cb0381342d1861

はじめてのAWS S3のバケットを作成

バケット作成だけはすごく簡単。静的なページだけならS3だけでもサイト作れるとのこと

今回はただバケットを作成するだけです。細かい設定などは、ドットインストールで確認 http://dotinstall.com/lessons/basic_aws/9515

 

 

はじめてのAWS s3用のロールを作成する

EC2にs3をマウントするため、まずs3用のロールを作成します。

ダッシュボードからIAMをクリックして、ロールをクリックして選択する。

 

手順 1 : ロール名の設定

適当にロール名を入力して次のステップへいく

 手順 2 : ロールタイプの選択

とりあえず、Amazon EC2を選択した。

手順 4 : ポリシーのアタッチ

手順 5 : 確認

 

作成済みEC2インスタンスへロールを設定できるのかと思っていたが、EC2インスタンス新規作成するときでしか

ロールを設定できないそうです。なのでもう一度EC2インスタンス作成した。

 

 

 

情報源: EC2インスタンスにS3をマウントして使用する(IAM Role ver) – Qiita

AWSアカウントの2段階認証を設定 Google Authenticator

1.iOS か Android に、Google Authenticator をインストール

 

2.ルートアカウントでログインし、でマネージメントコンソールを開き、Security Credentials をクリック

3.「MFAの有効化」ボタンをクリックして、ダイアログを表示

4.「仮想MFAデバイス」を選択して「次のステップ」ボタンをクリック

5.ダイアログのQRコードをGoogle Authenticator のアプリから読み取る。 Google Authenticator に表示された 6 桁のコードを 2 つ入力する必要があります。ひとつ入力して、別のコードに切り替わるのをしばらくまって、2つ目の入力をする。

※私の場合はiosとandroidで1つづつ端末があるので同じQRコードを2つの端末から読み取った。どちらも同じ6桁の数値が表示される

 

6.設定が完了するとこんな感じです。

7.試しにサインアウトし、ログインするともう一つ下記の画面が表示される。ここで「Google Authenticator」を起動して6桁の数値を入力してログインする

情報源: AWSアカウントの2段階認証を設定する – Qiita