Docker mysql 設定変更

mysqlのdockerコンテナでmysqlの設定変更をするときちょっとはまったのでメモ

mysqlのdockerコンテナ(設定変更前)

docker-compose.yml

# ------------------------------------------
# mysql
# ------------------------------------------
mysql:
build: ./mysql-db
environment:
MYSQL_ROOT_PASSWORD: root
ports:
- "3306:3306"
volumes_from:
- mysql-data
container_name: mysql-db
restart: always

# ------------------------------------------
# mysql データ
# ------------------------------------------
mysql-data:
image: busybox
volumes:
- ./mysql-data:/var/lib/mysql
container_name: mysql-data

やりたいこと

  • デフォルトタイムゾーンを東京にする
  • 大きなデータを送る上限が4MBになっているので32MBにする

設定の変更について

コンテナの「/etc/mysql/conf.d/」にcnfファイルを追加すれば、mysql起動時に設定を読み込んでくれて設定が変更できる

コンテナ内を確認

docker exec -it mysql-db /bin/bash

cnfファイル追加前は、docker.cnf、mysql.cnfがあった。

$ ls -l /etc/mysql/conf.d/
-rw-r--r-- 1 root root 43 Feb 28 06:56 docker.cnf
-rw-r--r-- 1 root root 875 Nov 28 19:25 mysql.cnf

まずてきとうにmysqld.cnfというファイルを作成

docker-compose.ymlのある場所にconf.dというディレクトを作成して、mysqld.cnfを作成する
mysqld.cnf

[mysqld]
max_allowed_packet = 32M
default-time-zone = 'Asia/Tokyo'

docker-compose.ymlを修正してみる

# ------------------------------------------
# mysql
# ------------------------------------------
mysql:
build: ./mysql-db
environment:
MYSQL_ROOT_PASSWORD: root
ports:
- "3306:3306"
volumes:
- ./conf.d:/etc/mysql/conf.d  ★dockerホストをマウントして、ファイルを置いておけばいける?
volumes_from:
- mysql-data
container_name: mysql-db
restart: always

コンテナ内を確認

docker exec -it mysql-db /bin/bash

もともとあったdocker.cnf、mysql.cnfがなくなり、新しく作成したmysqld.cnfはあった。

コンテナ内でmysqlの設定確認

mysql -p -e "show variables like '%max_allowed_packet%';"
mysql: [Warning] World-writable config file '/etc/mysql/conf.d/mysqld.cnf' is ignored.

設定が反映されていない。しかも権限のエラーが出てる。権限が777になっていて、権限を弱めてあげる必要があるみたいだ。

volumesで権限ってどうやって変更する???

volumesを使ってdockerホストをマウントして権限も変更する方法がよくわからない。DockerfileでADDしてcnfファイルを追加してやることにする

Dockerfile

# base images
FROM mysql:5.7

# author
MAINTAINER hoge

# カスタムのcnfファイルを追加
ADD mysqld.cnf /etc/mysql/conf.d/
# 権限の変更
RUN chmod 644 /etc/mysql/conf.d/mysqld.cnf

docker-compose.yml

# ------------------------------------------
# mysql
# ------------------------------------------
mysql:
build: ./mysql-db ★Dockerfileの場所
environment:
MYSQL_ROOT_PASSWORD: root
ports:
- "3306:3306"
volumes_from:
- mysql-data
container_name: mysql-db
restart: always

確認

$ docker exec -it mysql-db /bin/bash
root@a8a0e6e35a32:/# mysql -p -e "show variables like '%max_allowed_packet%';"
Enter password:
+--------------------------+------------+
| Variable_name | Value |
+--------------------------+------------+
| max_allowed_packet | 33554432 |
| slave_max_allowed_packet | 1073741824 |
+--------------------------+------------+
root@a8a0e6e35a32:/# mysql -p -e "show variables like '%time_zone%';"
Enter password:
+------------------+------------+
| Variable_name | Value |
+------------------+------------+
| system_time_zone | UTC |
| time_zone | Asia/Tokyo |
+------------------+------------+

まとめ

mysqlの設定変更はできたが、Dockerfileの作成をあまりしたことないので、これでいいのか不明。
docker-compose.ymlとDockerfileについてまだまだ不勉強すぎる

DockerToolbox でローカル開発環境構築 1 docker-composeの環境変数

windows10 home 上でdockerを使いローカル開発環境を作ろうとしていろいろはまった。homeなのでDocker for Windows(Hyper-Vを使うやつ)は使えないので、Docker Toolbox のwindows版を使うことにした。cenosをdockerホストにして少しだけdockerの勉強はしていたが、windowsだとなにかと問題があったりする。

Docker Toolbox

  • https://docs.docker.com/toolbox/overview/

 

webサーバー立てる

まずは、nginxでwebサーバーを構築しようとdocker-composeを使いdocker-compose.ymlを作成

 

docker-compose.yml

nginx-proxy:
image: jwilder/nginx-proxy
container_name: nginx-proxy
privileged: true
ports:
- 80:80
- 443:443
volumes:
- ./docker-compose.d/certs:/etc/nginx/certs:ro
- ./docker-compose.d/htpasswd:/etc/nginx/htpasswd
- /etc/nginx/vhost.d
- /usr/share/nginx/html
- /var/run/docker.sock:/tmp/docker.sock:ro
restart: always

docker-compose up -d を実行すると下記のエラー

ERROR: for nginx-proxy Cannot create container for service nginx-proxy: invalid bind mount spec "C:\\Users\\hoge\\docker\\docker-compose.d\\htpasswd:/etc/nginx/htpasswd:rw": invalid volume specification: 'C:\Users\hoge\docker\docker-compose.d\htpasswd:/etc/nginx/htpasswd:rw'
ERROR: Encountered errors while bringing up the project.

google翻訳すると
* 無効なバインドマウント仕様
* 無効なボリューム指定
いやいやDocker Toolboxのdocker-machineでは、winのローカルのC:\Userと
docker-machine(VirtualBox)の/c/Userがファイル共有されマウント済みであるはず

絶対パスで指定してみる

volumes:
- /c/Users/hoge/docker/docker-compose.d/certs:/etc/nginx/certs:ro
- /c/Users/hoge/docker/docker-compose.d/htpasswd:/etc/nginx/htpasswd
- /etc/nginx/vhost.d
- /usr/share/nginx/html
- /var/run/docker.sock:/tmp/docker.sock:ro

ERROR: for nginx-proxy Cannot create container for service nginx-proxy: create \c\Users\hoge\docker\docker-compose.d\htpasswd: "\\c\\Users\\hoge\\docker\\docker-compose.d\\htpasswd" includes invalid characters for a local volume name, only "[a-zA-Z0-9][a-zA-Z0-9_.-]" are allowed. If you intented to pass a host directory, use absolute path
ERROR: Encountered errors while bringing up the project.

google翻訳すると
* ローカルボリューム名に無効な文字が含まれています

 

いろいろ検索して調査

https://github.com/docker/compose/blob/master/CHANGELOG.md#190-2016-11-16

1.9.0 (2016-11-16)

  • Breaking changes
WindowsでDocker Toolbox / Machineを使用して作成する場合、デフォルトでボリュームパスはC:\ Usersから/ c / Users-styleに変換されなくなりました。 この変換を再度有効にしてボリュームが機能し続けるようにするには、環境変数COMPOSE_CONVERT_WINDOWS_PATHS = 1を設定します。 Docker for Windowsのユーザーは影響を受けず、変数を設定する必要はありません。

とのことです。

環境変数を設定


変数名(N): COMPOSE_CONVERT_WINDOWS_PATHS 変数値(V): 1

これで、絶対パスでなくても起動できた。docker-machineに問題あると調査していてはまった。
まさかdocker-composeの問題とは

はじめてのAWS EC2にDocker Registryコンテナを立てて保存先はS3にする ローカルからEC2のDocker-registryへpushできるようにする

これからEC2を利用し、インスタンス1つでDockerコンテナをたくさん稼働してマイクロサービスをいろいろ作っていきたい。
サービスを開発していく環境でイメージをいろいろ管理していきたいので、Docker Hubの利用を検討したが、プライベートは有料なので自前でDocker Registryを作ることに。
Docker Registryはそこそこ容量がいるので、S3に保存することとする。

前提として

前回構築したSSL、リバースプロキシの環境も使っていきます。

はじめてのAWS EC2インスタンスにDockerインストール、docker-compseでnginx-proxyとletsencrypt-nginx-proxy-companionを使う

Docker Registryのイメージを取得する

$ docker pull registry:2.6.0

※ 最新バージョンはこちらで確認
https://github.com/docker/distribution/releases

Docker Registryのイメージを確認

$ docker images
REPOSITORY    TAG         IMAGE ID            CREATED             SIZE
registry      2.6.0       d1e32b95d8e8        2 weeks ago         33.17 MB

作業用ディレクトリを作成してdocker-compose.ymlを作成

$ mkdir /home/ec2-user/work
$ cd /home/ec2-user/work
$ vim docker-compose.yml

docker-compose.yml

docker-registry:
  image: registry:2.6.0
  container_name: docker-registry
  privileged: true
  ports:
    - 5000
  environment:
    VIRTUAL_HOST: registry.example.com
    LETSENCRYPT_HOST: registry.example.com
    LETSENCRYPT_EMAIL: example@gmail.com
    REGISTRY_STORAGE: s3
    REGISTRY_STORAGE_S3_ACCESSKEY: [S3フルアクセスのIAMユーザーのアクセスキー]
    REGISTRY_STORAGE_S3_SECRETKEY: [S3フルアクセスのIAMユーザーのシークレットキー]
    REGISTRY_STORAGE_S3_BUCKET: [バケット名]
    REGISTRY_STORAGE_S3_REGION: ap-northeast-1 ←東京リージョン
    REGISTRY_STORAGE_S3_ROOTDIRECTORY: /       ←バケットのディレクトを指定(ルートディレクトリ)
  restart: always

※事前にregistry.example.com のドメイン設定は、EC2のIPかドメインに設定しておくこと

Docker Registryのコンテナを起動する

$ docker-compose up -d

Docker Registryを使ってみる

今回、ローカルからリモートのレジストリへpushしてみる

イメージ名を変更するためタグを貼る

プライベートレジストリにpushするためにはイメージの名前を変える必要があります。

docker tag [イメージ名]:[tag] [レジストリのIP、URL]:[ポート]/[任意のリポジトリ名]/[イメージ名]:[tag]
docker tag centos:latest registry.example.com/registry-test/centos

※今回、jwilder/nginx-proxyのコンテナがEC2のフロントにあり、ポートは443なるため、ポートの指定はしない。

イメージを確認

$ docker images
REPOSITORY                                 TAG    IMAGE ID     CREATED      SIZE
registry.example.com/registry-test/centos  latest 67591570dd29 7 weeks ago  191.8 MB
centos                                     latest 67591570dd29 7 weeks ago  191.8 MB

イメージをプッシュする

docker push イメージ名
docker push registry.example.com/registry-test/centos
The push refers to a repository [registry.example.com/registry-test/centos]
3981cd79f308: Pushing [==================================================>] 122.1 MB/122.1 MB
34e7b85d83e4: Preparing
error parsing HTTP 413 response body: invalid character ・・・・・・・・・・・・・

HTTP 413 は、アップロードしようとしたデータサイズが大きいと怒られているのでnginxの上限値を上げたら解消される?あとで調査

S3に保存されているか確認する

バケット名の直下に「docker」ディレクトができいる。なんか保存されていそう。

/[バケット名]/docker/registry/v2/・・・

client_max_body_sizeの設定を追加

/etc/nginx/nginx.conf

user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    server_names_hash_bucket_size 128;
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    include /etc/nginx/conf.d/*.conf;

    client_max_body_size 1G; ←★1Gにしてみた

}
daemon off;

まだしてないこと

  • basic認証をnginxで設定すること

はじめてのAWS EC2インスタンスにDockerインストール、docker-compseでnginx-proxyとletsencrypt-nginx-proxy-companionを使う

巷ではSSLが当たり前になってきました。
さくらVPSからAWSへの移行作業といっしょにdockerでマイクロサービスが作れる環境、そしてSSL化もしたい。
といったところでいろいろ調査したり試したりしています。

SSL化ではAWS Certificate Managerがあります。しかしELB(ロードバランサー)でしか使えないよう。詳しく調べていないけど。。。

まあここは、無料で有名なLet’s Encryptを使うことにしました。
公式HP:https://letsencrypt.org/
Github:https://github.com/letsencrypt/letsencrypt

mozaic.fmでLet’s Encryptについて詳しく説明されていました。
https://mozaic.fm/episodes/23/lets-encrypt.html

Lets Encryptは無料の認証局で、誰でも簡単に使えて、かつ自動化ができます!
下記の手順では、letsencrypt-nginx-proxy-companionが自動でやってくれます。