amazon クラウド一覧

[AWS] S3のファイルを一括ダウンロード

https://www.cloudberrylab.com/

今まで、FirefoxのS3organizarという拡張プラグインを

使用していたのですが、急に動かなくなってしまったので

代替ツールとして、見つけたのが「cloudberry」

使い勝手はほぼ同じ便利でした。しかも

AzureやOpenstack版もあるようですね。

CloudBerry Explorer for Amazon S3 - Freeware 2018-03-21 01.38.09

 

 



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[AWS] S3をPHPのSDKで操作する

http://docs.aws.amazon.com/ja_jp/AmazonS3/latest/dev/RetrieveObjSingleOpPHP.html



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




コマンドでAmazon Linux AMIのスペック確認

まず空き容量

df -h

Filesystem Size Used Avail Use% Mounted on
/dev/xvda1 7.8G 3.4G 4.4G 44% /
devtmpfs 2.0G 60K 2.0G 1% /dev
tmpfs 2.0G 0 2.0G 0% /dev/shm
/dev/xvdf 118G 26G 87G 23% /var/www/html

メモリの状況
free -mt

total used free shared buffers cached
Mem: 3955 3470 485 0 281 2323
-/+ buffers/cache: 865 3090
Swap: 0 0 0
Total: 3955 3470 485

CPU情報
cat /proc/cpuinfo

processor : 0
vendor_id : GenuineIntel
cpu family : 6
model : 62
model name : Intel(R) Xeon(R) CPU E5-2670 v2 @ 2.50GHz
stepping : 4
microcode : 0x417
cpu MHz : 2500.020
cache size : 25600 KB
physical id : 0
siblings : 2
core id : 0
cpu cores : 2
apicid : 0
initial apicid : 0
fpu : yes
fpu_exception : yes
cpuid level : 13
wp : yes
flags : fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx rdtscp lm constant_tsc rep_good nopl xtopology eagerfpu pni pclmulqdq ssse3 cx16 pcid sse4_1 sse4_2 x2apic popcnt tsc_deadline_timer aes xsave avx f16c rdrand hypervisor lahf_lm xsaveopt fsgsbase smep erms
bogomips : 5000.04
clflush size : 64
cache_alignment : 64
address sizes : 46 bits physical, 48 bits virtual



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[amazon クラウド] AWS 見積もりツール


WS000019
http://calculator.s3.amazonaws.com/index.html

AWSの各サービスの見積もりがまとめてわかる便利なツールですね。
ぱっとみ使いづらそうですが、こちらである程度の相場感はわかりますね。

簡単な紹介としては、そうですね。

EC2の料金で見てみましょうか、

WS000020

 

リージョンがバージニアの場合、$14みたいですね。

ただサービスによって料金体系が違いますのでそのあたりが慣れるまで
うーんといったところですね。



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[amazon クラウド] AWS ってそもそも何?

ここ数年、WEBサイト構築関連の話になると、よくアマゾンクラウドとかAWSとか、アマゾンという単語を

よく耳にすると思いますが、如何でしょうか。

アマゾンが始めたサーバー貸出サービス、AWSは、とにかく凄いんです。

そもそもAWSとは何か

A・・・・Amazon

W・・・Web

S・・・Service

Amazon Web Serviceの略です。やっていることは、サクラインターネットや

ロリポップ等のホスティングサービスと変わりません。

ただ違うのは仕組とサービス提供方法と料金体系。

仕組

ホスティングと大きく違うところは、スケーリングの幅と場所の概念が世界規模。

今までのレンタルサーバーのプランは、どうしてもひとつの箱(ハードウェア)の

ひと区画を借りるイメージでしたが

アマゾンは少し違う。

一つの箱を大きくしたり小さくしたりできるし、複数にしたりできるし、世界各拠点の

どこにでも置くことができるところまで、ユーザーに託してしまっているところですね。

ハードウェアから仮想インスタンス上で自分のサービスを提供できるという点が大きく違うところ

サービス提供方法

AWSのコントロールパネルを見るとわかりますが、機能の数がめちゃくちゃある。

その中でも代表的なものを紹介しますね。

EC2

仮想OS これが本体ですね。スケールの伸縮が可能。

S3

ストレージサービスですね。大量データの格納が可能

RDS

リレーショナルデータベースを管理するサーバー

このサーバーの中にOracle、SQLServer、MySQL、PostgreSQLが搭載されている。

料金体系

EC2・・・・時間制(インスタンスが立ち上がっている時間に応じて課金が発生)

S3・・・格納したデータ量に応じて課金が発生

つまり、サービスによって課金体系が異なりますので注意しましょう。

個人的見解

実現するのに相当の費用をかけないといけなかったインフラ整備が、クリックひとつで

いとも簡単に実現できてしまうのは、企業と個人の垣根を低くしているのもあるし

そのあたりの心配をしなくてもよくなったのは、本当に大きい。

より個人の時代がやってきている感覚がします。あとは、どのように恩恵を受けることができるか

使いこなせるかにかかっていますね。宝の持ち腐れにならないように

品定めしていきましょう。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[AWS] 全世界からアクセスが見込まれるサイト対策 Cloud Front クラウドフロント

日本に限らず、世界各国からアクセスが見込まれるサイトの場合、リージョンから遠い国からのアクセスは、

基本的に遅くなるのが常ですね。

例えば、サイト本体のリージョンを東京にしても、米国、欧州からのアクセスは、各国リージョンにサイトをレプリケーション(複製)しておく

必要があったりします。そうしないと遅延(レーテンシー)が発生してしまい、ユーザーへストレスを与えてしまいます。

AWSに限らず、この問題は一般的ですね。

みなさんがよく使用しているyahooやgoogle、facebookはどうやって、多くのアクセスを受付ながら、あれだけ早く応答しているん

でしょうね。一般的な方法としましては、キャッシュサーバーを配置して、世界各国に散らばっているキャッシュ(一時的な複製)サーバー

で応答しているんですね。各国担当のサーバーがいますが、キャッシュ(一時的に保存された)サーバーなので、完全体ではないですが

定期的に本家と統合して完全体になります。そんなキャッシュ機能で実現しています。

大手サイトは間違いなくやっているはず。でもそんな莫大なスケールと費用。。。スケールでかすぎて

イメージわかないし、体制できないし。と思っていたら。なんとAWSのCloudFrontは、めちゃくちゃ簡単にそれを実現できて

しまうのです。

CluodFrontを設定すると、オリジン(大元)となるサーバー(EC2)を指定するだけで、あとはキャッシュサーバーを

作ってくれる。このキャッシュサーバーは×××.cloudfront.netみたいな動的なドメイン名を割り当てられますが

そのドメインがオリジンのキャッシュサーバーとなり、キャッシュしたい画像がHTMLのURLをキャッシュサーバーに指定すれば

OK。これは正直、他のホスティングサービスで見たことないです。このスケールのでかさ。

まだ管理画面は英語版ですが、これは、最強。

 



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[AWS] S3のバケットをリージョンをまたいでマウント  

S3を活用するにあたり、複数のEC2から同一のバケットにアクセスできる仕組みを

作りたいというのは、誰しも想定するかと思いますが。

実際にどこまでできるかというところですね。

以下の手順で検証してみましょう。

1.バケットを作成する(リージョンはオレゴン)

 2.EC2を作成する。(リージョンは東京)

3.フリーツールS3fsをインストール。

$ sudo yum -y update
$ sudo yum -y install gcc-c++ fuse fuse-devel libcurl-devel libxml2-devel  openssl-devel
$ wget https://s3fs.googlecode.com/files/s3fs-1.74.tar.gz
$ tar zxvf s3fs-1.74.tar.gz
$ cd s3fs-1.74
$ ./configure –prefix=/usr/local
$ make
$ sudo make install

インストールされてか確認
$ find /usr/local -type f
/usr/local/bin/s3fs
/usr/local/share/man/man1/s3fs.1

4.バケットをマウント

IAMユーザーの作成

試しに作成作成してみました。

testuser
アクセスキー ID:
AKIAJYLWLPAAAZWC2TSA
シークレットアクセスキー:
+djZ2c/WIjnDdKzoRUtF+P1xoAAAAFe53RGlH2os0

※参考URL
http://qiita.com/monry/items/fa3bebd69e04a08ae12f

ディレクトリの作成(SSHでログインできないので未確認)
$ su –
mkdir /upload/600
chmod 777 /upload/600

※参考URL
http://hivecolor.com/id/49

s3fs の設定(SSHでログインできないので未確認)
echo “AKIAILFEAAAYLXKBOEQ:Fg8iwL6UALujjAeeGAAAEkvhbV2+mPL8QkFLyFpP” > /etc/passwd-s3fs

S3のマウントコマンド

sudo /usr/local/bin/s3fs s3folder1  /mnt/s3fs/ -o rw,allow_other,iam_role=”rolebucket”

5.EC2を作成する(リージョンはシンガポール)

6.フリーツールS3fsをインストール。

上記3と同様

7.バケットをマウント

上記4と同様

8.テキストを作成し保存する。

9.東京リージョンのEC2でバケットにアクセス。

10.先ほどシンガポールリージョンで作成したテキストにアクセス。

11・テキストを更新する。

12.リージョンをまたいだテキストの編集ができました。

ここに立証致します。

ざっとこんな手順です。

しかし上記試してみると、テキスト編集の際、レーテンシー(遅延)が気になりますね。



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[amazon クラウド] RDS上のMySQLでリージョン間のレプリケーションを構築する

2015-07-12前回、前々回とRDS内でのレプリケーションの仕組み、MySQLでのレプリケーションの仕組みををまとめましたが

それを踏まえて

リージョン間でレプリケーションしたらどうなるかをまとめてみました。

WS000038

つまり更新系はマスターでないと他のスレーブに配ってくれないので、データは

マスターに行く。参照系は、各リージョンにあるRDSに繋げば、データ量が多いクエリも

マスターを見に行くより早いのは間違いない。

この方法による構築での課題点は

・参照系と更新系でデータベースの接続先が違う。

・MySQLのレプリケーションは非同期レプリケーションなので、タイミングによっては、
整合性がとれていないクエリー結果になってしまう。
上記の図の例で言いますと、海外1と海外2はタイミングによっては、結果がずれる。
東京は、マスターを参照するので、ずれはない。
因みに、リージョン内での参照系レプリケーションであればRDS側のReadReprication機能で対応できます。

具体的な手順を以下に記載します。

1.まず、マスターのEC2を立ち上げます。

2.MySQLをインストールしましょう。

3.マスターのリージョンにRDSインスタンスをmySQLで起動します。

•MySQL5.6.13のRDS

•Publicly AccessibleをON

•Mullti-AZオプションはOFF

•セキュリティグループではお互いの通信を許可

ポートの開放

インバウンド、アウトバウンド両方

4.EC2からRDSのmySQLに接続

5.ここでレプリケーション用のユーザーを作成しておく

6.テスト用のテーブルを作成する。

7.バイナリ―のログにアクセスできるようにストアドプロシージャーを実行する。

8.内容を控えておく

8.次に、スレーブ用のリージョンのRDSのインスタンスを起動します。

同じようにポートを解放してください。

9.スレーブのデータベースに接続します。

10.レプリケーション用のユーザーを作成します。

11.マスターのデータベースをそのままスレーブにコピーします。

最初にマスターをダンプします。

次にスレーブ側でダンプファイルをインポートします。

12.スレーブ側 mySQLにて以下ストアドプロシージャ―を実行します。

先程の内容をセットします。

13.スレーブ側でレプリケーションを開始します。

14.状況確認します。

13.マスター側で

データを登録

14.スレーブ側でレコードが増えているか確認 レコードが1件増えていれば

同期確認完了。



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[Amazon クラウド] RDSのレプリケーションについて

レプリケーションはとは、データベースの中身を複製することによって、以下の役割を満たすこと。

・壊れたときの予備

・分散しておくことで、スピードアップ

RDSにもレプリケーション機能が備わっています。

 

MultiAZ構成

マスターとスレーブ (メインとサブ)に分けて2つのデータベースを作成する機能

同期レプリケーションであり、物理レプリケーションである。

同期レプリケーションとは

ひとつのデータベースを作ったあと、次をつくる

非同期レプリケーション

データベースの作成を待たずに、次のデータベースを作る。(分散)

論理レプリケーションとは

トランザクション単位でレプリケーション(複製する)

ひとつのトランザクションが終わったら次みたいな。

物理レプリケーションとは

マスターのトランザクションを待たずスレーブが平行して動き出して

それが終わって一式で、決定される。(全体で整合性を取る)

リードレプリカ

参照するときは、マスター、とスレーブ両方見に行く機能。

参照なので、更新系とちがい、どちらか

早く取得できるほうを選んで取得する(分散)

 



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。


 




[AWS] EC2でS3のバケットをマウントしたい

1.EC2にロールを割り当てる

ロールって何?と言われたら。「権限を付与する機能」

ロール作成後、EC2インスタンスを新規で起動し、上記ロールが設定されている
IAMロールを選択します。

※EC2のIAMロール設定は、2015.05現在、インスタンス起動しかできません。このあたり早く完全してほしい~。。

2.S3(バケット)の作成

試しにs3folder1というバケットを作成してみてみましょうか

3.フリーツールs3fsのインストール

$ sudo yum -y update
$ sudo yum -y install gcc-c++ fuse fuse-devel libcurl-devel libxml2-devel openssl-devel

$ wget https://s3fs.googlecode.com/files/s3fs-1.74.tar.gz

$ tar zxvf s3fs-1.74.tar.gz

$ cd s3fs-1.74
$ ./configure –prefix=/usr/local
$ make
$ sudo make install
$ find /usr/local -type f
/usr/local/bin/s3fs
/usr/local/share/man/man1/s3fs.1

もし上記でうまく行かない場合、

fuse をインストール
% wget http://sourceforge.net/projects/fuse/files/fuse-2.X/2.8.7/fuse-2.8.7.tar.gz/download
% tar xvfz fuse-2.8.7.tar.gz
% cd fuse-2.8.7
% ./configure prefix=/usr
% make
% sudo make install
% sudo ldconfig
% sudo modprobe fuse
s3fs をインストール
% sudo yum install libxml2-devel libcurl-devel
% export PKG_CONFIG_PATH=/usr/lib/pkgconfig:/usr/lib64/pkgconfig/
% wget http://s3fs.googlecode.com/files/s3fs-1.61.tar.gz
% tar xvfz s3fs-1.61.tar.gz
% cd s3fs-1.61
% ./configure prefix=/usr
% make
% sudo make install
※参考URL
http://d.hatena.ne.jp/kmn23/20130320/1363790903

4.マウント準備

IAMユーザーの作成

試しに作成作成してみました。

testuser
アクセスキー ID:
AKIAJYLWLPN345EZWC2TSA
シークレットアクセスキー:
+99999/WIjnDdKzoRUtF+P1xo0AqFe53RGlH2os0

※参考URL
http://qiita.com/monry/items/fa3bebd69e04a08ae12f

ディレクトリの作成
$ su –
mkdir /upload/600
chmod 777 /upload/600

※参考URL
http://hivecolor.com/id/49

s3fs の設定

% sudo vi /etc/passwd-s3fs
# accesskey:secretkey の書式で書く
# accesskey: AKIAJYLWLPNELZWC2TSA
# secretkey: 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
# だと、次のようになる。
ABCDEFG:abcdefg

$ sudo chmod 600 /etc/passwd-s3fs
$ sudo mkdir /upload/600

5.マウント

sudo /usr/bin/s3fs s3folder1 /mnt/s3mnt/ -o rw,allow_other,iam_role=”role-test-bucket”



メルマガ登録をお願いします。

素敵な?情報がいつもあなたに届くようになります。(itmnewsの記事が届きます。)お役に立つかどうかわかりませんが頑張りますっ。登録してみてください。