Social Optimization Systems Laboratory: 2024.07

2024年7月17日水曜日

EC2上でAPIを定期的に動かしRDSに格納とFlaskでの可視化

EC2上でAPIを定期的に動かして取得したデータをRDSに保存します。またそのデータをFlaskでWebアプリとして表示していきます。

(1) APIの動作確認

利用するAPIは、International Space Station Current Location (http://open-notify.org/Open-Notify-API/ISS-Location-Now/) で国際宇宙ステーションの現在位置を返してくれます。まずPostmanで実行してみます。指定されたURLを入力するだけです。

Pythonコードへ変換すると、次のようになります。

APIの動作確認ができました。もう少し、キレイなコードにして、時刻も秒までわかりやすく表示します。

(2) EC2上で取得できるようにする

次にEC2上でAPIを取得できるようにします。

EC2の立ち上げは下記を参照してください。

・EC2でサーバを立ち上げてクラウドシェルで接続 (https://smizunolab.blogspot.com/2023/10/ec2.html)

今回は「ec2-user」のままで実施します。pythonはインストールされていますがpipがありませんので、pipをインストールしてください。

$ sudo yum install python3-pip

Pythonファイルを作成して、(1)で実施したプログラムを動かしてみます。ファイル名は「iss_api.py」とします。

$ python3 iss_api.py

(3) データベースの用意

今回はAWS RDSをCloud Shellから使います。下記を参考にしてください。

AWS RDSでデータベースを作成しCloudShellから接続してSQL文からデータを格納する (https://smizunolab.blogspot.com/2024/06/aws-rdscloudshellsql.html)

同じEC2上で、MySQLを動かして実施することも可能です。その場合は下記を参考にしてください。

EC2でMySQL のインストール (https://smizunolab.blogspot.com/2023/11/ec2mysql.html)

MySQLで実施する場合、GPG-KEYの更新を忘れないようにしてください。

sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023

データベース、テーブルの作成をしていきます。

データベース名：iss、テーブル名：point で作成します。

RDS(またはMySQL)に接続し、SQL文を発行します。

(4) EC2上のPythonプログラムからデータベースへ情報の格納

次に国際宇宙ステーションのAPIを使って情報を取得し、データベースに格納していきます。下記を参考にしてください。

・Pythonでデータベースに情報を格納する (https://smizunolab.blogspot.com/2024/07/python.html)

MySQL Connectorのインストール：pip install mysql-connector-python

MySQL Connectorのインストールを行い、次のプログラムを実行します。プログラム名は「iss_api_db.py」とします。MySQLのhostはRDSを使っている場合は、エンドポイントを利用します。MySQLをEC2上にインストールした場合は、localhostのままです。

$ python3 iss_api_db.py

select文でテーブルを確認すると、データが格納されているのがわかります。

(5) プログラムの定期実行

cronを使って、1分に1回定期実行していきます。まず、cronieをインストールします。

$ sudo yum install cronie

$ sudo systemctl start crond

$ sudo systemctl enable crond

ターミナルでcrontab -eコマンドを実行し、crontabの編集を開始します。

$ crontab -e

書き込む内容

* * * * * /usr/bin/python3 /home/ec2-user/iss_api_db.py

$ chmod +x iss_api_db.py

データベースを確認すると1分毎格納されていることがわかります。

(6) Flaskを使って、最新5件のpoint情報を地図上に表示する

Flaskを使って、pointテーブルにある最新5件の情報を地図上に表示します。

参考：EC2にRDSから情報を取得し、FlaskでWebアプリとして表示させる (https://smizunolab.blogspot.com/2024/07/ec2rdsflaskweb.html)

Flaskのインストール

$ pip install Flask

上記の参考リンクと同様に以下のようにディレクトリ構成を作成します。

iss_app/

├── app.py

└── templates/

└── index.html

app.py

index.html

注意：

Flaskはデフォルトポート5000なので、セキュリティグループからインバウンド設定に5000ポートを許可する。

$ python3 app.py

今回はテスト用なので「http」でアクセスしています。ブラウザによっては、デフォルトが「https」なので接続時にエラーになる可能性もあります。

ここまでの内容で、APIで定期的に取得した内容をDBに格納し、それをWebアプリとして表示することができました。

注意：

cronに関しては、

$ crontab -e

で開き、対象行を削除するか、コメントアウト(#をつける)をしてください。

2024年7月10日水曜日

EC2にRDSから情報を取得し、FlaskでWebアプリとして表示させる

今回はEC2にRDSから情報を取得し、FlaskでWebアプリとして表示させることをやっていきます。

事前知識

・EC2でサーバを立ち上げてクラウドシェルで接続(https://smizunolab.blogspot.com/2023/10/ec2.html)

・Pythonでデータベースに情報を格納する(https://smizunolab.blogspot.com/2024/07/python.html)

・EC2でjupter-notebookをインストールする(https://smizunolab.blogspot.com/2023/11/ec2jupter-notebook.html)

1. EC2を立ち上げ、Flaskをインストールする

上記の「EC2でサーバを立ち上げてクラウドシェルで接続」の方法でEC2にサーバを立ち上げます。また「EC2でjupter-notebookをインストールする」にあるpipのインストールを実施しといてください。

$ sudo yum install python3-pip

今回はec2-userでFlaskをインストールしていきます。

(1) Flaskのインストール

$ pip install Flask mysql-connector-python

(2) Flaskアプリケーションの設置 : ホームディレクトリに作成

$ mkdir my_flask_app

$ cd my_flask_app

$ touch app.py

$ mkdir templates

$ touch templates/index.html

(3) app.pyの作成：

ホストやパスワードは自分の環境に揃える

(4) index.htmlの作成：

templates/index.html にコードを書き込みます。

(5) セキュリティグループの追加 : インバウンドルールに5000を追加(Flaskのデフォルトポートが5000)

(6) app.pyの実行 : python3 app.py

(7) http://publicDNS:5000 でアクセスし、データベースの内容を確認する

もしうまくいかない場合は以下をチェック

・データベース(今回はRDS)に接続ができているか

・データベース上にデータベース(nasa)、テーブル(apod)が保存されているか

・Flaskのインストールができているか

・5000番ポートでのアクセスができているか(セキュリティグループにインバウンドルールが追加されているか)

2024年7月8日月曜日

CentOS9にOpenMPI(Python: mpi4py) + OpenMP(C言語: gcc)を動かす

CentOS9上にOpenMPI(Python: mpi4py) + OpenMP(C言語: gcc)を動かしていきます。MPIでプロセスを生成して、その各プロセスでMP(C言語)を呼び出し、その中でスレッドを動かします。

1. 必要なモジュールのインストール(root権限で実施)

CentOS9にはPythonはインストール済み -> Python 3.9.19

(1) pipをインストール

$ sudo yum install python3-pip

(2) Python開発モジュールをインストール(これがないとmpi4pyがうまくインストールできなかった)

$ sudo yum install python3-devel

(3) gccをインストール

$ sudo yum install gcc

(4)OpenMPIをインストール+パスの追加

$ sudo yum install openmpi
$ echo 'export PATH=/usr/lib64/openmpi/bin:$PATH' >> ~/.bashrc
$ echo 'export LD_LIBRARY_PATH=/usr/lib64/openmpi/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
$ source ~/.bashrc

2. MPのテスト(ユーザ権限で実施)

OpenMPのテストをします。「omp_program.c」を作成します。

(1) コンパイル

$ gcc -fopenmp -o omp_program omp_program.c

(2) 実行

$ ./omp_program

3. mpi4pyをインストール(ユーザ権限で実施)

(1) mpi4pyをインストール

$ pip3 install mpi4py

(2) 「run_mpi.py」を作成

(3) インターフェースの設定

さくらサーバの場合警告が出たので、以下を設定してから実行
export PSM3_ALLOW_LOC_ALIASES=1
export PSM3_ENABLE_SYMMAP=0
export PSM3_NIC=ens3
export OMPI_MCA_mtl_ofi_provider_exclude="psm3"

(4) MPIの実行

mpirun -np 4 python3 run_mpi.py

4. MPをmpi4pyから呼び出して、プロセス2、スレッド4で動かす

MPIプログラム(Python)からrankを引数として、MP(C言語)を呼び出し、プロセス数2、スレッド数4、計 2 * 4 = 8並列で動かします。

(1) [omp_program_with_rank.c]の作成

MPの動作確認
gcc -fopenmp -o omp_program_with_rank omp_program_with_rank.c
./omp_program_with_rank 0
Rank 0, Hello from thread 0 out of 6 threads
Rank 0, Hello from thread 3 out of 6 threads
Rank 0, Hello from thread 1 out of 6 threads
Rank 0, Hello from thread 4 out of 6 threads
Rank 0, Hello from thread 2 out of 6 threads
Rank 0, Hello from thread 5 out of 6 threads

(2) [run_mpi_with_rank.py]の作成

実行
mpirun -np 2 python3 run_mpi_with_rank.py
Running on rank 0 out of 2 processors
Running on rank 1 out of 2 processors
Rank 0, Hello from thread 0 out of 4 threads
Rank 0, Hello from thread 3 out of 4 threads
Rank 0, Hello from thread 2 out of 4 threads
Rank 0, Hello from thread 1 out of 4 threads
Rank 1, Hello from thread 0 out of 4 threads
Rank 1, Hello from thread 3 out of 4 threads
Rank 1, Hello from thread 2 out of 4 threads
Rank 1, Hello from thread 1 out of 4 threads