Webex Bot X: Gamini APIを利用する

 生成AIをAPIを使って実行してみましょう。今回はGeminiを使ってみます。
https://ai.google.dev/gemini-api/docs?hl=ja

1. API keyを取得する
   上記URLにアクセスすると、「Gemini API で構築を開始する」がありますのでクリックしてください。
   
   
   
   
   Gemini API クイックスタートのページで、Google AI Studio から API キーを取得するをクリックしてください。
   
   Develop in your own environmentのGet API Keyをクリック
   
   
   
   プライバシーポリシー同意する。
   
   
   
   APIキーを作成をクリックする。
   
   
   
   ここで表示されるKeyを保存しておきましょう。
   
   
   
   
   
2. Google Colabで試してみる
   Gemini API クイックスタートのページにあるColabノートブックで試すをクリックすると、Colabノートブックが開きます。
   
   
   
   
   その中のAPI Keyの部分を、先ほど取得したKeyに置き換えます。
   
   
   
   
   
   
   そして、全て実行してみましょう。
   Generate textの部分が、Geminiに投げるプロンプトの部分です。
   いろんなパターンで試してましょう。
   
   
   
   
   

Webex Bot 3：lambdaを定期実行する

 第3回目です。今回はlambdaを定期実行していきます。

定期実行したいlambdaの画面にあるトリガーを追加から、このlambdaのトリガを設定していきます。

トリガとしてはEventBrigdeを選択し、新しいルールを作成します。
ルール名や説明については、内容に合わせて設定してください。
スケジュール式とイベントパターンがありますが、今回は定期的に実行させるため、スケジュール式を選択します。
ここでcron式を記載しますが、一旦仮で入力しておきましょう。

保存してlambdaに戻ってから、設定＞トリガから登録したトリガの詳細を見ていきます。

確認すると、日本時間（ローカルタイムゾーン）にすると、異なる日に時なっていますので修正します

編集ボタンから、数値を変更していきながら、自分が実行したいパターンになるように決めてください。

編集したら[次へ]、[ルールを更新]をしてください。
これにて定期的に実行されるようになります。

大学時代に身につけたいこと

 大学生活は4年間で長いようで短くもあります。この4年間は個人個人でまったく違ったものになります。充実した大学時代にしてもらいたいと思います。ここでは、学術的・社会的な面で話をしてみます。

(1) 体系的な学問として学修する

色々な授業を受けていて、それぞれの授業が難しいとそれで精一杯になってしまいます。大学の授業は授業同士が繋がっていて、カリキュラムツリーを形成しています。自分が目指したい分野にどのような学術的な要素があるかを確認して、大きな視野で授業の立ち位置を見ることができると、授業に対しての姿勢も変わってきます。授業がどのような意味を持っているかを考えてみるのも良い機会となります。先生に尋ねてみても、どの先生も学生が授業に関心持つことは嬉しいので、快く教えてくれると思います。

(2) 学問を使えるスキルを身につける

現代はAI・データサイエンスの技術が普及し、社会活動をするときに欠かせないツールとなってきました。授業で得られた知識を、実際に使えるスキルを持っておくと、理解の面でも実用面でも役に立ちます。一番身近なスキルとしては「エクセル」ではないかと思います。エクセルはPCにほとんどインストールされていますし、社会人になっても必須のツールです。このエクセルを使いこなして、データ整理、データ処理・集計、簡単な統計処理などできると、非常に重宝されます。スキルというとプログラミングが重視されますが、エクセルでも十分対応できる面があります。プログラミングが苦手という人は、代わりにExcelを使いこなせるだけで、活躍の場が広がります。

次にオススメのスキルはプログラミングになります。プログラミングはエクセルで可能な処理に加え、機械学習や最適化など、より高度な数学的な処理が可能です。エクセルで開けないような膨大なデータ量を持つファイルも、プログラムならば対応できます。プログラミングの良いところは、自分の考えた処理・システムをプログラミングで実現できるところだと思います。僕はハードウェアは苦手で、もの作りはできませんが、プログラミングでの色々な処理を行うことができ、それが研究に繋がっています。プログラミングは、僕自身の研究の幅を、格段に広げてくれたツールの一つです。

(3) 人間関係とコミュニケーション能力

一般的に就職活動には、コミュニケーション能力が大事と言われます。大学では、出身地、興味、年齢が違うなど様々な学生がいて、社会の一つの縮図のような集団です。この中での人間関係は、人にとっては、一生ものの宝になるかもしれません。このような話をしていても、僕自身は人間関係やコミュニケーションをとることが苦手な人間です。このような人間の場合、ある集団の枠に入り、立ち位置が作れれば、関係を形成しやすいと思います。具体的には、アルバイトで頼られる立場や、サークル活動で、役につくことでしょうか。人は立場ができれば、コミュニケーションをとる機会が自然に多くなり、慣れてきます。周りの人間の役に立つということを、良いバランスで考えることは、利他的な考え方となり、良い影響を与えると思います。

(4) チャレンジできる機会を使う

学生という立場は色々なことにチャレンジできる期間だと思います。学生の社会活動としては、サークル活動、アルバイトなどが代表例かと思いますが、それ以外にも学祭、資格試験、ハッカソンなど色々な活動があります。もちろん金銭的な負担はあるのですが、自身の範囲で、学生時代にしか出来ないことを1つでもチャレンジしてみると良いかと思います。

20代での活動が30代で活きてくるのではないかと思います。今の活動が次の10年に活きてくるのだと、僕自身今になって実感しています。

学生時代は長いようで短いものです。社会人になると自由度が極端に減るので、学生の間にチャレンジしてみるのをおすすめします。

Webex Bot 2：lambdaからメッセージを送る

 今回は第2回目。前回Postmanで実行した内容をlambdaで実行してみたいと思います。

1.lambdaを起動する
ここでは、AWS academyで実施していますが、通常のAWSでも問題ないです。
右上の[関数を作成]から、新しい関数を作成します。

関数名：何か名前をつけてください
ランタイム：Python3.10 ※layersに設定するファイルをcolab(python3.10)で作成するため
アクセス権限：aws academyの場合設定

詳細設定：関数URLを有効化　認証タイプはNONE

上記以外は、デフォルトのままでOKです。

2.コードを記載する
lambdaは、通常lambda_handler関数が実行されます。※変更も可能ですが、ここではこのまま行きます。
event内にpostされた際に送られてきた情報が入ってきます。

まずはpostされた内容に関係なく情報を送信するため、4行目以降にコードを書いていきます。

前回のPostmanで実行したメッセージ送信のコードをコピーして貼り付けます。

import json

import requests

def lambda_handler(event, context):

    # TODO implement

        

    url = "https://webexapis.com/v1/messages"

    

    payload = json.dumps({

      "roomId": "Y2lzY29zc*****kMGY5Njkw",

      "markdown": "こんにちは"

    })

    headers = {

      'Content-Type': 'application/json',

      'Authorization': 'Bearer YmYyMGQ****8cf0-2917b2d84a0f'

    }

    

    response = requests.request("POST", url, headers=headers, data=payload)

    

    print(response.text)

    

    return {

        'statusCode': 200,

        'body': json.dumps('Hello from Lambda!')

    }

コードを変えると、デプロイを求められるので必ずデプロイしましょう。

実行するときは、[Test]から実行します。イベント情報の登録が必要になりますが、イベント名はなんでもOK。イベントJSON情報は変更せずにそのままで良いです。

このまま実行しても、No module named 'requests'のエラーが出ます。
そのためrequestsが読めるようにlayers登録をしていきます。

3. layersの作成
layersの登録は、Lambda内のレイヤーから実施していきます。

右上の[レイヤーを作成]から登録します。

名前はなんでもOK
requestsモジュールの入ったzipファイルについては下記のコードから作成して、zipファイルをあげていきます。

!pip install -t /content/drive/MyDrive/Layers/requests/python requests

!find /content/drive/MyDrive/Layers/requests/python -name "*.pyc" -exec rm -f {} \;

!find /content/drive/MyDrive/Layers/requests/python -name "*.txt" -exec rm -f {} \;

!rm -rf /content/drive/MyDrive/Layers/requests/python/tests

!rm -rf /content/drive/MyDrive/Layers/requests/python/__pycache__

!rm -rf /content/drive/MyDrive/Layers/requests/python/*/tests

!rm -rf /content/drive/MyDrive/Layers/requests/python/*/__pycache__

!cd /content/drive/MyDrive/Layers/requests && zip -r /content/drive/MyDrive/Layers/requests.zip .

4.layersの登録
lambdaの関数に戻って、１番下のレイヤーの追加から、先ほど追加したレイヤーを追加します。
カスタムレイヤーから選択してください

5.実行確認
これで実行すると問題なく実行できました

以上

Webex Bot 1：Botからメッセージを送る(Postman)

 1.Webexアカウントを作成
Webexアカウントがない場合は、作成。　
https://web.webex.com/sign-in

2.Botを作成
https://developer.webex.com/docs/bots
Create a Botから作成

Botを作成すると、access tokenが表示されます。必ず、tokenは保存しておいてください。

3.Botを追加
指定されたスペースに、Botを直接検索して追加する
連絡先＞ユーザを追加でusernameを入れる

4.メッセージ送信

4.1room Idの取得
メッセージ送信には、room Idが必要になるため、room Idを取得するAPIを実行
List Rooms：https://developer.webex.com/docs/api/v1/rooms/list-rooms

ここで表示されるIdがroom Idです。

4.2 メッセージ送信
メッセージ送信のAPIを実行
Create a Message：https://developer.webex.com/docs/api/v1/messages/create-a-message

実行されると、このようにメッセージが送られます。

データサイエンスにおける研究テーマの設定(学生向け)

 研究テーマの設定は重要であり、誰もが悩むことだと思います。今回はデータサイエンスにおける研究テーマの設定についてお話します。

データサイエンスの基本要素は、データ処理、コンピューティング、確率・統計・機械学習の理論です。この基本要素をベースに、社会の課題解決を図っていきます。また共同研究も多いためその場合はそのままテーマが決まりますが、自分でテーマ設定をすることは、悩みも多いと思います。

多分学生さんがテーマを設定するときに、「これで研究になるのだろうか？」、「これでは作っただけ？」、「新規性がないと研究でない？」などを考えるのではないかと思います。

(1) 研究レベルを確認する

一口に研究といっても、卒業研究からジャーナル投稿レベルまで様々なレベルがあります。自身の立場からどのレベルを目指すのかを確認しましょう。卒業論文なら研究室に過去のものがあると思いますし、ジャーナルでも見られる論文はたくさんあります。

(2) 自分の興味のある課題を探す・見つける

研究は日々苦労があります。それをやり続けるためには、自分が興味のあるテーマが一番です。現在は技術進歩が速く、不可能と思われることでもある程度は実現可能な場合もあります。精度の問題は最後までついてきますが、自分の興味あるテーマを見つけられれば幸せです。

データサイエンスという面で考えると、社会の課題解決を目標の一つとするので、色々な立場の方々と話をすると、その分野の課題感が見えてきます。それが研究テーマにつながったりします。

またデータサイエンスでは、データから研究を行うデータドリブンの場合も多いです。自分や研究室でデータがある場合、その分析を主目的とすることで、研究として仕上げていく場合も多いです。また近年はオープンデータも質の良いものが多くなっており、十分研究に利用できるものも多いです。僕自身、オープンデータを用いて、論文を提出しています。

どうしても研究テーマが自分で決められない場合は、研究室の先生に相談するのが良いでしょう。研究室で活動しているテーマを紹介してもらうと、研究が進めやすいです。(実はテーマ紹介をすることは非常に多いです)

(3) 参考文献を探す・見つける

テーマ候補が見つかったら、参考文献を探して、テーマに対してどのように研究を行なっているかを確認します。僕が一つの研究を行うときには、最低50本の参考文献を調査して、自分の論文の位置付けを明確にします。1日１本の参考文献を地道に調査して、整理することが重要です。論文にこの調査した参考文献に対して自分の研究の位置付けをはっきりさせましょう。自分の研究の特徴を明確に記述できるといいですね。

(4) 外部発表にチャレンジする

卒業研究、修士論文、博士論文など学内に発表機会が用意されていると思いますが、学会発表などの外部での発表は、自身の実績にもなりますし、色々な意見ももらえますので、チャレンジすると大変な面はありますが、メリットも多いです。期日も決まっていますので、学会発表をターゲットに研究を整えていくと、後々学内での活動に非常に役立ちます。(指導教員も外部発表は責任が伴うので、きちっと指導してくれると思います) また国際会議も視野が広がるので、機会が許せばチャレンジするといいでしょう。僕自身、英語での発表で特に質疑での受け答えは、僕自身の英語力を大きく向上させてくれました。

(5) 研究の姿勢

研究はやはり精度が向上しないと中々結果につながりません。データサイエンスにおいて、やはり研究精度を向上するには、基本要素である、データ処理、コンピューティング、確率・統計・機械学習の日々の研鑽が必要です。この知識は、どのような場面でも効果的なスキルですので、学生のうちに身につけてもらいたいです。

研究は日々苦労が多く、進めていくことが大変なときが多いです。しかし継続的に時間をかけていけば、結果につながるときが非常に多いです。学生時代の研究では、どれだけ時間をかけられたかに研究内容が比例するように思えます。自分の研究に対して、じっくり時間をかけて取り組んでもらいたいです。僕自身も、一歩でも前進するように、日々取り組んでいます。

EC2上でAPIを定期的に動かしRDSに格納とFlaskでの可視化

 EC2上でAPIを定期的に動かして取得したデータをRDSに保存します。またそのデータをFlaskでWebアプリとして表示していきます。

(1) APIの動作確認

利用するAPIは、International Space Station Current Location (http://open-notify.org/Open-Notify-API/ISS-Location-Now/) で国際宇宙ステーションの現在位置を返してくれます。まずPostmanで実行してみます。指定されたURLを入力するだけです。

Pythonコードへ変換すると、次のようになります。

	import requests
	url = "http://api.open-notify.org/iss-now.json"
	payload = {}
	headers = {}
	response = requests.request("GET", url, headers=headers, data=payload)
	print(response.text)

view raw gistfile1.txt hosted with ❤ by GitHub

APIの動作確認ができました。もう少し、キレイなコードにして、時刻も秒までわかりやすく表示します。

	import requests
	import datetime
	import pytz
	url = "http://api.open-notify.org/iss-now.json"
	response = requests.get(url)
	data = response.json()
	# データの抽出
	timestamp = data['timestamp']
	latitude = data['iss_position']['latitude']
	longitude = data['iss_position']['longitude']
	# timestampをUTCからJSTに変換
	utc_time = datetime.datetime.utcfromtimestamp(timestamp)
	jst = pytz.timezone('Asia/Tokyo')
	jst_time = utc_time.replace(tzinfo=pytz.utc).astimezone(jst)
	jst_date_time = jst_time.strftime('%Y-%m-%d %H:%M:%S')
	# 結果を表示
	print(f"Date and Time (JST): {jst_date_time}")
	print(f"Latitude: {latitude}")
	print(f"Longitude: {longitude}")

view raw gistfile1.txt hosted with ❤ by GitHub

(2) EC2上で取得できるようにする

次にEC2上でAPIを取得できるようにします。

EC2の立ち上げは下記を参照してください。

・EC2でサーバを立ち上げてクラウドシェルで接続 (https://smizunolab.blogspot.com/2023/10/ec2.html)

今回は「ec2-user」のままで実施します。pythonはインストールされていますがpipがありませんので、pipをインストールしてください。

$ sudo yum install python3-pip

Pythonファイルを作成して、(1)で実施したプログラムを動かしてみます。ファイル名は「iss_api.py」とします。

$ python3 iss_api.py

(3) データベースの用意

今回はAWS RDSをCloud Shellから使います。下記を参考にしてください。

AWS RDSでデータベースを作成しCloudShellから接続してSQL文からデータを格納する (https://smizunolab.blogspot.com/2024/06/aws-rdscloudshellsql.html)

同じEC2上で、MySQLを動かして実施することも可能です。その場合は下記を参考にしてください。

EC2でMySQL のインストール (https://smizunolab.blogspot.com/2023/11/ec2mysql.html)

MySQLで実施する場合、GPG-KEYの更新を忘れないようにしてください。

sudo rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2023

データベース、テーブルの作成をしていきます。

データベース名：iss、テーブル名：point で作成します。

	-- データベースを作成
	CREATE DATABASE iss;
	-- データベースを使用
	USE iss;
	-- テーブルを作成
	CREATE TABLE point (
	id INT AUTO_INCREMENT PRIMARY KEY,
	timestamp DATETIME NOT NULL,
	latitude FLOAT(10, 6) NOT NULL,
	longitude FLOAT(10, 6) NOT NULL
	);

view raw gistfile1.txt hosted with ❤ by GitHub

RDS(またはMySQL)に接続し、SQL文を発行します。

(4) EC2上のPythonプログラムからデータベースへ情報の格納

次に国際宇宙ステーションのAPIを使って情報を取得し、データベースに格納していきます。下記を参考にしてください。

・Pythonでデータベースに情報を格納する (https://smizunolab.blogspot.com/2024/07/python.html)

MySQL Connectorのインストール：pip install mysql-connector-python

MySQL Connectorのインストールを行い、次のプログラムを実行します。プログラム名は「iss_api_db.py」とします。MySQLのhostはRDSを使っている場合は、エンドポイントを利用します。MySQLをEC2上にインストールした場合は、localhostのままです。

	import requests
	import datetime
	import pytz
	import mysql.connector
	# ISSの現在位置を取得
	url = "http://api.open-notify.org/iss-now.json"
	response = requests.get(url)
	data = response.json()
	# データの抽出
	timestamp = data['timestamp']
	latitude = data['iss_position']['latitude']
	longitude = data['iss_position']['longitude']
	# timestampをUTCからJSTに変換
	utc_time = datetime.datetime.utcfromtimestamp(timestamp)
	jst = pytz.timezone('Asia/Tokyo')
	jst_time = utc_time.replace(tzinfo=pytz.utc).astimezone(jst)
	jst_date_time = jst_time.strftime('%Y-%m-%d %H:%M:%S')
	# MySQLデータベースに接続
	connection = mysql.connector.connect(
	host="localhost",
	user="your_username",
	password="your_password",
	database="iss"
	)
	cursor = connection.cursor()
	# データの挿入
	insert_query = """
	INSERT INTO point (timestamp, latitude, longitude)
	VALUES (%s, %s, %s)
	"""
	cursor.execute(insert_query, (jst_date_time, latitude, longitude))
	connection.commit()
	cursor.close()
	connection.close()
	print("Data inserted successfully.")

view raw gistfile1.txt hosted with ❤ by GitHub

$ python3 iss_api_db.py

select文でテーブルを確認すると、データが格納されているのがわかります。

(5) プログラムの定期実行

cronを使って、1分に1回定期実行していきます。まず、cronieをインストールします。

$ sudo yum install cronie

$ sudo systemctl start crond

$ sudo systemctl enable crond

ターミナルでcrontab -eコマンドを実行し、crontabの編集を開始します。

$ crontab -e

書き込む内容

* * * * * /usr/bin/python3 /home/ec2-user/iss_api_db.py 

$ chmod +x iss_api_db.py 

データベースを確認すると1分毎格納されていることがわかります。

(6) Flaskを使って、最新5件のpoint情報を地図上に表示する

Flaskを使って、pointテーブルにある最新5件の情報を地図上に表示します。

参考：EC2にRDSから情報を取得し、FlaskでWebアプリとして表示させる (https://smizunolab.blogspot.com/2024/07/ec2rdsflaskweb.html)

Flaskのインストール

$ pip install Flask

上記の参考リンクと同様に以下のようにディレクトリ構成を作成します。

iss_app/

   ├── app.py

   └── templates/

                  └── index.html

app.py

	from flask import Flask, render_template
	import mysql.connector
	app = Flask(__name__)
	def get_db_connection():
	conn = mysql.connector.connect(
	host="localhost",
	user="your_username",
	passwd="your_password",
	database="iss"
	)
	return conn
	@app.route('/')
	def index():
	conn = get_db_connection()
	cursor = conn.cursor(dictionary=True)
	cursor.execute("SELECT * FROM point ORDER BY timestamp DESC LIMIT 5")
	points = cursor.fetchall()
	cursor.close()
	conn.close()
	return render_template('index.html', points=points)
	if __name__ == '__main__':
	app.run(debug=True, host='0.0.0.0')

view raw gistfile1.txt hosted with ❤ by GitHub

index.html

	<!doctype html>
	<html lang="en">
	<head>
	<meta charset="UTF-8">
	<title>ISS Latest Positions</title>
	<link rel="stylesheet" href="https://unpkg.com/leaflet@1.7.1/dist/leaflet.css" />
	<style>
	#map {
	height: 600px;
	width: 100%;
	}
	</style>
	</head>
	<body>
	<h1>ISS Latest Positions</h1>
	<div id="map"></div>
	<script src="https://unpkg.com/leaflet@1.7.1/dist/leaflet.js"></script>
	<script>
	var map = L.map('map').setView([0, 0], 2); // 初期表示の中心を設定
	L.tileLayer('https://{s}.tile.openstreetmap.org/{z}/{x}/{y}.png', {
	maxZoom: 18,
	}).addTo(map);
	// 最新のポイントデータを取得してマーカーを配置
	var points = {{ points | tojson }};
	points.forEach(function(point) {
	var marker = L.marker([point.latitude, point.longitude]).addTo(map);
	marker.bindPopup("<b>Timestamp:</b> " + point.timestamp + "<br><b>Latitude:</b> " + point.latitude + "<br><b>Longitude:</b> " + point.longitude);
	});
	</script>
	</body>
	</html>

view raw gistfile1.txt hosted with ❤ by GitHub

注意：

Flaskはデフォルトポート5000なので、セキュリティグループからインバウンド設定に5000ポートを許可する。

$ python3 app.py

今回はテスト用なので「http」でアクセスしています。ブラウザによっては、デフォルトが「https」なので接続時にエラーになる可能性もあります。

ここまでの内容で、APIで定期的に取得した内容をDBに格納し、それをWebアプリとして表示することができました。

注意：

cronに関しては、

$ crontab -e

で開き、対象行を削除するか、コメントアウト(#をつける)をしてください。

EC2にRDSから情報を取得し、FlaskでWebアプリとして表示させる

 今回はEC2にRDSから情報を取得し、FlaskでWebアプリとして表示させることをやっていきます。

事前知識

・EC2でサーバを立ち上げてクラウドシェルで接続(https://smizunolab.blogspot.com/2023/10/ec2.html)

・Pythonでデータベースに情報を格納する(https://smizunolab.blogspot.com/2024/07/python.html)

・EC2でjupter-notebookをインストールする(https://smizunolab.blogspot.com/2023/11/ec2jupter-notebook.html)

1. EC2を立ち上げ、Flaskをインストールする

上記の「EC2でサーバを立ち上げてクラウドシェルで接続」の方法でEC2にサーバを立ち上げます。また「EC2でjupter-notebookをインストールする」にあるpipのインストールを実施しといてください。

$ sudo yum install python3-pip

今回はec2-userでFlaskをインストールしていきます。

(1) Flaskのインストール

$ pip install Flask mysql-connector-python

(2) Flaskアプリケーションの設置 : ホームディレクトリに作成

$ mkdir my_flask_app

$ cd my_flask_app

$ touch app.py

$ mkdir templates

$ touch templates/index.html

(3) app.pyの作成：

	from flask import Flask, render_template
	import mysql.connector
	app = Flask(__name__)
	def get_db_connection():
	conn = mysql.connector.connect(
	host="localhost",
	user="root",
	passwd="LinuxOS99@",
	database="nasa"
	)
	return conn
	@app.route('/')
	def index():
	conn = get_db_connection()
	cursor = conn.cursor(dictionary=True)
	cursor.execute("SELECT * FROM apod")
	apod_data = cursor.fetchall()
	cursor.close()
	conn.close()
	return render_template('index.html', apod_data=apod_data)
	if __name__ == '__main__':
	app.run(debug=True, host='0.0.0.0')

view raw gistfile1.txt hosted with ❤ by GitHub

ホストやパスワードは自分の環境に揃える

(4) index.htmlの作成：

	<!doctype html>
	<html lang="en">
	<head>
	<meta charset="UTF-8">
	<title>APOD</title>
	</head>
	<body>
	<h1>Astronomy Picture of the Day</h1>
	{% for apod in apod_data %}
	<div>
	<h2>{{ apod.title }}</h2>
	<img src="{{ apod.url }}" alt="{{ apod.title }}">
	<p>{{ apod.explanation }}</p>
	</div>
	{% endfor %}
	</body>
	</html>

view raw gistfile1.txt hosted with ❤ by GitHub

templates/index.html にコードを書き込みます。

(5) セキュリティグループの追加 : インバウンドルールに5000を追加(Flaskのデフォルトポートが5000)

(6) app.pyの実行 : python3 app.py

(7) http://publicDNS:5000 でアクセスし、データベースの内容を確認する

もしうまくいかない場合は以下をチェック

・データベース(今回はRDS)に接続ができているか

・データベース上にデータベース(nasa)、テーブル(apod)が保存されているか

・Flaskのインストールができているか

・5000番ポートでのアクセスができているか(セキュリティグループにインバウンドルールが追加されているか)

CentOS9にOpenMPI(Python: mpi4py) + OpenMP(C言語: gcc)を動かす

 CentOS9上にOpenMPI(Python: mpi4py) + OpenMP(C言語: gcc)を動かしていきます。MPIでプロセスを生成して、その各プロセスでMP(C言語)を呼び出し、その中でスレッドを動かします。

1. 必要なモジュールのインストール(root権限で実施)

CentOS9にはPythonはインストール済み -> Python 3.9.19

    (1) pipをインストール

$ sudo yum install python3-pip 

    (2) Python開発モジュールをインストール(これがないとmpi4pyがうまくインストールできなかった)

$ sudo yum install python3-devel 

    (3) gccをインストール

$ sudo yum install gcc

    (4)OpenMPIをインストール+パスの追加

$ sudo yum install openmpi

$ echo 'export PATH=/usr/lib64/openmpi/bin:$PATH' >> ~/.bashrc

$ echo 'export LD_LIBRARY_PATH=/usr/lib64/openmpi/lib:$LD_LIBRARY_PATH' >> ~/.bashrc

$ source ~/.bashrc

2. MPのテスト(ユーザ権限で実施)

OpenMPのテストをします。「omp_program.c」を作成します。

	#include <stdio.h>
	#include <omp.h>
	void openmp_function() {
	#pragma omp parallel
	{
	int thread_id = omp_get_thread_num();
	int num_threads = omp_get_num_threads();
	printf("Hello from thread %d out of %d threads\n", thread_id, num_threads);
	}
	}
	int main() {
	openmp_function();
	return 0;
	}

view raw gistfile1.txt hosted with ❤ by GitHub

    (1) コンパイル

$ gcc -fopenmp -o omp_program omp_program.c

    (2) 実行

$ ./omp_program

3. mpi4pyをインストール(ユーザ権限で実施)

    (1) mpi4pyをインストール

$ pip3 install mpi4py

    (2) 「run_mpi.py」を作成

	from mpi4py import MPI
	comm = MPI.COMM_WORLD
	rank = comm.Get_rank()
	print(f"Hello from rank {rank}")

view raw gistfile1.txt hosted with ❤ by GitHub

    (3) インターフェースの設定

さくらサーバの場合警告が出たので、以下を設定してから実行

export PSM3_ALLOW_LOC_ALIASES=1

export PSM3_ENABLE_SYMMAP=0

export PSM3_NIC=ens3

export OMPI_MCA_mtl_ofi_provider_exclude="psm3"

    (4) MPIの実行

mpirun -np 4 python3 run_mpi.py

4. MPをmpi4pyから呼び出して、プロセス2、スレッド4で動かす

MPIプログラム(Python)からrankを引数として、MP(C言語)を呼び出し、プロセス数2、スレッド数4、計 2 * 4 = 8並列で動かします。

    (1) [omp_program_with_rank.c]の作成

	#include <stdio.h>
	#include <omp.h>
	#include <stdlib.h>
	void openmp_function(int rank) {
	#pragma omp parallel
	{
	int thread_id = omp_get_thread_num();
	int num_threads = omp_get_num_threads();
	printf("Rank %d, Hello from thread %d out of %d threads\n", rank, thread_id, num_threads);
	}
	}
	int main(int argc, char** argv) {
	if (argc != 2) {
	fprintf(stderr, "Usage: %s <rank>\n", argv[0]);
	return 1;
	}
	int rank = atoi(argv[1]);
	openmp_function(rank);
	return 0;
	}

view raw gistfile1.txt hosted with ❤ by GitHub

MPの動作確認

gcc -fopenmp -o omp_program_with_rank omp_program_with_rank.c

./omp_program_with_rank 0

Rank 0, Hello from thread 0 out of 6 threads

Rank 0, Hello from thread 3 out of 6 threads

Rank 0, Hello from thread 1 out of 6 threads

Rank 0, Hello from thread 4 out of 6 threads

Rank 0, Hello from thread 2 out of 6 threads

Rank 0, Hello from thread 5 out of 6 threads

    (2) [run_mpi_with_rank.py]の作成

	from mpi4py import MPI
	import subprocess
	def run_c_program(rank):
	# 環境変数を設定してスレッド数を指定
	env = {"OMP_NUM_THREADS": "4"}
	command = ["./omp_program_with_rank", str(rank)]
	result = subprocess.run(command, env=env)
	return result.returncode
	if __name__ == "__main__":
	comm = MPI.COMM_WORLD
	rank = comm.Get_rank()
	size = comm.Get_size()
	if rank < 2: # 2プロセスのみ実行
	print(f"Running on rank {rank} out of {size} processors")
	run_c_program(rank)

view raw gistfile1.txt hosted with ❤ by GitHub

実行

mpirun -np 2 python3 run_mpi_with_rank.py   

Running on rank 0 out of 2 processors

Running on rank 1 out of 2 processors

Rank 0, Hello from thread 0 out of 4 threads

Rank 0, Hello from thread 3 out of 4 threads

Rank 0, Hello from thread 2 out of 4 threads

Rank 0, Hello from thread 1 out of 4 threads

Rank 1, Hello from thread 0 out of 4 threads

Rank 1, Hello from thread 3 out of 4 threads

Rank 1, Hello from thread 2 out of 4 threads

Rank 1, Hello from thread 1 out of 4 threads

OpenMP(C言語: gcc)でスレッドを動かし、mpi4pyからMPIでプロセスを生成し、rankを引数として、２プロセス、4スレッドで動かすことができました。

5. SQUIDで動かす

OpenMPI + OpenMPは実際大規模並列環境で動かします。今回は大阪大学サイバーメディアセンターSQUIDで動かしてみます。

(1) omp_program_with_rank.c の作成とコンパイル・実行

gcc -fopenmp -o omp_program_with_rank omp_program_with_rank.c

./omp_program_with_rank 0

(2) run_mpi_with_rank.py の作成と実行

run_mpi_with_rank.pyの作成後、ジョブスクリプトを作成します。

[run_mpi_with_rank.sh]

	#!/bin/bash
	#------- qsub option -----------
	#PBS -q SQUID
	#PBS --group=GXXXXX
	#PBS -m eab
	#PBS -M mizuno@mail.address.jp
	#PBS -l cpunum_job=76
	#PBS -l elapstim_req=00:01:00
	#PBS -l memsz_job=248GB
	#PBS -b 1
	#------- Program execution -----------
	module load BasePy/2021
	module load BaseCPU
	source /sqfs/work/GXXXXX/vXXXXXX/test-env/bin/activate
	cd $PBS_O_WORKDIR
	mpiexec -np 8 python3 run_mpi_with_rank.py > run_mpi_with_rank.txt

view raw gistfile1.txt hosted with ❤ by GitHub

qsub run_mpi_with_rank.sh

作成されたrun_mpi_with_rank.txtを確認すると動いています。これでSQUIDでも実行できました。