Social Optimization Systems Laboratory: 2018

2018年10月17日水曜日

processingを使おう(5)クラスを使う

前回の、processingを使おう(4)ではたくさんの配列を作って、ボールを動かしていきました。今回は、くらを利用して、今までよりもわかりやすいプログラムを作っていきましょう。

2018年10月3日水曜日

processingを使おう(3)draw関数、mousePressed関数

draw関数を使うと、動きのあるプログラムを書くことができます。
アニメーションを作るときは、一定の時間感覚で描くものを変えていけば良いのです。

processingのdraw関数のリファレンスに載っている以下のプログラムを動かしてみましょう。

すると、下から線が上に登っていく様子が見られます。

frameRate：一秒間に何回切り替えるかを命令します。setup関数の中に描くのが基本です。60とすれば、drawは現在の2倍のスピードで動きます。

では、backgroundの命令をコメントアウトして見たらどうなるでしょうか？

一度描いた部分に上書きされるような形になります。

マウスがクリックされた時に発動する関数は、mousePressed関数です。
processingのdraw関数のリファレンスに載っている以下のプログラムを動かしてみましょう。

すると、クリックしたx軸に場所に線が出現するようになりました。

[課題]
下から線が上に登っていくプログラムを以下のように改良しましょう
・一度描いた部分に上書きされるプログラム
・黒以外の色がカラフルに出るようにしましょう(色のバランスなどは自分で決めていい)
・クリックしたら、上書きが全て削除される

2018年9月26日水曜日

processingを使おう(2)setup関数と色

processingを使ってお絵かきをしていきましょう。

1. setup関数
まず、processingを動かすために必要な関数がsetup()です。
以下のコードを入力してみましょう。
void setup() {
size(400, 400);
background(255, 255, 0);
}

すると、次のような画面が表示されます。

sizeでは描画する範囲を、backgroundでは背景色を決めています。

2. 色について
初期設定では色はRGBで宣言します。しかし、今回はHSBでの色指定をしたいので、以下のプログラムを追加してください。

colorMode(HSB, 360, 100, 100);//色相(Hue)、彩度(Saturation)、明度(BrightnessもしくはValue)

例えば、真っ青を出したければ、background(240, 100, 100);とすれば良いです。

2. 図形を描く
図形を描画する関数として、以下のようなものがあります。
円：ellipse()　四角：rect()　三角形：triangle()　点：point()　線：line()
詳しいリファレンス(今説明している部分は、Shape - 2D Primitives)

3.図形の色・太さを変える
枠線の色を変える：stroke()
枠線の色をなくす：noStroke()
図形の中を塗りつぶす：fill()
図形の中を塗らない：noFill()
詳しいリファレンス(今説明している部分は、Color - Setting)

[課題]可愛い雪だるまを書いてみよう！

Office365 PowerShell : メーリングリスト作成

Office365 PowerShellを使ってメーリングリストにメンバを追加します。
(1) Office365に管理者でログインし、
管理センター→Exchange→グループで「配布リスト」として作成します。

これに1000人以上のメンバを追加するのは大変なのでPowerShellを使ってメンバを登録します。

(2) Macでの環境を整えます。
・XCodeのインストール(Homebrewで必要) - 時間がかかる
・Homebrew
[参考]
Homebrewインストール手順

(3) macOS への PowerShell Core のインストール
1.Homebrowをアップデートをする

$ brew tap

homebrew/core
$ brew update

Already up-to-date.

2.PowerShell をインストールする

$ brew cask install powershell

3.正常にインストールされていることを確認する

$ pwsh

4.PowerShell を終了して bash に戻るには、'exit' コマンドを使用します。

5.Homebrew によるプレビューのインストールする
　まず、プレビューパッケージを取得する

$ brew tap homebrew/cask-versions

6.PowerShell のプレビューをインストールする

$ brew cask install powershell-preview

7.インストールが正常に動作していることを確認

$ pwsh-preview

[参考]
macOS への PowerShell Core のインストールに関する情報

===(注意：ここからはwindows PowerShell を利用した)=====
(4) Office 365 PowerShell への接続
1.管理者権限でPowerShellを起動する
2.以下のコマンドを入力していく(接続時は、毎回以下のコマンドを打つ必要がある)
Import-Module MSOnline

Set-ExecutionPolicy RemoteSigned

$Cred = Get-Credential
→管理者アカウントのIDとパスワードを入力。

$Session = New-PSSession -ConfigurationName Microsoft.Exchange -ConnectionUri https://ps.outlook.com/powershell -Credential $Cred -Authentication Basic -AllowRedirection

Import-PSSession $Session

Connect-MsolService -Credential $Cred
[参考]
PowerShellでOffice365に接続する - Office365日備忘録

(5) csvでインポートする
1.必要なcsvの作成
以下は参考例（maillist[at]sist.ac.jpというメーリングリストにstudent1[at]sist.ac.jpとstudent2[at]sist.ac.jpを登録する。[at]は@のこと）
-----
PrimarySmtpAddress,UserPrincipalName
maillist[at]sist.ac.jp,student1[at]sist.ac.jp
maillist[at]sist.ac.jp,student2[at]sist.ac.jp
-----
PrimarySmtpAddress：メーリングリストのアドレス
UserPrincipalName：対象ユーザのアドレス　を書いていく

2.以下のコマンドを実行し、登録する（時間がかかります）→終了
Import-Csv csvのある場所(例 E:\mail.csv) |ForEach { Add-DistributionGroupMember -Identity $_.PrimarySmtpAddress -Member $_.UserPrincipalName}

[参考]
CSVファイルを読み込んで配布グループ（メーリングリスト）にメンバを追加する - Office365日備忘録

processingを使おう(1)初期設定

processingの簡単な使い方について書いていきます。

1. Javaをインストール
processingでは、Javaを使用するので、Javaが入っているか確認します。

$ java -version

と入力して、以下のようになればOK

そうでなければ、Java JDKをダウンロードしてください。

2. processingをインストール
公式HPのDownload Processingよりダウンロードをします。
(こちらの環境ではMacを使用しているので、Mac OS Xをクリックします)

実行ファイルを実行します。

3. 起動
processingがインストールされると、アプリケーションがどこかにあると思うので、
ダブルクリックをします。

2018年9月12日水曜日

Processing を Eclipse で使う

ProcessingをEclipseで使う

1.JDKの確認
ProcessingはJava SE 8 (JDK 1.8)を使用しているようなので、バージョンを確認する

2.Javaプロジェクトを作成する
今回は、
プロジェクト名：Processing
パッケージ名：processing
クラス名：Processing_main とした

3.Processing 3 の jar ファイルをコビーしておく
- core.jar
- gluegen-rt-natives-macosx-universal.jar
- gluegen-rt.jar
- jogl-all-natives-macosx-universal.jar
- jogl-all.jar
のjarファイルを使用します。
このファイルは、
Processing の実行ファイル内のContents > Java > core > libraryの中にあります。（Macの場合）

4.Java Build Pathで上記のファイルを選択する

Add External JARsから登録する

5.以下のプログラムを書く：githubのリンク

package processing;

import processing.core.PApplet;

public class Processing_main extends PApplet{

int x, y;

public void settings(){

size( 600, 600 );

}

public void setup() {

background( 50 );

}

public void mouseMoved(){

x = mouseX;

y = mouseY;

}

public void draw() {

ellipse(x, y, 50, 50);

}

public static void main(String[] args) {

//PApplet.main( "Processing_main" );

String[] a = {"MAIN"};

PApplet.runSketch( a, new Processing_main());

}

6.実行すると・・・
マウスの軌跡を描く

7.通常のProcessingとの違い(基本的なところ)
・size 関数は settings 関数の中に書かないといけない
・main 関数を書いておく必要がある

参考サイト
Eclipse with new Processing 3 - Can't run PApplet as Applet - Processing 2.x and 3.x Forum
https://forum.processing.org/two/discussion/12336/eclipse-with-new-processing-3-can-t-run-papplet-as-applet
Processing 3 を Eclipse で使う方法
http://hiroyukitsuda.com/archives/1721

2018年9月2日日曜日

BigQueryを使う(5) : 支払先アカウントの変更

BigQueryを使っていて、支払先アカウントを変更する段取りです。
今回はmizunolab000というgoogleアカウントからmizunolab003というgoogleアカウントへ変更します。

(1) 移行先アカウント(mizunolab003)を有効にしておく
googleアカウントでGoogle Cloud Platformを有効にします。クレジット情報が必要になります。今回は無料トライアル枠を使うようにしています。

(2) 移行元から移行先へプロジェクト共有
mizunolab000(移行元)からmizunolab003(移行先)へプロジェクト(今回はclosedqueue)を共有します。
mizunolab000(移行元)でログインをして、IAMと管理からIAMでADDをし、mizunolab003(移行先)をオーナーで追加します。

mizunolab003へメールがくるので、そのメールで承認します。

(3)支払い先の追加
mizunolab003で支払い設定をします。既にできていると思うので確認をします。
「お支払い」から「リンクされた請求書アカウントに移動」すると、プロジェクト名とともに無料利用枠が見えるようになっていれば大丈夫です。

(4) 移行先認証jsonファイルの設定(mizunolab003用)
mizunolab003で作業します。
https://cloud.google.com/bigquery/docs/reference/libraries
に移動し、 jsonファイルをダウンロードします。

(5) プログラムでjsonファイルの変更
支払い先を変えるので、jsonファイルをどこかに置いて、今まで使っていたjsonファイルとの差し替えが必要です。

注意として、支払先変更をする前に、クレジット不足などでプログラムが止まってしまっていた場合には、途中のプログラムの処理確認が必要です。

2018年8月5日日曜日

BigQueryを使う(4) : クラウドストレージからの挿入

BigQueryのFile Uploadで容量が多くてアップロードできないデータをGoogle Cloud Storageからアップロードする方法です。
http://mizunolab.sist.ac.jp/2018/07/bigquery1.html
で書きましたが、仕様が変わったので再度書きます。

(1) Google Cloud Storageでのデータ共有
最初、データが非公開になっているので、右側のボタンから「権限の編集」をクリック

「項目を追加」し、ユーザ、allUsers、読み取りを追加する

そうすれば公開になります。

これからアドレスをコピーして利用します。

2018年8月1日水曜日

BigQueryを使う(3) BigQueryへ格納

前回JavaからBigQueryにアクセスし、テーブル情報を集計しました。当初その結果はMySQLに格納しましたが、集計情報もデータ数が多くMySQLから取り出すことが大変だったので、BigQueryにStreaming Insertを使って格納しました。

(1) テーブル作成関数
データ格納用のテーブルを作成しました。

	public void createTable() { //BigQueryにテーブルを作成
	Field row[] = new Field[column+1];
	for(int i = 0; i < column; i++) {
	row[i] = Field.of("sum"+i, LegacySQLTypeName.INTEGER);
	}
	row[column] = Field.of("index", LegacySQLTypeName.INTEGER);
	Schema schema = Schema.of(row);
	StandardTableDefinition tableDefinition = StandardTableDefinition.of(schema);
	bigQuery.create(TableInfo.of(tableId, tableDefinition));
	}

view raw createTable hosted with ❤ by GitHub

(2) データ格納関数

	public void insertTotals(TableResult response, int index){

	System.out.println("Totals : Insert開始");
	for (FieldValueList row : response.iterateAll()) {
	Map<String, Object> rowvalue = new HashMap<>();
	for(int i = 0; i < column; i++) {
	rowvalue.put("sum"+i, row.get("sum"+i).getValue());
	}
	rowvalue.put("index", index);
	InsertAllRequest insertRequest = InsertAllRequest.newBuilder(tableId).addRow(rowvalue).build();
	InsertAllResponse insertResponse = bigQuery.insertAll(insertRequest);
	}
	}

view raw insertTotals hosted with ❤ by GitHub

全体
https://github.com/smzn/BigQuery
シンプル
https://github.com/smzn/BigQuery_Insert

Streamingはデータが入るまである程度時間がかかるので、データが格納されていなくても間違いではないので注意。

2018年7月27日金曜日

BigQueryを使う(2)

BigQueryをJavaから利用してみます。
(1) 認証用jsonファイルの作成
https://cloud.google.com/bigquery/docs/reference/libraries
を参照してEclipseでJavaのプログラムを作ります。今回はGradleのプロジェクトを作ります。

build.gradleに設定をします。マニュアルとは内容が違うので注意。
compile 'com.google.cloud:google-cloud-bigquery:+'

Refreshをするとライブラリが取り込まれます。

(2) 認証の設定
https://cloud.google.com/bigquery/docs/reference/libraries
の通り認証の設定をしてjsonファイルをダウンロードします。
ダウンロードしたjsonファイルを後で指定します。
（今回はマニュアルで載っているexportではうまくいかなかったです）

(3) Java作成
main関数付きのクラスを作成します。

ソースファイル
https://github.com/smzn/BigQuery

	package bigquery;

	import java.io.FileInputStream;
	import java.io.IOException;

	import com.google.auth.oauth2.ServiceAccountCredentials;
	import com.google.cloud.bigquery.BigQuery;
	import com.google.cloud.bigquery.BigQueryOptions;
	import com.google.cloud.bigquery.FieldValueList;
	import com.google.cloud.bigquery.JobException;
	import com.google.cloud.bigquery.QueryJobConfiguration;
	import com.google.cloud.bigquery.TableResult;

	public class BigQuery_main {

	public static void main(String args[]) throws IOException {
	BigQuery bigQuery = getClientWithJsonKey("/Users/mizuno/Downloads/closedqueue-929a267e03b8.json");

	String query = "select sum(int64_field_0) as sum0, sum(int64_field_1) as sum1,sum(int64_field_2) as sum2 from `mznfe.Fe_OFF_00000*` where int64_field_2048 = 1";
	QueryJobConfiguration queryConfig = QueryJobConfiguration.of(query);
	TableResult response = null;
	try {
	response = bigQuery.query(queryConfig);
	} catch (JobException e) {
	// TODO Auto-generated catch block
	e.printStackTrace();
	} catch (InterruptedException e) {
	// TODO Auto-generated catch block
	e.printStackTrace();
	}
	for (FieldValueList row : response.iterateAll()) {
	System.out.println(row.get("sum0").getValue() + " " + row.get("sum1").getValue() + " " + row.get("sum2").getValue());
	}
	}

	private static BigQuery getClientWithJsonKey(String key) throws IOException {
	return BigQueryOptions.newBuilder()
	.setCredentials(ServiceAccountCredentials.fromStream(new FileInputStream(key)))
	.build()
	.getService();
	}


	}