Goのビルド時間を条件同じにして計測してみた

以下の記事で、Intel MacとM1 Macでビルド時間が違うことに気づいたので、条件を同じにして比較。

https://isehara-3lv.sakura.ne.jp/blog/2023/04/23/dockerコンテナからイメージを作成する/

<時間計測の条件>

一度ビルドを完了した状態で、実行ファイルを削除して再度ビルドに要する時間を計測(実際行っていることはリンケージですね)

スクリプトファイルで、

% go build main.go

の前後のタイムスタンプで計測

M1 Mac native build time -> 2 seconds

 % ./build.sh 
2023年 4月24日 月曜日 13時12分41秒 JST
2023年 4月24日 月曜日 13時12分43秒 JST


M1 Mac Docker container build time -> 11 seconds

# ./build.sh
Mon Apr 24 05:00:53 BST 2023
Mon Apr 24 05:01:04 BST 2023


Intel mac Docker container build time -> 61 seconds

# ./build.sh
Mon Apr 24 04:18:53 BST 2023
Mon Apr 24 04:19:54 BST 2023


Raspberry Pi model B+ native build time -> 118 seconds

$ ./build.sh
Mon 24 Apr 13:05:53 JST 2023
Mon 24 Apr 13:07:51 JST 2023

 

Intel/M1 Macは他のタスクではほぼ同じパーフォーマンスなので、Intel CPUではarm CPUのエミュレーションが明らかに速度が遅いようで、M1 MacでのDockerだけがクロスビルドの許容内、規模にもよりますが。

 

admin

DockerでラズパイのGolang build環境を作る

https://isehara-3lv.sakura.ne.jp/blog/2023/04/19/golangアプリは単純にクロスビルドしても動かない(db/

の対応としてとりあえずラズパイ自身でbuildさせましたが、ラズパイModel B+でbuildに必要な時間は、実行ファイルのタイムスタンプからおよそ二時間。これでは実用的ではないので代替え方法を考えるけれども、一番楽そうなのはDockerを使うことでしょう。

自分の環境を汚染させないとか、イメージの配布とかではなく、ラズパイの環境を作るための使用(DockerはM1 Macにインストール、ターゲットのコンテナはraspbian32 OS)です。

多少以前の記事になりますが、以下を参考に実行。raspbianイメージとかは最新版、と言っても2020年度が最新ですが。

https://www.koatech.info/blog/raspbian-on-docker/

・イメージ取得と作成

% wget http://ftp.jaist.ac.jp/pub/raspberrypi/raspios_lite_armhf/root.tar.xz

% docker image import ./root.tar.xz raspbian-stretch-lite:2020

・以下のコマンドでwarningが出る、とりあえずは無視して大丈夫な様子(QEMUは元々Intel CPU用だからか、Apple siliconでも今のところ何とかなってるけど)

% docker run --rm --privileged multiarch/qemu-user-static --reset -p yes

WARNING: The requested image's platform (linux/amd64) does not match the detected host platform (linux/arm64/v8) and no specific platform was requested

exec /register: exec format error

・コンテナ作成と起動(名前指定)

% docker run -it --name rasp32 raspbian-stretch-lite:2020 bash

・作成しているコンテナを起動するなら

% docker exec -it rasp32 bash

・Golang install

# wget https://golang.org/dl/go1.20.1.linux-armv6l.tar.gz

# sudo tar -C /usr/local -xzf go1.20.1.linux-armv6l.tar.gz

# /usr/local/go/bin/go version (パスが通っていない状態)

・Dockerのコンテナからファイルをクライアントにコピー(例)

% docker cp 21f2c6ce6eb8:/home/pi/hello .

・ディレクトリ指定すればその中全部をコピー(クライアントからコンテナへ)

% docker cp myfare 21f2c6ce6eb8:/home/pi/

コンテナ上のMacの該当ディレクトリを丸ごとコピー(gomodなど含めて)してきてbuild、できた実行ファイルをscpでラズパイに転送して起動するとちゃんと実行できました。実行ファイルの動作確認、最初は定番のハローワールドで確認しています。

エミュレーション(QEMU)なので、速度はMacでbuildするのに比較すると遥かに遅い、それでも二分ぐらいで終わっているからやはりラズパイで実行するよりはほぼ百倍速いから実用的です。

実行ファイルのサイズが微妙に違うのはライブラリの版数違いか、main1のほうがコンテナでbuildしたもの。

コンテナ上のraspbian、

ラズパイのbuild環境としてはおそらくデフォルトだと思う。カスタマイズしたコンテナを作る時にDcokerfileを記述しておけば、再現性確保できます。

 

admin

Golangアプリは単純にクロスビルドしても動かない(DBドライバがcgo使ってる)

Macで開発したアプリをラズパイで動かそうとしましたが、そのままでは動かない。なぜならgormもdbドライバーもcgoを使っている、つまりターゲットのgccを用意してそれを指定しないといけないから。

とりあえず動かすだけなら、すごく時間はかかりますがラズパイでビルド、2時間ぐらい放置してたらビルド完了してました。

実行ファイルを起動すると、Macよりは多少レスポンスは遅いのですがちゃんと動作しています。

<layout.html>

これだけはws://mbair.local:8080/wsをラズパイに変更が必要です。

 window.onload = function () {
  socket = new WebSocket("ws://mbair.local:8080/ws");
  socket.onopen = function () {
    append_message("system", "Socket Connected");
  };
  socket.onmessage = function (event) {
    append_message("server", event.data);
  };

  const send = function (){
    socket.send("")
  }
  setInterval(send, 500);

};

クロス環境をどうするかですが、Dockerがおすすめのようなので、それでやってみます。

メモリ使用状況は、こんな感じです、クライアント一台だけで、

すぐにもう一台増やすと、およそ200KBぐらい増えていますが、この程度では普通には十分です。

 

admin

myFare cardアプリのアップデート

以下の記事からのアップデートになります。

https://isehara-3lv.sakura.ne.jp/blog/2023/04/14/golangでwebsocketの実装/

カードリーダーにタッチで参加登録してブラウザで状況が見れる、追加で参加登録があるとwebsocketでその旨のメッセージを表示(画面更新はマニュアル)、発表者は登録のリンクをクリック(トグルになっています、Wi-Fi内の限定ユーザーなのでpwとかは要求しません)すると発表登録というアプリです。

コードの構成は、

uid.jsonはuidとnameのjson形式ファイルです。

全体のコードは、

https://github.com/chateight/golang/tree/master/myfare

になりますが、websocket経由メッセージのブロードキャストのためにコードは以下のようなっています(main.goの部分抜き出し)

① 新規参加者の登録あればその旨のメッセージをserial.goからチャネル経由でmain.goに通知する

② wsはブラウザからのリクエストの都度新規に作成されるから、通知内容が消滅しないようにmain.goの中で共通エリアに保存

③ 余計なwsを消すために、ブラウザから定期的にwebsocket経由でメッセージ送ってforループ内でタイムアウト(今は3秒に設定)すれば未使用wsと判断して終了させる、clients[ws] = trueで確認できるようにしてます

④ ②で保存された通知内容は各ws内で未送信(前回送付と同じかどうか判定、つまり同じ内容は2回以上送らない)であれば送信するが送信条件はタイマーで設定、チャネルから受信と並列条件としています

スマートではなさそうだからもっと別の方法がありそうです。

func msgHandler(ws *websocket.Conn) {
	defer ws.Close()

	clients[ws] = true
	fmt.Println(clients)

	premsg := msg	// initialize websocket message
	t := time.NewTicker(500 * time.Millisecond)
	defer 	t.Stop()
label:
	for {
		msgr := ""
        err := websocket.Message.Receive(ws, &msgr)
		if err != nil {
			//log.Println("receive error")		// main pupose is to check timeout (to detect unused session)
			break label
		}

		select {
			// to send websocket message triggered by the timer
			// the reason to separate receive and send is ws are running multi thread
		case <- t.C:
			if premsg != msg {
				premsg = msg
				err := websocket.Message.Send(ws, msg)
				if err != nil {
					log.Println("send err")
					break label
				}
			}
		case name := <- uidSerial.Notice:	// wait for message from serial.go via channel
			mu.Lock()
			msg = name.(string)
			mu.Unlock()
		}
	}
	clients[ws] = false
}

 

admin

SQLite3で指定できるデータ型

Myfare cardを追加してテーブル作成しようとしたら、特定のカードのテーブルの値がstring指定したはずなのに”Inf”になってしまった。Infとはおそらく無限大ということだろうからstring型を指定しても機能しないらしい。

で調べるとSQLiteで指定できる型にはstringは無い。

https://www.javadrive.jp/sqlite/type/index1.html

おそらくstringを指定しても整数扱いとなってオーバーフローしてしまったらしい。

string -> text

int -> integer

に変更して作り直してうまくいっているようです。GORMで指定する構造体ではこのように変更しようがない(おそらくGORMが自動で変換する)から、テーブル作成時のSQLコマンドだけでの対応。

 

admin

Golangでwebsocketの実装

websocket自体はRFCで規定されているものですが、実装はそれぞれの言語ごとに存在します。

サンプルは、

https://zenn.dev/empenguin/articles/bcf95c19451020

元を辿ると、おそらくこちら。

https://echo.labstack.com/cookbook/websocket/

他の言語の例に漏れず、クライアント側のJavaScriptとサーバー側のGoのスクリプトが連携して動作します。ディレクトリ構成は以下の通りです。

<main.goのリクエスト処理部分>

func handleWebSocket(c echo.Context) error {
	websocket.Handler(func(ws *websocket.Conn) {
		defer ws.Close()

		// 初回のメッセージを送信
		err := websocket.Message.Send(ws, "Server: Hello, Client!")
		if err != nil {
			c.Logger().Error(err)
		}

		for {
			// Client からのメッセージを読み込む
			msg := ""
			err = websocket.Message.Receive(ws, &msg)
			if err != nil {
				//c.Logger().Error(err)
			}

			// Client からのメッセージを元に返すメッセージを作成し送信する
			err := websocket.Message.Send(ws, fmt.Sprintf("Server: \"%s\" received!", msg))
			if err != nil {
				//c.Logger().Error(err)
			}
		}
	}).ServeHTTP(c.Response(), c.Request())
	return nil
}

最初のページリクエスト後はwebsocketのループに入るので、ここでページのリロード(複数回ルートのリクエスト)をするとループ処理(for loop)でエラーが発生します。

一点疑問はwebsocketのポート番号指定をどこでやっているのかわからないこと。

P.S. 2023/4/15

ポートはHTTPと同じポートが使われています。WSはHTTPとは異なるプロトコルなので同じポートでも問題はないようですね。

 

admin

Golangのテンプレートエンジン(html/template)

動的なページ作成のためにはテンプレートエンジンが必須で、Node.jsの場合にはexpress-generatorに同様の機能が存在しますが、golangでもライブラリhtml/templateを使うと実現できます。

https://isehara-3lv.sakura.ne.jp/blog/2023/03/29/golangとnode-jsでmifareカード使ってチェックイン表示/

ではビューはNode.jsを使っていますが、ラズパイで動かすと実行速度あるいは実行ファイルの扱いやすさなどを考えるとGolangに統一した方が良いだろうからhtml/templateを使います。myfareカードから読み取りデータを受信するGoのスクリプトはほぼそのままです。

https://www.twihike.dev/docs/golang-web/templates

上記を参考に作成してみました。

<web server起動のスクリプト>

myfareカードを読み取ってDBをアップデートする関数はgoオプションで並行処理として起動(go uidSerial.SerialMain())。

package main

import (
	"fmt"

	"html/template"
	"myfare/uidSerial"
	"net/http"

	"gorm.io/driver/sqlite"
	"gorm.io/gorm"
	"strconv"
	"time"
)

type Ninjya struct {
	Uid  string `gorm:"primaryKey"`
	Name string
	Time int
	Stat int
}

var products []Ninjya
var ninjyaSlice []string

// implements TableName of the Tabler interface
func (Ninjya) TableName() string {
	t := time.Now()
	tableName := "tbl" + strconv.Itoa(t.Year()) + strconv.Itoa(t.YearDay())
	return tableName
}

// to get active ninjya slice
func ninjya() {
	db, err := gorm.Open(sqlite.Open("./myfare.db"), &gorm.Config{})
	if err != nil {
		panic("failed to connect database")
	}

	// Migrate the schema
	db.AutoMigrate(&Ninjya{}) // if you use Automigrate and change struct, it won't be reflected automatically

	db.Debug().Order("Time desc").Where("Stat = ?", 1).Find(&products) // SELECT * FROM where Stat = tbl*****;
	ninjyaSlice = nil
	for i, p := range products {
		ninjyaSlice = append(ninjyaSlice, p.Name)
		fmt.Println(i, p)
	}
}

func handler(w http.ResponseWriter, r *http.Request) {
	t := template.Must(template.ParseFiles("layout.html", "pageData.html"))
	// to update ninjya status
	ninjya()
	tm := time.Now().Format(time.RFC1123)
	err := t.Execute(w, map[string]interface{}{
		"Time": tm,
		"Slice": ninjyaSlice,
	})
	if err != nil {
		fmt.Fprintln(w, err)
	}
}

func wevServer() {
	mux := http.NewServeMux()
	// to include static resoureces
	mux.Handle("/resources/", http.StripPrefix("/resources/", http.FileServer(http.Dir("resources/"))))
	mux.HandleFunc("/", handler)
	server := http.Server{
		Addr:    ":8080",
		Handler: mux,
	}
	err := server.ListenAndServe()
	if err != nil {
		if err != http.ErrServerClosed {
			panic(err)
		}
	}
}

func main() {
	// to call card reader function()
	go uidSerial.SerialMain()

	// http server start
	wevServer()

}

t := template.Must(template.ParseFiles("layout.html", "pageData.html"))

ここで、以下の二個のtemplete処理対象ファイルを読み込みます。

<layout.html>

<pageData.html>

mux.Handle("/resources/", http.StripPrefix("/resources/", http.FileServer(http.Dir("resources/"))))

スタイルシートを読み込むために検索パスを追加します。

 

実行すると、例えばこんな具合にブラウザ上に表示されます。

これでNode.jsと同等レベルになったので、Golang上で機能を追加していきます。

 

admin

GORMで既存のSQLite3のテーブルにアクセスする

他のGolangでSQL文を使って作成したテーブルにGORMを使ってアクセスします。ポイントはテーブル名がデフォルトでは使えないので、Tabler interfaceのメソッドであるTableName()を実装してテーブル名を与えているところになるかと思います。

https://isehara-3lv.sakura.ne.jp/blog/2023/04/01/goのormであるgormを見てみる/

の再構成に過ぎませんが、最低限やりたいことはGORMで実現できそうです。

package main

import (
	"fmt"
	"gorm.io/driver/sqlite"
	"gorm.io/gorm"
	"time"
	"strconv"
)

type Product struct {
	Uid		string		`gorm:"primaryKey"`
	Name  	string	
	Time 	int
	Stat	int
}

var products []Product
//
// implements TableName of the Tabler interface 
//
func (Product) TableName() string {
	t := time.Now()
	tableName := "tbl" + strconv.Itoa(t.Year()) + strconv.Itoa(t.YearDay())
	return tableName
  }

func main() {
	db, err := gorm.Open(sqlite.Open("~~~path to the db~~~ /myfare.db"), &gorm.Config{})
	if err != nil {
		panic("failed to connect database")
	}

	// Migrate the schema
	db.AutoMigrate(&Product{})		// if you use Automigrate and change struct, it won't be reflected automatically

	db.Debug().Find(&products) 					// SELECT * FROM tbl*****;
	for i, p := range products{
		//db.Model(&p).Update("Qty", 20)
		fmt.Println(i, p)
	}

}

 

admin

GoのORMであるGORMを見てみる

ORM(Object Relational Mapping)というのは、SQL文ではなくオブジェクト指向でデータベースを操作できる機能です。

Go言語ではGORMがもっともポピュラーなようなので、見てみましょう。

https://gorm.io/ja_JP/docs/index.html

にあるサンプルに多少手を入れて動作を理解しようとしたものです。

package main

import (
	"fmt"
	"gorm.io/driver/sqlite"
	"gorm.io/gorm"
)

type Product struct {
	gorm.Model
	Code  string
	Price uint
	Qty uint
}

/*
// gorm.Modelの定義
type Model struct {
  ID        uint           `gorm:"primaryKey"`
  CreatedAt time.Time
  UpdatedAt time.Time
  DeletedAt gorm.DeletedAt `gorm:"index"`
}*/

var products []Product

func main() {
	db, err := gorm.Open(sqlite.Open("test.db"), &gorm.Config{})
	if err != nil {
		panic("failed to connect database")
	}

	// Migrate the schema
	db.AutoMigrate(&Product{})		// if you use Automigrate and change struct, it won't be reflected automatically

	// Create
	db.Create(&Product{Code: "D42", Price: 100, Qty: 20})
	db.Create(&Product{Code: "A42", Price: 300, Qty: 5})

	// Read
	var product Product
	//db.First(&product, 1) // find product with integer primary key

	db.First(&product, "code = ?", "D42") // find product with code D42
	fmt.Println(product.ID, product.Code, product.Price, product.Qty)

	// Update 
	db.Model(&product).Update("Price", 200)			// update only pointer(*) reocord
	fmt.Println(product.ID, product.Code, product.Price, product.Qty)
	db.Model(&product).Update("Qty", 30)			// *:initial Create record pointer
	fmt.Println(product.ID, product.Code, product.Price, product.Qty)
	db.Model(&product).Updates(Product{Price: 200, Code: "F42"}) // non-zero fields
	fmt.Println(product.ID, product.Code, product.Price, product.Qty)
	db.Model(&product).Updates(map[string]interface{}{"Price": 500, "Code": "F42"})
	fmt.Println(product.ID, product.Code, product.Price, product.Qty)

	db.Model(&products).Where("ID = ?", 2).Update("Price", 1000)	// search ID and update record

	// Delete - delete product with condition
	//db.Delete(&products, "Code = ?", "F42")		// delete all of the code = "D42"

	db.Find(&products) 					// SELECT * FROM Product;
	for i, p := range products{
		//db.Model(&p).Update("Qty", 20)
		fmt.Println(i, p)
	}

}

以下が実行結果になります。意外だったのは、db.Modelは現在のID(Primary key)のレコードに対して働くということ。

・実行一回目

1 D42 100 20
1 D42 200 20
1 D42 200 30
1 F42 200 30
1 F42 500 30
0 {{1 2023-04-01 09:25:58.10815 +0900 +0900 2023-04-01 09:25:58.110959 +0900 +0900 {0001-01-01 00:00:00 +0000 UTC false}} F42 500 30}
1 {{2 2023-04-01 09:25:58.10884 +0900 +0900 2023-04-01 09:25:58.111384 +0900 +0900 {0001-01-01 00:00:00 +0000 UTC false}} A42 1000 5}

・実行二回目

3 D42 100 20
3 D42 200 20
3 D42 200 30
3 F42 200 30
3 F42 500 30
0 {{1 2023-04-01 09:25:58.10815 +0900 +0900 2023-04-01 09:25:58.110959 +0900 +0900 {0001-01-01 00:00:00 +0000 UTC false}} F42 500 30}
1 {{2 2023-04-01 09:25:58.10884 +0900 +0900 2023-04-01 09:26:30.669874 +0900 +0900 {0001-01-01 00:00:00 +0000 UTC false}} A42 1000 5}
2 {{3 2023-04-01 09:26:30.666797 +0900 +0900 2023-04-01 09:26:30.669524 +0900 +0900 {0001-01-01 00:00:00 +0000 UTC false}} F42 500 30}
3 {{4 2023-04-01 09:26:30.667772 +0900 +0900 2023-04-01 09:26:30.667772 +0900 +0900 {0001-01-01 00:00:00 +0000 UTC false}} A42 300 5}

データベースは存在しなければgorm.Opendで自動作成されます。

db.Createがレコードの新規作成、db.Modelがレコードの更新、使ってませんがdb.Deleteがレコード削除です。条件付けはwhere句を使うのでSQLと類似しているように思います。またdb.Firstはレコードを一個だけ(SELECT * FROM  products ORDER BY id LIMIT 1;と等価)引っ張ってくるしde.Findはselect*from相当です。

gorm.Modelを構造体に記載するとプライマリーキーや時刻が自動的にレコードに追記されますが、いまいち余計な感じもします。またdb.AutoMigrateはテーブル作成後に構造体を変更しても反映されないようなのでこれも注意が必要でしょう。したがってサンプルのままに使用することはそれほどないように思います。

gorm.Modelを使わなければ、例えば以下のようにP-Keyをセットすれば良いでしょう。

type Product struct {
	ID		int					`gorm:"primaryKey"`
	Code  string	
	Price uint
	Qty uint
}

いずれにしてもSQL文を作成するよりは間違いが入り込みづらいように見えるので、できる限りORMを使うのが良さそうです。

P.S. 2023/4/2

    1. テーブル名の指定

テーブル名ってどうなるかと思ったら、構造体の複数形(ドキュメントの説明:構造体 User の場合、対応するテーブル名は規約により users となります。)が使われるようです。テーブル名をダイナミックに設定したいと思ったらちょっと不便かもしれない。

sqlite> select*from products;
1|F42|500|30|2023-04-02 10:54:48.693791+09:00
2|A42|1000|5|2023-04-02 10:54:48.694968+09:00
3|F42|500|30|2023-04-02 14:13:44.198783+09:00
4|A42|300|5|2023-04-02 14:13:44.200078+09:00

テーブル名はTabler インターフェイスの実装で変更できるようですね。

https://gorm.io/ja_JP/docs/conventions.html

以下を追加すると、

func (Product) TableName() string {
	t := time.Now()
	tableName := "tbl" + strconv.Itoa(t.Year()) + strconv.Itoa(t.YearDay())
	return tableName
  }

テーブル名の変更指定ができました。

sqlite> .tables
products   tbl202392

2. SQL文を出力したい

通常はSQL文は隠蔽されますが、Debug()関数を挟んでやれば、SQL相当のステートメントを出力してくれます。

	db.Debug().Find(&products) 					// SELECT * FROM Product;
	for i, p := range products{
		fmt.Println(i, p)
	}

こんな感じで、



2023/04/02 20:21:46 ~~~/orm.go:71
[0.118ms] [rows:10] SELECT * FROM `tbl202392`

~途中省略
5 { ゲスト5 1680422277 0}
6 { ゲスト6 1680422277 0}
7 { ゲスト7 1680422277 0}
8 { ゲスト8 1680422277 0}
9 { ゲスト9 1680422277 0}

 

admin

GolangとNode.jsでmifareカード使ってチェックイン表示

Mifareカードリーダーを使ったチェックインシステムを
GolangとNode.js使って雛形もどきを作ってみた。Node.jsはwebアプリ雛形作成のexpress-generatorを使っています。

GolangでSQLite3のデータベーステーブル作成とアップデート、Node.jsはwebサーバー起動してviewを作成しています。

・index.js:データベースのテーブルから読み出したチェックイン情報を読み出して、ページ(view)の必要情報を用意します。データベース読み込みは非同期処理なので、async/awaitで同期化します。

・index.pug:index.html作成のテンプレートです。pugファイルにはJavaScriptの記述もできて繰り返し処理が簡単にできるから便利です。

・style.css:スタイルシート、本来のディレクトリから一個上の階層に移動してあります。GitHubへの転送がそうしないとうまくできなかったから。

・serial.go:M5StackC plusからのカード読み取り情報を受け取りjsonのuidと名前対応情報から手ブルを作成。テーブル名は年号と1月1日からの経過日を組み合わせたものにしています。

コードは分散していますが以下のリンクから、

https://github.com/chateight/golang/tree/master/serial

P.S. 2023/4/1

Unmarshalは簡単に使えてこのケースなら別に問題もないですが、巨大なファイルになるとメモリ大量に消費するだろうから効率考えたらストリームとして処理するのが良いようです。

 

*_tool.jsはデバッグ用のコードです。

カードリーダーのM5StackC plusのコードなどの情報は、

https://github.com/chateight/rfid

 

admin