https://nine-num-98.blogspot.com/2020/03/ai-socket-01.html
公開したプログラムの内容について解説します。
GitHub公開プログラム
https://github.com/kotetsu99/cnn_socket
前回は↑のプログラム群のうち、以下のプログラムについて解説しました。
(1)01-cnn_train.py: 画像学習プログラム
・画像をAIに学習させ、画像認識AIモデルを生成。
・AIモデルは、CIFAR-10 画像データセット向けのAIモデル(9層畳み込みネットワーク)
https://nine-num-98.blogspot.com/2020/03/ai-socket-02.html
今回は、それに続き以下のソケット通信部のサンプルコードについて解説します。
(2)02-cnn_server.py: 画像認識AIソケットサーバー
・ソケット通信サーバー。(3)のクライアントから画像ファイルを受信し保存。
・受信した画像ファイルに対し、(1)で作ったAIで画像認識させ、結果をクライアントに返す。
(3)03-socket_client.py: 画像送信ソケットクライアント
・ソケット通信クライアント。画像ファイルを(2)のサーバーにバイナリデータで送信。
・サーバーの画像認識結果を受信して、コンソール画面に表示。
イメージをつかむためのシーケンス図のほうも再掲しておきます。
画像認識AIソケットサーバー
02-cnn_server.py ソケット通信サーバーのプログラムです。
後述のクライアントプログラムから画像ファイルデータを受信し、ファイルとして保存。
画像ファイルに対し、(1)で作ったAIで画像認識させ、結果をクライアントに返します。
まずは序盤のmain関数までを見ていきます。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import keras
from keras.preprocessing import image
import numpy as np
import socket
import os, sys
# サーバーIPアドレス定義
host = "0.0.0.0"
# サーバーの待ち受けポート番号定義
port = 50001
# 入力画像リサイズ定義
img_width, img_height = 64, 107
# 学習用画像ファイル保存ディレクトリ
train_data_dir = 'dataset/train'
# 受信画像保存ディレクトリ
sc_dir = 'dataset/sc'
# 受信画像ファイル名
sc_file = 'sc_file.png'
def main():
# 環境設定(ディスプレイの出力先をlocalhostにする)
os.environ['DISPLAY'] = ':0'
# データセットのサブディレクトリ名（クラス名）を取得
classes = []
for d in os.listdir(train_data_dir):
if os.path.isdir(os.path.join(train_data_dir, d)):
classes.append(d)
print 'クラス名リスト = ', classes
# 学習済ファイルの確認
if not len(sys.argv)==2:
print('使用法: python 02-cnn_server.py 学習済ファイル名.h5')
sys.exit()
savefile = sys.argv[1]
# モデルのロード
model = keras.models.load_model(savefile)
# ソケット定義(IPv4,TCPによるソケット)
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
# 次の実行に備え、ソケットをTIME-WAIT切れを待つことなく、再利用できるようにしてお>く
s.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# IPとPORTを指定してバインド（ソケットに紐づけ）
s.bind((host,port))
# ソケット接続待受（キューの最大数を指定）
s.listen(10)
while True:
# ソケット接続受信待ち
try:
print 'クライアントからの接続待ち...'
# 接続が来たら対応する新しいソケットオブジェクト作成、接続先アドレスを格納
clientsock, client_address = s.accept()
# 接続待ちの間に強制終了が入った時の例外処理
except KeyboardInterrupt:
print 'Ctrl + C により強制終了'
break
# 接続待ちの間に強制終了なく、クライアントからの接続が来た場合
else:
# 受信処理を行い、画像認識結果を返す
recv_client_data(clientsock, model, classes)
except Exception as e:
print(e)
finally:
# ソケットを閉じる
s.close()
サーバーIPアドレス、待ち受けポート番号を定義等、諸々の設定を定義した後にmain関数に入ります。
main関数では、まず01-cnn_train.py で既に作った画像認識AIモデルを読み込んだ後、ソケット通信のサーバー側処理に移行します。
ソケット通信サーバープログラムの一般的な作法は、pythonのドキュメントにある、ソケット通信のサンプルプログラムに記されています。
https://docs.python.org/ja/2.7/library/socket.html
ソケット定義、bind、listen、acceptで、クライアントからの接続待ち状態にできます。ここでは、前に実行したプログラムがソケットを一定時間占有（TIME_WAIT）せず、すぐに再利用できるような設定をいれてます。listen(10)ということで、最大で10個の接続要求を同時に受け付けることができます。
ソケット定義から後の処理は、try,except,finally という例外処理内で記述されます。これは、ネットワーク切断などの何らかのトラブルが起きたときに、異常内容を表示させ、ソケットを閉じる処理をfinallyで確実に行えるようにするためのものです。
try文の中には、さらにネストでtry,except,elseと例外処理が accept以降で入っています。これはacceptで接続待ち状態のときに、Ctrl + C コマンドで強制終了させるためのものです。
accept中にクライアントからの接続が入った場合、clientsock（ソケットオブジェクト）を作成して、else文の受信処理を行います。
受信処理は以下の関数で定義しています。
def recv_client_data(clientsock, model, classes):
# 受信データ保存用変数の初期化
all_data = ''
try:
# ソケット接続開始後の処理
while True:
# データ受信。受信バッファサイズ1024バイト
data = clientsock.recv(1024)
# 全データ受信完了（受信路切断）時に、ループ離脱
if not data:
break
# 受信データを追加し繋げていく
all_data += data
# 受信画像ファイル保存
with open(sc_dir + '/' + sc_file, 'wb') as f:
# ファイルにデータ書込
f.write(all_data)
# 受信画像ファイルに対しAIで画像認識を実行
res = cnn_recognition(model, classes)
# 認識結果をクライアントに送信
clientsock.sendall(res)
except Exception as e:
print '受信処理エラー発生'
print(e)
finally:
# コネクション切断
clientsock.close()
try, except, finally という例外処理がここでも実装されていますが、データ受信中にネットワークが落ちるなどのトラブルが起きた場合に備えています。トラブルが発生した場合でも、コネクションが確実に残らないよう、finallyで切断処理を書いています。
try文の中ですが、これが正常系の動作になります。クライアントから送られてくるバイナリーデータを、clientsock.recvにより1024バイト単位でループしながら受け取ります。
受け取ったデータ(data)は、all_dataという変数につなぎ合わせて保存されていきます。
クライアントから受信するデータがなくなったとき(if not data がtrue)に、ループを抜けますが、これはクライアント側の方で送信路を閉じるという処理がトリガーになります。
ループを抜けた後、all_dataを画像ファイルに書き込みます。そして保存されたファイルに対し、01-cnn_train.pyで既に作っていたAIモデルで画像認識させ、最後にクライアントに認識結果を送信します。
画像ファイルに対し、AIによる画像認識を実行しているのが、以下の関数です。
def cnn_recognition(model, classes):
# 画像ファイル取得
filename = os.path.join(sc_dir, sc_file)
img = image.load_img(filename, target_size=(img_width, img_height))
# 入力画像定義(画像の行, 画像の列, チャネル数の3次元テンソル)
x = image.img_to_array(img)
# 4次元テンソル(サンプル数, チャネル数, 画像の行数, 画像の列数)に変換
x = np.expand_dims(x, axis=0)
# 学習時に正規化してるので、ここでも正規化
x = x / 255
# 画像サンプルが1枚のみなので、最初の1枚[0]の認識結果を格納
pred = model.predict(x)[0]
# 予測確率が高い順番に認識結果を出力
top = 4
top_indices = pred.argsort()[-top:][::-1]
result = [(classes[i], pred[i]) for i in top_indices]
#print('file name is', sc_file)
print '受信ファイル認識結果：'
print(result)
print('=======================================')
return result[0][0]
kerasで定義されている関数を用いて、画像データをテンソル表現し、modelのpredict関数で認識結果を出力しています。
認識結果は、各クラス該当する確率の高い順にソートしてコンソール画面に表示します。
最後に、その中で一番確率の高いクラス名を返します。この画像認識結果が、クライアントに返されるわけです。
# 上記処理については、こちらの記事が参考になりました。
https://qiita.com/nanako_ut/items/d35d74b7d692659b1e03
画像送信ソケットクライアント
最後に、03-socket_client.py の説明です。
画像認識AIソケットサーバーに向けて、画像ファイルをバイナリデータで送信。
その後サーバーの画像認識結果を受信して、コンソール画面に表示します。
以下にコードを示します。
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import socket
import os, sys
# サーバーIPアドレス定義
host = "0.0.0.0"
# サーバー待ち受けポート番号定義
port = 50001
def main():
# 送信画像ファイルパス引数の取得
if not len(sys.argv)==2:
print('使用法: python 03-socket_client.py 画像ファイル名')
sys.exit()
image_file = sys.argv[1]
# ファイルをバイナリデータとして読み込み
with open(image_file, 'rb') as f:
binary = f.read()
# ソケットクライアント作成
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
try:
# 送信先サーバーに接続
s.connect((host, port))
# サーバーにバイナリデータを送る
print(image_file + 'をサーバーに送信')
s.sendall(binary)
# データ送信完了後、送信路を閉じる
s.shutdown(1)
# サーバーからの応答を取得。バッファサイズ1024バイト
res = s.recv(1024)
# サーバー応答を表示
print('認識結果： ' + res)
except Exception as e:
# 例外が発生した場合、内容を表示
print(e)
finally:
# ソケットを閉じて終了
s.close()
if __name__ == '__main__':
main()
実行コマンドの引数として渡された、画像ファイルをバイナリデータとして読み込んだ後、AIサーバーとソケット通信を行います。
ソケット通信は、pythonのドキュメントにある、ソケット通信のサンプルプログラムに示されているように、一般的な作法を参考に書いています。
https://docs.python.org/ja/2.7/library/socket.html
まずソケットクライアントを作成し、サーバー接続。その後画像データをすべて送信しています。
ここで、重要なのが s.shutdown(1) という処理です。データをsendallで送り切ったあと、「もうこれ以上送るデータはないよ。」と送信終了のお知らせを、サーバー側に伝える必要があります。sendallにはそのような機能が付加されていないようなので、shutdown(1) により送信路を閉じることで、これを実現します。
一方で受信路は活かしておき、サーバー側から返ってくる画像認識結果を受け取り、printでそれを表示させます。
上記の処理が行われている間に、ネットワーク接続がきれるなど、何らかの異常が発生した場合に備えて、try,except,finallyによる例外処理を実装しています。何か問題がおきても、最終的にfinallyの処理でソケットが閉じられるようにしておきます。
以上が解説になりますが、ソケット通信でハマったのが、先述したs.shutdown(1)の箇所ですね。データの送信終了をサーバー側に知らせるやり方として、これが使えるのは中々見えてこなかったので。
もしかしたらもっとスマートな方法があるのかもしれませんが、一つの実装法として参考にしてもらえれば幸いです。
