2018年08月04日

Arduino& W5500からelasticsearchへのデータ投入

今回はArduino&W5500からelasticsearchへデータ投入する方法を紹介します。

W5500の代わりにESP32やESP02などのWiFiモジュールでもほとんど同じです。


httpクライアントからpostしてデータを
elasticsearchへ投入するのが正統派の方法です。

今回はコードを減らすため、
httpクライアントを使用せずにTCPのみでデータを投入します。

httpのpostは結局、TCPで下記の文字列送っているだけなので、
単純な処理であればTCPのみで実装できます。


POST /test_index1/data HTTP/1.1
Content-Type: application/json
Content-Length: 99
Host: 192.168.XXX.XXX:9200
Connection: close

{
"index":"test_index",
"type":"data",
"date": "2018-07-10T13:56:06.000Z",
"temp": 28.5,
"humd": 70.2
}


1. Elasticsearch側の設定
 Elasticsearchを起動させているPCのLANといった外部からデータを投入するため、
 config/elasticsearch.ymlファイルに下記の文字を追記します。

# ---------------------------------- Network -----------------------------------
#
# Set the bind address to a specific IP (IPv4 or IPv6):
#
network.host: 0.0.0.0
http.port: 9200
transport.host: localhost
transport.tcp.port: 9300


2. Elasticsearchを起動させているPCのLANを設定します。
 今回はW5500とPCをLANケーブルで直結します。
 最近のLANは自動的に接続状態を判別するため、
 クロスケーブルでなくても、普通のストレートケーブルが使用できます。

 直結でDHCP無効のため、PC 192.168.1.1と設定します。

elastic-arduino0.png

 なお、W5500側は192.168.1.2を設定しています。

3. W5500&Arduinoの設定
 W5500のシールドを乗せたArduinoに下記のコードを書き込みます。
 今回のコードはデータ送信後のhttp post成功の有無を確認していません。
 実際の運用ではデータ送信後の200、201などの成功有無確認が必要です。

 処理の流れ
 [W5500初期化]→[接続]→[データ送信]→[切断]

4. 動作確認
 PCとW5500をLANケーブルで接続し、Elasticsearchを起動させます。
 この状態でコードを書き込んだArduinoの電源を入れ、
 シリアルモニタで確認するとデータが投入されます。
 成功すると下記のように
 「HTTP/1.1 201 Created…」
 と成功したことが分かります。

elastic-arduino.png

5. Elasticsearch Kibanaの動作確認
 kibanaを起動させます。
 最初はインデックスパターンが何も設定されていないため、
 データを投入しても何も表示されません。
 Manegementから今回の「test_index」を欄に入れ、
 「Next Step」をクリックします。

 kibana-1.png


 続いて送信データ内の日付情報のデータを選択します。
 「Create index pattern」をクリックして設定を完了します。



 「Discover」に戻って、右上の時間範囲を「This year」などを選択すると
 データが入っていることが分かります。



  kibanaは未来のデータは表示できません。
 また、今回投入したデータの日付は固定時刻ですが、
 実際はRTC等からUTC時刻を取得して送信する必要があります。

 このようにArduinoからElasticsearchに簡単にデータ投入が可能です。
 W5500でなくても同様のシリーズの他、
 無線LANでTCP送信可能なESP-WROOM-02やESP-WROOM-32からでも簡単に
   Elasticsearchにデータ投入して、kibanaで可視化することができます。
posted by Crescent at 00:00| Comment(0) | 電子工作 | このブログの読者になる | 更新情報をチェックする

2018年07月28日

Node-Redからelasticsearchへのデータ投入

今回はNode-Redからelasticsearchにデータを投入する方を紹介します。

elasticsearchはhttpメソッドを使用してjson形式でデータを投入します。

今回はタイムスタンプボタンを押すとその時の時刻とサンプルデータを
elasticsearchに投入する例を紹介します。



使用するノードは主に
「http request」のノード
「function」のノード
です。




node.jpg






「function」のノード内で投入先のelasticsearch、
インデックス、データ等を定義してpayloadに投入します。


今回はelasticsearchとNode-Redが同一マシン上にあるため、
elasticsearch の宛先はlocalhostに設定しています。
また標準のポート番号は9200です。

今回の例ではインデックス
「test_data」
と設定して温度と湿度を投入します。

今回は例として定数ですが、
実際には定数でなくセンサから読んだデータを投入します。



func.jpg



「http request」ノードは
POSTメソッドを選択します。

URLはfunctionノードで設定しているため、
空欄にします。



post.jpg


上記の設定をしてデプロイ後、
タイムスタンプボタンをクリックすると
データがelasticsearchに投入されます。

ブラウザからkibanaにアクセスして、
discoverから投入されたデータを確認できます。
必要に応じて、右上の期間設定や更新タイミングを変更してください。



discover.jpg

今回のサンプルコードは下記のリンクです。
メモ帳等で開いてNode-Redの
「読み込み」→「クリップボード」からインポートしてください。

posted by Crescent at 00:00| Comment(0) | 電子工作 | このブログの読者になる | 更新情報をチェックする

2018年07月14日

elasticsearch 起動エラー対処方法

センサ情報を収集して表示する際にelasticsearchkibabaを使うことが時々あります。

Cloudサービスでelasticsearchとkibanaに対応しているものがありますが、
オンプレミス環境の場合はWindowsで実行する場合が多いと思います。

Windows環境でelasticsearchを起動させた際に出たエラーの対処方法をメモとして記します。

elasticsearchはJava8が必須ですが、
Java8をインストールしたにも関わらず、
下記のようなエラーが出て起動できない場合があります。
@elasticsearch6.3.0

日本語版Windowsの場合
¥Common の使い方が間違っています。

英語版Windowsの場合
The syntax of the command is incorrect.


この場合の対処方法として、
batファイルの文法が間違っているとかではなく、
JAVA_HOMEが設定されていないために発生するエラーです。

システムの環境変数にJAVA_HOMEを下記のようなJavaディレクトリを設定するとエラーが出なくなります。

JAVA_HOME C:\Program Files\Java\jdk1.8.*_***
*はインストールされているJavaのバージョンによる
  エクスプローラでディレクトリからバージョンを確認する



最初、このエラーが出て、zipファイルの解凍をミスしたのか、
batファイルの文字化けたのかなど色々試行錯誤してしまいました。
なんとも分かりづらいエラーです。

posted by Crescent at 00:00| Comment(0) | 電子工作 | このブログの読者になる | 更新情報をチェックする

2018年01月06日

OLEDリセット回路

あけましておめでとうございます。
2018年もよろしくお願いいたします。



今回はOLEDの配線を減らすためのOLEDリセット回路を紹介します。
以前にAmazonのOLEDを紹介しました。


oled2.jpg



秋月でも同様のOLEDの販売がされましたが、
手持ちのOLEDとピン構成が若干異なります。

AmazonのOLEDはSPIでも対応できるように
CSなどのピンが余分にあります。


OLEDの種類ごとに配線が異なると面倒なので、
RESなどのピンをなくして、秋月のOLED同様に4線(電源含む)にしてみました。

なお、事前にOLED背面のR3を外してR1へ取付、
R8をジャンパさせてI2Cモードに改造しています。


RESピンはVCC電源投入後の一定時間後に
LOWからHIGHにする必要があります。
VCC電源と同時にRESをLOWからHIGHにすると
画面が乱れて正常に動作しません。

RES用の配線を減らすために
RC回路でリセットを一定時間後に掛かるようにしました。


配線は次の通り。

oled.jpg

100k抵抗と0.1uFコンデンサでRESを
VCCに対して遅らせてLOWからHIGHにしています。



これでマイコン側との接続は
VCC、GND、SDA、SCLの4線となります。


RESの漏れ電流が不明なため、
トライ&エラーで100k、0.1uFと決定しました。
51kでは上手くリセットが掛からない場合があったので、
100kと決めてみました。


今のところ、N=5で上手く動いています。

ラベル:部品
posted by Crescent at 00:00| Comment(0) | 電子工作 | このブログの読者になる | 更新情報をチェックする

2017年07月25日

測域センサ 構造

今回は測域センサを紹介します。


北陽電機製測域センサURG-04LXを入手しました。

今となってはKinectやRealSenseなど
3Dでキャプチャリングできるセンサが安く入手できるようになっています。
ただ、その分、処理が重く、マイコン等で処理するのは大変です。

マイコンでも処理できるものとして、測域センサがあります。
2Dで平面上の障害物等を検出できます。


最近のメジャーな測域センサというとSeedStudioRPLDARがありますが、
今回は先日、入手した日本製の測域センサURG-04LXの内部構造を少し紹介します。


main.JPG

USB端子とシリアル端子がついています。


internal.JPG

上蓋を外すとモータで回転する円柱があり、
SeedStudioRPLDARと同じような構造のようです。
円柱の上に45度?に傾いたミラーがあり、
蓋の部分についたレーザー光を反射させているようです。

円柱が回転することで反射したレーザー光の方向を変えられるようになっています。



encoder.JPG

また、円柱下側にスリット付の板があり、
モータの位置検出用のエンコーダがついていました。





laser.JPG
蓋の中心部にレーザー発光部があると思われます。


recieve.JPG
円柱を側面から見ると、
レーザー光を受光する部分と思われる側面にレンズがあります。



小さい筺体にレーザーやエンコーダ、ミラーなどの光学部品が詰まっており、
なかなか面白い構造だと思いました。

時間を見つけて、今度は測域センサURG-04LXを実際に使用してみたいと思います。

ラベル:部品
posted by Crescent at 00:00| Comment(0) | TrackBack(0) | 電子工作 | このブログの読者になる | 更新情報をチェックする