c++でtelloを制御する

Pythonからc++のライブラリ呼ぶのは、ライブラリのビルド条件が複雑なので、いっそ全てをc++で作りあげるのが良さそうです。opencvもc++用が存在してるわけだから。

SDK 1.3に記述ある通り、UDPの送信とステータスの受信ポートが違うことは要注意です。

https://dl-cdn.ryzerobotics.com/downloads/tello/20180910/Tello%20SDK%20Documentation%20EN_1.3.pdf

やっていることはPython版と同じく、外部のテキストファイルに記述されたコマンドを順次telloに送ってステータスを受信しているだけです。

実は、コマンドの実行結果を受け取る前に次々にコマンド送ってるから、スプールされてしまっているようだから、作りが変だとは思う。

コードはこちら、

https://github.com/chateight/c_plus_video

ソケット通信の基本の解説は、

https://qiita.com/Michinosuke/items/0778a5344bdf81488114

通信サンプルは、

https://qiita.com/srs/items/c9286b5cff99e741b993

 

c++での制御は、すでに先駆者がいるから、この先はこれを使った方がいいでしょう。

https://github.com/carlospzlz/ctello

P.S. 2022/11/5

これはTello EDU用でした、違いを修正してもいいかもしれないけど。

 

動作は他の手段で動かすのと同じ。

 

admin

Macでのクリック実行の方法

これも今更感ですが、

<やりたいこと>

デスクトップにファイルを作って、それをダブルクリックしたらpythonのコマンドを実行するようにしたい。

<手順>

tello.commandを作成、拡張子commandが重要

<tello.commandの中身>

先頭にシェルを指定、それ以下に実行させたいコマンドを記述、

#!/bin/bash

/Users/xxx/opt/anaconda3/envs/tello-p/bin/python /Users/xxx/Desktop/Tello-Python/PY3_Tello_videop/main.py

カレントディレクトリの保証がないので、フルパスで記述しています。

<ファイルに実行権を付与>

% chmod u+x tello.command

これでデスクトップ上のファイルをダブルクリックすれば実行されます。

 

admin

Ventura

Mac OSの通例通りにカリフォルニアの地名ですが、Intel/M1 Macともにアップデート。

 

ビデオ会議でMacからiPhoneのカメラを使えるというぐらいの認識しかまだ無いけど、メニューはずいぶん見た目が変わってます。(例えばこの画像)

Intel Macは二日ぐらい前にアップデートしたけれども、とりあえず不都合は出ていない。

P.S. 2022/10/31

画像ファイルからテキストを認識して抽出できるというのは便利そうだ。iPhoneでもOSの機能でできるというけど、使うのはサードパーティアプリでちょっと面倒だったから。

 

admin

 

 

Ubuntu領域の拡張

ほぼ一年前に拡張(クラッシュ対応)してましたが、ディスク使用率が8割近くになったので再度の拡張。

https://isehara-3lv.sakura.ne.jp/blog/2021/09/27/ubuntuクラッシュとパーティション拡張/

VMwareの”仮想マシン” -> ”設定” -> “取り外し可能デバイス” -> “ハードディスク”を選んで、スライドバーで容量増やします。バスタイプSCSIになってますが、これでも問題無いようです、仮想だから?

Ubuntuのメニューで領域拡張。

これで使用率が3割になったので、おそらくのMac寿命まで持つんじゃないか。仮想ディレクトリはcondaのデフォルトになってます。

 

admin

 

h264decoder共有ライブラリはBoost.Python使っている?

以下の記事中で、

https://isehara-3lv.sakura.ne.jp/blog/2022/10/28/telloで画像転送python-h-264共用ライブラリ/

c++のライブラリをPythonから呼び出すためにpybind11のインストールが指定されていますが、c++ライブラリのラッパーファイル(h264decoder_python.cpp)を見てみると、pybind11ではなくてBOOST_PYTHONが使われているからpybind11は不要だよねと思いました。

BOOST_PYTHON_MODULE(libh264decoder)

試しに、仮想環境(v_python)からpybind11をpip uninstall pybind11しても動作はするから、やはり不要らしい。

Boost.Pythonをpybind11と比較するとサイズが巨大らしい。pybind11の方が後発だから、恐らく機能的には優っているだろうしユーザーも多いのではないかと思います。

P.S. 2022/10/31

H.264 decoderのビルドのためのCMakeLists.txtを見てみるとpybind11を探して、もし存在しなければ持ってきてるからビルドには必要とされているようです、何故だろう?

find_package(pybind11)
if(pybind11_FOUND)
  message("Using existing pybind11 v${pybind11_VERSION}")
else()
  message("Fetching pybind11")
  include(FetchContent)
  FetchContent_Declare(
    pybind11
    GIT_REPOSITORY https://github.com/pybind/pybind11
    GIT_TAG v2.5.0)
  FetchContent_MakeAvailable(pybind11)
endif()

P.S. 2022/11/7

今更ながらですが、改めて見るとpybind11使ってました。じゃ最初のソースは何見たんだろう?とりあえずすっきりはしましたが、

PYBIND11_MODULE(h264decoder, m)
{
  PyEval_InitThreads(); // need for release of the GIL (http://stackoverflow.com/questions/8009613/boost-python-not-supporting-parallelism)
  py::class_(m, "H264Decoder")
                            .def(py::init<>())
                            .def("decode_frame", &PyH264Decoder::decode_frame)
                            .def("decode", &PyH264Decoder::decode);
  m.def("disable_logging", disable_logging);
}

 

admin

Telloで画像転送(Python + H.264共用ライブラリ)

以下でコマンドは送信できましたが、画像の受信には追加の手段が必要になります。

https://isehara-3lv.sakura.ne.jp/blog/2022/10/26/dji-telloはudpでテキストコマンド送れば制御できる/

コマンド/レスポンスと画像転送はポートが分かれています、ある意味当然。

DJIのリンクにもH.264デコーダーは掲載されてますが古すぎて(四年前)動かない、そもそもがPython2.x系用だし。

で、環境に合わせてビルド必要ですが、以下のサイトがよくまとまっています。

Windws/Linux/Mac(intel/mx)と全てのプラットホームが解説されています。

https://take6shin-tech-diary.com/tello-video-python3/

<動作環境>

・intel Mac ventura

・Python3.9(環境はAnacondaで構築)

ビルドされたライブラリのディレクトリは、

c++をMacのPythonから呼び出すという情報が名称に含まれています。

 

<動作させてみる>

ドローンは飛行させなくても、画像は送られてくるので最初の画像はTelloの梱包箱。

UIもPythonのライブラリ(tkinter)使って作られます。

次はopencv使って、画像認識らしいことをやらせてみることでしょう。

 

admin

Timemachineのバックアップ初めて使った、

condaが挙動不審、

conda installを実行すると、

% conda install anaconda-clean

# >>>>>>>>>>>>>>>>>>>>>> ERROR REPORT <<<<<<<<<<<<<<<<<<<<<<

    Traceback (most recent call last):
      File "/Users/usamiryuuichi/miniforge3/lib/python3.10/site-packages/conda/exceptions.py", line 1129, in __call__
        return func(*args, **kwargs)

以下省略〜〜

と言われて実質何もできなくなったから。仮想ディレクトリでも同じだし、そもそも中身を変更するようなコマンドは全滅で、新しい仮想ディレクトリも作れないからデッドロック状態。

それゆえNASのTimemachineバックアップから、

miniforge3ディレクトリを復元したらとりあえず復旧したようです。ディレクトリ復元だけではうまくいかない場合もあるでしょうが、今回は問題なくということでしょう。

原因は恐らくbasicディレクトリでpipインストールしたからの可能性が一番高い。

 

admin

DJI TelloはUDPでテキストコマンド送れば制御できる

TelloにはDJIの提供する標準のアプリもありますが、Tello自体はテキストコマンドで制御できる、つまり専用のドライバなどは不要、ということで簡単にカスタムアプリができます。

UDP/ポート8889でソケット接続すれば、ドライバ不要でテキストモードでコマンド送信とレスポンス受信ができます。

 

<コマンド一覧>

SDK

The Tello SDK connects to the aircraft through a Wi-Fi UDP port, allowing users to control the drone with text commands

https://alfredo-reyes-montero.gitbook.io/tello-dji/sdk

 

<サンプル>

以下のサンプルプログラムを持ってきて、

https://github.com/dji-sdk/Tello-Python

Python2.7なので一部3形に書き換え必要なので書き換えて、

https://github.com/chateight/tello_python

に置いてあります、Python3への変換(except文とprint文)は機械的にできます。

コマンドはテキストファイル(以下ではcommand.txt)で一番単純であろうコマンドを定義して、

command
takeoff
delay 1
land

最初のcommand文はAPIモードに入る宣言として必要です。

 

<実行結果>

コマンドの引数でコマンドファイル(command.txt)を指定します。

% python tello_test.py command.txt
sending command: command to 192.168.10.1
from ('192.168.10.1', 8889): b'ok'
Done!!! sent command: command to 192.168.10.1
sending command: takeoff to 192.168.10.1
from ('192.168.10.1', 8889): b'ok'
Done!!! sent command: takeoff to 192.168.10.1
delay 1.0
sending command: land to 192.168.10.1
from ('192.168.10.1', 8889): b'ok'
Done!!! sent command: land to 192.168.10.1
Traceback (most recent call last):
  File "/Users/xxxxxx/github/tello_python/tello_test.py", line 28, in 
    out = open('log/' + start_time + '.txt', 'w')
FileNotFoundError: [Errno 2] No such file or directory: 'log/2022-10-26 13:06:37.254305.txt'

ログファイルができてないと言われてますが、それはlogディレクトリ作成してないからで、logディレクトリ作成するときちんとログが取れました。

id: 0
command: command
response: b'ok'
start time: 2022-10-26 14:27:31.283580
end_time: 2022-10-26 14:27:31.309985
duration: 0.026405


id: 1
command: takeoff
response: b'ok'
start time: 2022-10-26 14:27:31.310001
end_time: 2022-10-26 14:27:38.808229
duration: 7.498228


id: 2
command: land
response: b'ok'
start time: 2022-10-26 14:27:39.813307
end_time: 2022-10-26 14:27:42.531767
duration: 2.71846

 

ソケットで接続すれば良いだけなので、言語はPythonに限らず今時の言語ならなんでもつながるということになるので、ライブラリ次第で使い分けでしょう。

例えば、ScratchのTello拡張だと、Node.js使ってソケット接続しています。

TelloEDUモデル(編隊飛行だけでなく)だとクライアントモードでつながるので、クラウドサービス(例えばGoogle TM)を使った画像認識とかもできますね。EDUモード買えばよかった。

 

admin

micro:bitのイベント待ちはブロック言語ではよく分からない

micro:bitで二つのDCモーターを駆動して走らせる車はスイッチサイエンスで購入、

https://www.switch-science.com/products/7957?variant=42398922997958

これに、

Laser距離センサーを動かしてみた

レーザー距離センサーから、ある値以下に障害物に近づいた情報をmicro:bitのP0にパルス(およそ500μs幅)送って方向転換させようとするとイベント待ち、要は割り込み処理、を行おうとした時に、このリファレンスではよく分からないから、

https://makecode.microbit.org/reference

試行錯誤の結果で、

のようにしたら意図したように動いた。

M5stack側のコードは、

https://github.com/chateight/PlatformIO/tree/master/laser_dist_01/src

micro:bit側の全体は、

https://github.com/chateight/mb_car_drv

micro:bitリモコンは、

https://github.com/chateight/mb_car_ctl

 

従って、micro:bitもちゃんと扱うのはC++環境になるんじゃないか

VScodeでmicro:bitを扱うのはこの辺りが取っ掛かりになるだろう

https://jhalfmoon.com/dbc/2020/02/28/鳥なき里のマイコン屋77-vs-codeでmicrobit、デバッガも使え/

 

admin

 

 

iPad Air(五代目)でプロジェクターに接続

iPad Airの五代目は外部コネクタがtype Cが一つでイヤホン端子もありませんが、プロジェクターにはどうやってつなぐかというと、おそらくMacで使えるポートリプリケータでなんとかなるだろうと思ってたけど、なんとかなった。

Lightning用のHDMI接続アダプタもiPhoneがtype-Cになれば用済みになるか?

 

admin