一撃殺虫!! ホイホイさんという大層面白いマンガがある。
そして、大層出来のいい1/1スケールホイホイさんプラモデルが発売されている。しかも近年NEW EDITIONとして復刻中で大層手に入れやすい。
ホイホイさんはハイテクが詰まった手のひらサイズのデフォルメドールで、自律駆動してご家庭の害虫退治をしてくれる。目の位置にあるカメラで周囲を認識し、銃火器や刀剣などの武器で退治する。
動作の様子はPS2向けゲームの動画を見るとイメージしやすいと思う。
前々から「そろそろ認識部分位はDIYできるのでは？」と思っていたところに Raspberry Pi Zeroとカメラモジュールが余った*1ので試してみた。
大体想像通りのものが試作できたので記録しておく。多分そのうち飽きて完成しないし……
試作hoihoi-eye
目に仕込んだカメラの映像を物体認識した結果を背負った液晶に表示している。
素人芸でそれっぽくだとこんなもんかな。後は緑色に色補正して暗視っぽさ入れようかな。 pic.twitter.com/HUkz2jNeW9
— 光電/7474 (@koudenpa) 2021年1月10日
仕込み具合。
ホイホイさんにRaspberry Pi Zeroを背負わせる。
— 光電/7474 (@koudenpa) 2021年1月10日
陸戦型ガンダムか炭治郎かって感じでサイズはいい気がする。
自立は無理なので何か支えが要る。
カメラのケーブル切らないか不安だ。。。 pic.twitter.com/MjLefajYMP
支えは超適当。タミヤのユニバーサルアーム便利。
圧倒的工作ちから。 pic.twitter.com/slbGxSScxv
— 光電/7474 (@koudenpa) 2021年1月10日
見た目面はMSGやバリエーションキットを使ってもう少し整えてやりたいなぁ、と思っている。コンテナっぽい見た目になるプレートを組み合わせるといいかな。
要素技術
メモはScrapboxにとっている。
抜粋や感想を書いておく。
ハードウェア
- Raspberry Pi
- Raspberry Pi Zero WH
- カメラ
- ディスプレイ
- ホイホイさん
余っていたカメラはホイホイさんの頭に入らなかったので結局ディスプレイと合わせて買いなおしてしまった。余ったので、とは……
ホイホイさんヘッドに余ってるラズパイカメラ仕込めないかな？ って改めて見るとカメラはともかく基板が厳しかった。他のモジュール探すか。フラットケーブルも取り回しムズいしね。 pic.twitter.com/ZMcZCEaLZS
— 光電/7474 (@koudenpa) 2020年12月31日
ソフトウェア
リポジトリ。TensorFlowのRaspberry Pi向けサンプルをほぼそのまま使った。
ほぼそのまま使えるのは良いのだけれど、何も考えないで*2Raspberry Pi Zeroで動かすと1/30FPSになってしまった。大体30秒に一回認識結果が返ってくる。
Phantom133GHzプロセッサなら120FPS余裕なんだろうな、きっと。それが29,800円（税抜き）で手に入る時代が早く来て欲しい。
最終目標はは駆除対象、駆除対象外、複合ゴミを識別することになるのだけれど、とりあえずは適当な学習済みモデル（リポジトリのサンプルで提示されていたもの）で試してみる。
リアルな駆除対象を用意するのはキツイので似たような甲虫をモチーフにしたゾイドを用意した。
結果、芋畑と認識された。
大分雰囲気は出てるのでは？
— 光電/7474 (@koudenpa) 2021年1月10日
何でこれが芋畑になるのかは分からんが。。。 pic.twitter.com/5hBFHGM7Ll
汎用モデルでは難しそうだ。
ガチでやろうとすると、機械学習のノウハウ面もだけれど、教師データ用意と、アノテーション作業は精神的にもきつそう。マーズ製薬のアノテーターはかなり強い神経が無ければ務まらないだろう。お疲れ様です。
追記：よく見たら芋畑（ポテトプラントだと思っていたらしい）ではなくて鉢植だった。
複合ゴミ
服の布や顔の（多分）樹脂や武器の（多分）金属を識別してるわけだ。
果たして2021年現在に素材の質感を識別できるコンピュータビジョンは存在するのだろうか？
まだまだフィクションの世界の近未来は遠い。
