BounceBall#03 ボールを動かす

Android Java 開発

前回まででカメラを使用し、その画像から四角形を検出することができました。次にカメラ画像の上でボールを動かします。

ソースコードはgithubで公開しています。
https://github.com/imoto-yuya-1234/BounceBall
SHA: bbe82521e1b2749c7336a3aee4c2f583d647d6cf

このブログを参考にしています。
appdevmem.blogspot.jp

緑色のボールがカメラ画像内で動き回り、画像の端に到達すると反射します。
本当はカメラ画像をスマホ画面いっぱいに表示させたかったのですが、どうすればよいかわかりませんでした。わかり次第対応したいですが、優先度は低いので当分そのままだと思います。

BounceBall#02 OpenCVで四角形を検出する その3

Android Java OpenCV 開発

前回、輝度値の高い箇所の輪郭を取得しました。今回はこの輪郭をポリゴン近似して、四角形の頂点を求めます。

輪郭をポリゴン近似する

求めた輪郭(contours)をapproxPolyDP()を使ってポリゴン近似します。approx2fに近似した結果を格納します。

MatOfPoint2f contours2f = new MatOfPoint2f(contours.get(i).toArray());
MatOfPoint2f approx2f = new MatOfPoint2f();
Imgproc.approxPolyDP(contours2f, approx2f, 0.05 * Imgproc.arcLength(contours2f, true), true);

書いてはいませんが、実際にはfor文でiについて0からcontoursのサイズ分回っています。
List型のcontoursをapproxPolyDP()の引数に渡せるようにMatOfPoint2fに変換します。この変換も苦労しました。もっとスマートなやり方があるのかもしれません。
また0.05の値ですが、小さくすればより精度の良い近似ができます。今回は四角形程度の頂点の少ない近似とするために、色々振ってみた結果、0.05となりました。

近似した結果から凸包を求める

まず凸包についてですが、ここでは特に記述しません。Wikipediaのリンクを貼っておきます。
凸包 - Wikipedia

明示していませんでしたが、今回検出した四角形は凹んでいない(凸包)の四角形です。なるべくよく四角形を検出できるように、凸包の四角形だけを取得する処理をいれます。

convexHull()を使って凸包を求めます。

MatOfPoint approx = new MatOfPoint(approx2f.toArray());
MatOfInt hull = new MatOfInt();
Imgproc.convexHull(approx, hull);

MatOfPoint2f型のapprox2fをMatOfPoint型に変換する必要があります。
そしてhullに結果を入れるのですが、hullに格納されるのはインデックスで座標ではありません。

四角形の座標を取得する

英語のQ&Aですが、ここを参考にしています。
stackoverflow.com

approxとhullを使って四角形の座標を求めます。

ArrayList<ArrayList<Integer>> cornerPoints = new ArrayList<ArrayList<Integer>>(); 
if (hull.size().height == 4) {
    ArrayList<Integer> srcPoints = new ArrayList<Integer>();
    for (int k = 0; k < hull.size().height; k++) {
        int hullIndex = (int)hull.get(k, 0)[0];
        double[] m = approx.get(hullIndex, 0);
        srcPoints.add((int)m[0]);
        srcPoints.add((int)m[1]);
    }
    cornerPoints.add(srcPoints);
}

cornerPointsには四角形の座標を複数格納します。三角形等、他の図形の座標を入れられるように可変な配列としました。
if文のhull.size().heightは頂点の数(何角形か)を表していて、今回は四角形のときのみ処理の対象としています。
hullIndexはapproxにおいて選択する座標番号を示しています。hullIndexを用いることで、座標の順番を反時計回りにできます。このhull, hullIndexの使用例があまりなく苦労しました。
あとはcornerPointsに四角形の座標が格納されているので、circle()やline()を使って描画すればよいです。どのように四角形が検出できたか、画像を載せておきます。

前回載せた、取得した輪郭を描画した画像です。

取得した輪郭をポリゴン近似等行い、四角形を検出した画像です。

BounceBall#02 OpenCVで四角形を検出する その2

Android Java OpenCV 開発

前回、カメラ画像を2値化しました。今回は2値化した画像から四角形の座標を求めます。

輪郭を取得する

2値化した際、白になった領域の輪郭を取得します。

List<MatOfPoint> contours = new ArrayList<MatOfPoint>();
Mat hierarchy = new Mat();
Imgproc.findContours(tempMat, contours, hierarchy, Imgproc.RETR_EXTERNAL, Imgproc.CHAIN_APPROX_TC89_L1);
Imgproc.drawContours(rgbaMat, contours, -1, new Scalar(0, 255, 0), 1);

findContours()で輪郭を取得します。tempMatは2値化した画像です。contoursに輪郭のデータが格納されるので、contoursをdrawContours()で描画しています。

2値化画像です。

2値化画像から輪郭を取得して描画した画像です。

AndroidでOpenCV 画像から青色を検出する

Android Java OpenCV 開発

Androidのカメラ画像から青色を検出します。

このブログを参考にしました。
アンドロイドでOpenCV：色検出

実装はこんな感じ。

// 青色を抽出
Imgproc.cvtColor(tempMat, tempMat, Imgproc.COLOR_RGBA2BGR);
Imgproc.cvtColor(tempMat, tempMat, Imgproc.COLOR_BGR2HSV);
Core.inRange(tempMat, new Scalar(90, 70, 70), new Scalar(110, 255, 255), tempMat);
Imgproc.cvtColor(tempMat, tempMat, Imgproc.COLOR_GRAY2BGRA);

他の色を抽出したいときの設定はこんな感じのようです。

// 赤色
Core.inRange(tempMat, new Scalar(0, 100, 30), new Scalar(5, 255, 255), tempMat);
// 緑色
Core.inRange(tempMat, new Scalar(50, 50, 50), new Scalar(80, 255, 255), tempMat);
// 黄色
Core.inRange(tempMat, new Scalar(20, 50, 50), new Scalar(40, 255, 255), tempMat);
// 肌色
Core.inRange(tempMat, new Scalar(0, 38, 89), new Scalar(20, 192, 243), tempMat);

色の抽出にはHSV形式が良いらしいです。この色の抽出が結構大変でした。RGBAから直接HSVに変換はできないらしく、RGBA→BGR→HSVとする必要があります。またinRangeの出力はGRAYなので適宜変換してください。ここでは色を抽出した後はGRAY→GBRAとしています。このことがわかるのにかなり時間を要しました。どれか一つでも抜けると出力画像がおかしくなったり、アプリ起動中に落ちたりします。

実際の入出力画像を示します。
入力画像(カメラ画像)

出力画像(青色を白に他を黒とした画像)

BounceBall#02 OpenCVで四角形を検出する その1

Android Java OpenCV 開発

Androidでカメラを使えるようになったので、カメラの画像から四角形を検出したいと思います。一気に書くのは大変なので、下記のように分割して書きます。
その1 四角形の領域を抽出する
その2 輪郭を抽出する
その3 輪郭をポリゴン近似して頂点座標を求める

ソースコードはgithubで公開しています。
https://github.com/imoto-yuya-1234/BounceBall
SHA: c86a350efd43e6949997f76f0117b04c43321b6c

四角形の領域を抽出する

まずは四角形の領域を抽出する必要があります。
今回は例えば白い四角形を検出することを考えて、輝度値の高い部分を抽出すれば四角形の領域を抽出できるとしました。そこでカメラ画像をグレースケール化して、輝度値において2値化します。

このブログに詳しく書いています。
blog.goo.ne.jp

こんな感じで実装できます。

// 入力画像をグレースケール変換
Imgproc.cvtColor(tempMat, tempMat, Imgproc.COLOR_RGBA2GRAY);
// 輝度値の高い箇所を抽出
Imgproc.threshold(tempMat, tempMat, 0, 255, Imgproc.THRESH_BINARY | Imgproc.THRESH_OTSU);

THRESH_OTSUを使うことで、自動で最適な閾値を設定してくれるみたいです。
実際の入出力画像を示します。

こちらが入力画像(カメラ画像)です。

こちらが出力画像(2値化した画像)です。この画像から四角形を検出します。

pythonでカレントディレクトリ名を取得する

Python

最近、pythonを使っています。カレントディレクトリ名を取得する必要があったのですが、一発で取得する方法がなかったので。

このコードでカレントディレクトリ名を取得できます。

import os
currentDir = os.getcwd().rsplit("/", 1)[1]
print(currentDir)

os.getcwd()でカレントディレクトリのフルパスを取得して、"/"を区切り文字として、右から分割することで、カレントディレクトリ名を取得します。

BounceBall#01 Androidでカメラを使う

Android 開発 OpenCV Java

Androidでカメラを使ってみたいと思います。
今後画像処理をするためにOpenCVを使ってカメラアプリを作りました。

このブログを参考にOpenCVの環境を導入しました。

qiita.com

ソースコードはこのブログを参考に作成しました。

OpenCV for Android入門 – カメラ編 « Rest Term

作成したソースコードはgithubで公開してます。
https://github.com/imoto-yuya-1234/BounceBall
SHA: b29084765bd1cd7e69d9232158406e8b3eb56f8f

現状ではMainActivityクラス自体をRunCameraProcessクラスに渡しているのですが、このあたりがもやもやします。MainActivityクラスを渡さないようにクラス内で処理させるのか、もっと違うやり方があるのか...Android初心者なのでこの実装が一般的なのかはわかりませんが、上手く集約できてると思うので、これで良しとします。また何かわかったら修正するつもりです。

とにかく、このソースコードを動かすとカメラ画像がフルクスクリーンで描画されます。
ここでも問題があって、スマホ画面の上下に帯がでます。本当は画面いっぱいに描画したかったのですが、今の所やり方がわかりません。しかしながら、ここはやりたいことの本質ではないので、おいおい解決することにします。

ひとまず、Androidでカメラを使えるようになりました。このソースコードをベースにしてアプリを開発していきます。
次は四角形を検出します。