読者です 読者をやめる 読者になる 読者になる

Natural Software

KinectなどのDepthセンサーを中心に活動しています

Kinect for Windows SDK v2.0 でBodyIndex(人の検出)を取得する

Kinect for Windows v2

Kinect for Windows SDK v2.0入門 目次

BodyIndex(人の検出)を取得して表示する方法について解説します。Kinect for Windows v1での人の検出はDepthデータに混ざって取得していましたが、v2では単独のデータとして扱うようになっています。解像度はDepthと同じ512x424、検出数はv1と同じ6人です。

環境

筆者の環境は次の通りです。

実行結果

BodyIndexを表示します。

キャプチャ

解説

BodyIndexもカラー画像、Depthと同じようにデータを取得します。

KinectSensor(クラス)を起点に、BodyIndexFrameSourceを取得、そこからBodyIndexFrameReaderを開きます。BodyIndexFrameReaderのデータが更新されるとBodyIndexFrameを取得でき、そこからBodyIndexを取得します。なお関節を検出するv1のSkeletonStream相当はBodyFrameSourceとなっているので、ややこしいですが注意してください。

解像度(幅、高さなど)もBodyIndexFrameSourceからFrameDescriptionで取得できます。BodyIndexの取得設定に先だって、使用するバッファの初期化などをFrameDescriptionを使って作成しています。

初期化

初期化の手順は次の通りです

  1. Kinectを開く
  2. BodyIndexデータの解像度を取得し、バッファなどを作成する
  3. BodyIndexリーダーを開く

まずKinectを開きます。

続いてBodyIndexFrameSourceからFrameDescriptionを取得します。フォーマットなどは1つだけなので、規定のDescriptionを使ってビットマップやバッファの作成を行います。

最後にBodyIndexリーダーを作成し、データの読み込み準備を行います。データの読み込みは、C++ではポーリング、C#ではイベントハンドラの登録を行います。

BodyIndexは0-5の6人の検出ができますので、それに対応した色情報を作成します。インデックスによって色を変えられるようにします。

C++

void initialize()

{

// デフォルトのKinectを取得する

ERROR_CHECK( ::GetDefaultKinectSensor( &kinect ) );

// Kinectを開く

ERROR_CHECK( kinect->Open() );

BOOLEAN isOpen = false;

ERROR_CHECK( kinect->get_IsOpen( &isOpen ) );

if ( !isOpen ){

throw std::runtime_error( "Kinectが開けません" );

}

// ボディインデックスリーダーを取得する

ComPtr<IBodyIndexFrameSource> bodyIndexFrameSource;

ERROR_CHECK( kinect->get_BodyIndexFrameSource( &bodyIndexFrameSource ) );

ERROR_CHECK( bodyIndexFrameSource->OpenReader( &bodyIndexFrameReader ) );

// ボディインデックスの解像度を取得する

ComPtr<IFrameDescription> bodyIndexFrameDescription;

ERROR_CHECK( bodyIndexFrameSource->get_FrameDescription( &bodyIndexFrameDescription ) );

bodyIndexFrameDescription->get_Width( &BodyIndexWidth );

bodyIndexFrameDescription->get_Height( &BodyIndexHeight );

// バッファーを作成する

bodyIndexBuffer.resize( BodyIndexWidth * BodyIndexHeight );

// プレイヤーの色を設定する

colors[0] = cv::Scalar( 255, 0, 0 );

colors[1] = cv::Scalar( 0, 255, 0 );

colors[2] = cv::Scalar( 0, 0, 255 );

colors[3] = cv::Scalar( 255, 255, 0 );

colors[4] = cv::Scalar( 255, 0, 255 );

colors[5] = cv::Scalar( 0, 255, 255 );

}

C#(デスクトップ)

private void Window_Loaded( object sender, RoutedEventArgs e )

{

try {

kinect = KinectSensor.GetDefault();

if ( kinect == null ) {

throw new Exception("Kinectを開けません");

}

kinect.Open();

// 表示のためのデータを作成

bodyIndexFrameDesc = kinect.DepthFrameSource.FrameDescription;

// ボディインデックデータ用のバッファ

bodyIndexBuffer = new byte[bodyIndexFrameDesc.LengthInPixels];

// 表示のためのビットマップに必要なものを作成

bodyIndexColorImage = new WriteableBitmap( bodyIndexFrameDesc.Width, bodyIndexFrameDesc.Height,

96, 96, PixelFormats.Bgra32, null );

bodyIndexColorRect = new Int32Rect( 0, 0, bodyIndexFrameDesc.Width, bodyIndexFrameDesc.Height );

bodyIndexColorStride = (int)(bodyIndexFrameDesc.Width * bodyIndexColorBytesPerPixel);

// ボディインデックデータをBGRA(カラー)データにするためのバッファ

bodyIndexColorBuffer = new byte[bodyIndexFrameDesc.LengthInPixels * bodyIndexColorBytesPerPixel];

ImageBodyIndex.Source = bodyIndexColorImage;

// 色付けするために色の配列を作成する

bodyIndexColors = new Color[]{

Colors.Red, Colors.Blue, Colors.Green, Colors.Yellow, Colors.Pink, Colors.Purple,

};

// ボディーリーダーを開く

bodyIndexFrameReader = kinect.BodyIndexFrameSource.OpenReader();

bodyIndexFrameReader.FrameArrived += bodyIndexFrameReader_FrameArrived;

}

catch ( Exception ex ) {

MessageBox.Show( ex.Message );

Close();

}

}

C#(Windows ストアアプリ)

protected override void OnNavigatedTo( NavigationEventArgs e )

{

base.OnNavigatedTo( e );

try {

kinect = KinectSensor.GetDefault();

if ( kinect == null ) {

throw new Exception( "Kinectを開けません" );

}

kinect.Open();

// 表示のためのデータを作成

bodyIndexFrameDesc = kinect.BodyIndexFrameSource.FrameDescription;

// ビットマップ

bodyIndexColorBitmap = new WriteableBitmap( bodyIndexFrameDesc.Width, bodyIndexFrameDesc.Height );

ImageBodyIndex.Source = bodyIndexColorBitmap;

// ボディインデックデータ用のバッファ

bodyIndexBuffer = new byte[bodyIndexFrameDesc.LengthInPixels];

// ボディインデックデータをBGRA(カラー)データにするためのバッファ

bodyIndexColorBuffer = new byte[bodyIndexFrameDesc.LengthInPixels * bodyIndexColorBytesPerPixels];

// 色付けするために色の配列を作成する

bodyIndexColors = new Color[]{

Colors.Red, Colors.Blue, Colors.Green, Colors.Yellow, Colors.Pink, Colors.Purple,

};

// ボディインデックスリーダーを開く

bodyIndexFrameReader = kinect.BodyIndexFrameSource.OpenReader();

bodyIndexFrameReader.FrameArrived += bodyIndexFrameReader_FrameArrived;

}

catch ( Exception ex ) {

MessageDialog dlg = new MessageDialog(ex.Message);

dlg.ShowAsync();

}

}

データの取得

続いてデータを取得し表示します。C++ではポーリング、C#ではイベントハンドラになりますが、大きな流れは同じです。

  1. BodyIndexフレームを取得する
  2. BodyIndexデータを取得する
  3. BodyIndexデータを表示する

BodyIndexフレーム、データを取得する

イベントが発生またはフレームが取得できたら、フレームからBodyIndexデータをコピーします。BodyIndexデータは1ピクセルあたり8bitのデータが512×424個ならんでいます。配列の要素にアクセスすることで、任意の座標のBodyIndexデータを取得できます。

C++

void updateBodyIndexFrame()

{

// フレームを取得する

ComPtr<IBodyIndexFrame> bodyIndexFrame;

auto ret = bodyIndexFrameReader->AcquireLatestFrame( &bodyIndexFrame );

if ( ret == S_OK ){

// ボディインデックスを取得する

ERROR_CHECK( bodyIndexFrame->CopyFrameDataToArray( bodyIndexBuffer.size(), &bodyIndexBuffer[0] ) );

// スマートポインタを使ってない場合は、自分でフレームを解放する

// bodyIndexFrame->Release();

}

}

C#(デスクトップ)

private void UpdateBodyIndexFrame( BodyIndexFrameArrivedEventArgs e )

{

using ( var bodyIndexFrame = e.FrameReference.AcquireFrame() ) {

if ( bodyIndexFrame == null ) {

return;

}

// ボディインデックスデータを取得する

bodyIndexFrame.CopyFrameDataToArray( bodyIndexBuffer );

}

}

C#(Windows ストアアプリ)

private void UpdateBodyIndexFrame( BodyIndexFrameArrivedEventArgs args )

{

// ボディインデックスフレームを取得する

using ( var bodyIndexFrame = args.FrameReference.AcquireFrame() ) {

if ( bodyIndexFrame == null ) {

return;

}

// ボディインデックスデータを取得する

bodyIndexFrame.CopyFrameDataToArray( bodyIndexBuffer );

}

}

BodyIndexデータを表示する

BodyIndexデータは、その画素が人を検出していない場合には255(0xFF)、人を検出している場合には0-5の値がふられています。画素を走査して255(0xFF)ではないインデックスの場合には対応した色を塗ります。255(0xFF)の場合には黒を塗るようにします。

C++

void drawBodyIndexFrame()

{

// ボディインデックスをカラーデータに変換して表示する

cv::Mat bodyIndexImage( BodyIndexHeight, BodyIndexWidth, CV_8UC4 );

for ( int i = 0; i < BodyIndexWidth * BodyIndexHeight; ++i ){

int index = i * 4;

// 人がいれば255以外

if ( bodyIndexBuffer[i] != 255 ){

auto color = colors[bodyIndexBuffer[i]];

bodyIndexImage.data[index + 0] = color[0];

bodyIndexImage.data[index + 1] = color[1];

bodyIndexImage.data[index + 2] = color[2];

}

else{

bodyIndexImage.data[index + 0] = 0;

bodyIndexImage.data[index + 1] = 0;

bodyIndexImage.data[index + 2] = 0;

}

}

cv::imshow( "BodyIndex Image", bodyIndexImage );

}

C#(デスクトップ)

private void DrawBodyIndexFrame()

{

// ボディインデックスデータをBGRAデータに変換する

for ( int i = 0; i < bodyIndexBuffer.Length; i++ ) {

var index = bodyIndexBuffer[i];

var colorIndex = i * 4;

if ( index != 255 ) {

var color = bodyIndexColors[index];

bodyIndexColorBuffer[colorIndex + 0] = color.B;

bodyIndexColorBuffer[colorIndex + 1] = color.G;

bodyIndexColorBuffer[colorIndex + 2] = color.R;

bodyIndexColorBuffer[colorIndex + 3] = 255;

}

else {

bodyIndexColorBuffer[colorIndex + 0] = 0;

bodyIndexColorBuffer[colorIndex + 1] = 0;

bodyIndexColorBuffer[colorIndex + 2] = 0;

bodyIndexColorBuffer[colorIndex + 3] = 255;

}

}

// ビットマップにする

bodyIndexColorImage.WritePixels( bodyIndexColorRect, bodyIndexColorBuffer, bodyIndexColorStride, 0 );

}

C#(Windows ストアアプリ)

private void DrawBodyIndexFrame()

{

// ボディインデックスデータをBGRAデータに変換する

for ( int i = 0; i < bodyIndexBuffer.Length; i++ ) {

var index = bodyIndexBuffer[i];

int colorindex = i * 4;

if ( index != 255 ) {

var color = bodyIndexColors[index];

bodyIndexColorBuffer[colorindex + 0] = color.B;

bodyIndexColorBuffer[colorindex + 1] = color.G;

bodyIndexColorBuffer[colorindex + 2] = color.R;

bodyIndexColorBuffer[colorindex + 3] = 255;

}

else {

bodyIndexColorBuffer[colorindex + 0] = 0;

bodyIndexColorBuffer[colorindex + 1] = 0;

bodyIndexColorBuffer[colorindex + 2] = 0;

bodyIndexColorBuffer[colorindex + 3] = 255;

}

}

// ビットマップにする

var stream = bodyIndexColorBitmap.PixelBuffer.AsStream();

stream.Write( bodyIndexColorBuffer, 0, bodyIndexColorBuffer.Length );

bodyIndexColorBitmap.Invalidate();

}

まとめ

v1と違いBodyIndexとして独立したデータになっているので、扱いが非常に楽になりました(v1はビットシフトが必要でした)。グリーンスクリーンなどプレイヤーの切り出しにはBodyIndexを利用します。カラー画像と解像度が異なるためBodyIndexの座標の変換が必要です。これについてはあとで解説します。