Multi-Appearance Object Modeling using Camera Network in Household Environment

Camera NetworkWe propose an automatic object modeling framework composed of a network of cameras distributed in different places of the house. Our system can automatically construct multi-appearance object models by simply observing when humans move objects from one place to another as part of their daily activities. Our approach consists in placing vision nodes in places where objects are commonly located, i.e. table, desk, kitchen, etc. When an object is moved from one place to another and vice versa, the system automatically discovers the object and gradually acquires different appearances as more visual information of the object is presented. We propose an aspect selection algorithm that avoids collecting unnecessary appearances by selecting only the ones that contain relevant visual information.

 

   

Demo Videos

Related Publications

Christian I. Penaloza, Y. Mae, K. Ohara, T. Takubo, T. Arai, "Multi-Appearance Object Modeling using Camera Network in Household Environment", JSME Robotics and Mechatronics Conference (ROBOMEC) , Okayama Japan. May 26-28, 2011.

Automatic Object Modeling by Observing Human-Object Interaction

We propose a method for constructing object appearance models by observing human-object interaction in a household environment. Using this model, the system is able to perform object recognition by feature matching. In particular, our system gradually collects different appearances in order to improve its recognition performance. We also propose an aspect selection algorithm that avoids collecting unnecessary appearances by selecting only the ones that contain relevant visual information. We performed on-line experiments with several objects and demonstrate the improvement of the recognition performance.

 

   

Demo Videos

Related Publications

Christian I. Penaloza, Y. Mae, K. Ohara, T. Takubo, T. Arai, "Automatic Object Modeling by Observing Human-Object Interaction", The 7th International Conference on Ubiquitous Robots and Ambient Intelligence (URAI) , pp.433-436, Pusan Korea. November 24-27, 2010.

Object Appearance Modeling by Observing Human-Object Actions

日常環境で人の手助けをするロボットを実現するこ とを考えると,日常物体を認識するためのモデルが求 められる.物体を個別にロボットに提示し学習させる 手法[1, 2] は提案されているものの,日常環境には多 種多様な物体があり,それらのモデルの全てを人が与 えることは大変である.ロボットが物体を見回し操作 して物体の認識モデルを獲得する手法が提案されてい るが,対象とする物体は人が手渡さねばならない[3]. ロボットが自律的に物体のモデルを獲得することが望 ましいが,未知環境から未知物体の領域を切り出すこ とは困難となっている.ロボットが環境とインタラク ションしながら物体モデルを獲得していく手法も提案 されているが、ロボットが環境と接触しなければなら ず,日常環境での適用はいまだ困難である[4, 5, 6].人 が物体を移動させた際の画像の変化を検出し,物体の 見えモデルを獲得する手法が提案されている[7].しか し,この実験では,背景差分によって環境変化を検出 しているため,検出される画像変化領域が物体に対応 しない場合がある.  本稿では,日常環境における人の物体移動行動の 観測から未知物体の領域を切り出し,その物体の見え モデルを獲得する手法を提案する.獲得した見えモデ ルは,ロボットが日常環境において物体を認識するた めに用いるためのものである.図1 に概念図を示す.実 験で,人が手で物体を移動する動作を利用して,環境 中にある未知物体を検出し,物体認識のための見えモ デルが獲得できることを示す.

 

     

Demo Videos

Related Publications

Yasushi Mae, Christian I. Penaloza, Kenichi Ohara, and Tatsuo Arai: "Object Appearance Modeling by Observing Human-Object Actions", Proceedings of the 30th Annual Conference of the Robotics Society of Japan, Hokaido, Japan, September 17-20, 2012.