ゆるふわフラペチーノ

いっちゃんのブログです

Rhizomatiksのワークショップに参加した話 Day 1(/3Days)「機材を学ぼう」

先日8月17日から19日にかけて行われたRhizomatiks Research Summer Workshop 2015に参加してきました。その内容のレポートを書いていきます。

まずRhizomatiks*1について知らない人がもしかしたらいるかもしれないので説明を。

Rhizomatiksとはウェブデザイン、インタラクティブデザイン、グラフィックデザイン、内装・建築、ライブ演出などを手がけるクリエイティブ集団(会社)です。特にPerfumeの演出を手がけていることで有名です。

もともと書くつもりでしたが先に私と同じく参加者であるマイクロメートルさんが書いているので是非ここも一読して見てください。人によって感じ方が違うのがわかるかと思います。ほぼ初投稿ですし勝手がわからないので私よりマイクロメートルさんのほうが見やすいかと思います。

micromeeeter.hateblo.jp

 

Day 1の要約

RhizomatiksResearchの機材を学ぼう

 

赤外線の基礎とモーションキャプチャの原理(花井さん,登本さん)

赤外線とは言わずもがなテレビのリモコンや、 ケータイの個人情報の交換とかに使うあれ。高波長、人には見えない、普通のカメラには映らないあれです。赤外線を読み取るカメラが何台も頭上に有りました!余談ですがスマートフォン等のカメラには赤外線が映るよ!有名な話かなw

f:id:ichgw:20150823032816j:plain(おうちのリモコンで赤外線とってみた)

これと合わせて使うのが再帰性反射材です。一般的なものに対しての反射は乱反射と呼ばれるのですが再帰性反射材は光源の位置にのみ反射するという特殊な素材です。交通標識などに使われています。

f:id:ichgw:20150823025617p:plain f:id:ichgw:20150823025627p:plain*2

原理としては球状のレンズ表面で屈折した光が反射、また表面で屈折するときには光源を向いているというものです。プリズムを使ったやり方も有りますが割愛。

f:id:ichgw:20150823031454p:plain

赤外線(LED、カメラ)と再帰性反射材を組み合わせることで各反射材の位置情報を読み取りモーションキャプチャ等の実現が可能となるようです。これなら人の目にも見えないままいろんなことできて精度も高いのでかなり幅が広がりそう!

ちなみに今回のワークショップではワークショップでのハイライトを自動生成するプログラムを花井さんたちで組んで眺めようぜっていうRhizomatiks側の課題を一つ作っていました。そしてDay 1では

f:id:ichgw:20150823032808j:plain f:id:ichgw:20150823032829j:plain

メモするボールペンに再帰性反射材をつけてメモをよく取ってる時が重要なことを言ってるポイントだ!と読み取る仕組みでした。右のは再帰性反射材の話をしていた時に、お?じゃあこれライトつけて写真取れば光るんじゃね?とか思って取った写真です。マジで光ってちょっと興奮した。*3

 

お昼休憩

お昼はみんなでRhizomatiksオフィス内を一望できる吹き抜け的な2階で食べました!参加者の人達はしらないかもしれないけどご飯はRhizomatiksのカメラを担当していたイケメンな望月さんが用意してくれていたそうです。お弁当屋さんのお弁当です!望月さんありがとう!美味しかったです!ワークショップの参加費3,000円だけど結構いいもの食べさせていただいたからこんなに良い物を頂いてもいいのかな・・・って思いながらも美味しくいただきました。軽食って書いてあったからサンドイッチみたいなのかと思ってた。

 

機器同士のネットワーク(真鍋さん)

IPアドレスとかポート番号等の説明がありました。あまり面白い話ではないですがこういう情報を扱う仕事をするなら知っててほしいなー。って別に真鍋さんは言ってないですけど高校生だからか1から説明していただきました。Rhizomatiksの演出機材は全てローカルなネットワークに繋がっていて相互にデータを送り合って制御しています。そしてその制御をMaxで行っています。そしてMaxのチュートリアル的なの。みんなうずうずしてたパソコン操作の時間!

f:id:ichgw:20150823032855j:plain

10000というポート番号を利用して真鍋さんのIPアドレスにメッセージを送れるようにしました。四角のがオブジェクト。角丸四角がメッセージ。オブジェクトにはプログラミング言語で言う命令の記述、メッセージには送る内容を記述。その他ナンバー(数字を扱う)、プリセット(今の状態を保存する)があります。この四角いのを線で結んでいくだけの簡単な作業。楽しい。

udpreceiveが受け取る、upsendが送る、printがコンソールにメッセージを表示する命令です。

真鍋さんはその後udpreiceiveとprintの間に音を出すオブジェクトを配置してメッセージを受け取るたびに音が出て、更には半音ずつ上がっていくようなプログラムを作ってMaxの面白さを伝えてくれました。面白い!Max!

 

TCP/IPについて学んでいたもののこういった形で見れるとその実態が見えた気がします。

 

まだDay 1の途中なのですがこの記事はこの辺で。次の記事では各種センサー、レーザー、モーター、モーションキャプチャ、ロボットアーム、ドローンなどをRhizomatiksの参考作品と共に。

 

各種センサーの入力装置(柳澤さん)

.加速度センサー

加速度センサーといえば傾きや衝撃などの検知に使われていますね。コロコロカービィには加速度センサーがゲームカセット内に埋め込まれていてそれでコロコロするそうですよ。私的にはヨッシーの万有引力が好きでした。wiiリモコンにも使われてますね。今ではスマートフォンにも搭載されていてそれを利用したゲームとかでてますよね。

石橋さんの1999年に作ったG-Displayという作品にはいち早く傾きでゲームを作るというアイディアが詰め込まれています。

www.motoi.ws

 

.曲げセンサー

みんな大好き曲げセンサーです。曲げることによって内部抵抗値が上がり曲げを感知しています。Rhizomatiksファンなら知らない人は有いないほど有名だと思われるNike Music Shosで使われていますね。

www.youtube.com

f:id:ichgw:20150823032939j:plain

こんな風になってます。作りは簡単に見えますがアイディアが光り過ぎてて恐ろしいです。

その他圧力センサー、距離センサーの説明もありました。Rhizomatiksではこれらのセンサーの値をMaxで呼び出していろいろな効果を生み出しているようです。

 

LED照明、レーザープロジェクタ等の出力装置(真鍋さん)

LEDはRGBの光の三原色を用いて様々な色合いを表現します。真鍋さんの参加しているRefined Colorsの動画が参考になります。古い動画ですがダンスと光の相性がバッチリです!

Refined Colors

レーザープロジェクタはレーザーが出ます(あたりまえ)。ガルバノスキャナというレーザーのx軸y軸を位置を変化するための鏡が搭載されており、その鏡を高速回転させることで模様が見えます!画像だと線の切れ目が見えますが人の目には斜め丸に見えます!人の目って適当ですね!

f:id:ichgw:20150823033730j:plain

鏡が停止いている状態は止まっています。

f:id:ichgw:20150823033850j:plain

 

.筋電センサー

筋電といったらあの動画ですよね。

www.youtube.com

10mA程度の電流を流して筋肉を収縮させています。今回は筋電センサーを別の人にもつけて筋肉の収縮を読み取り増幅して対応する筋肉に電流を流して収縮させることでシンクロしよう!としてたけど正直どうなってたかよくわからないまま終わってしまったw

このような筋肉のシンクロを9/26に放送された「SWITCHインタビュー」にて本木雅弘さんと真鍋大度さんが行っていた映像が放送されていました。

また、筋電センサーからの信号をそのまま音に変換して真鍋さんの筋肉の音を聞きました!「ゴォォォォォォ」って感じの音です!多分レア。

 

モーションキャプチャ(石橋さん)

ここで謝らないといけないことは私は朝早く起きて新幹線で来ていたためここをピークに最高に眠かったということです。起きてはいたのです。しかしメモが寝てます…。ごめんなさい。後に目薬とかして復活しました。

モーションキャプチャに関しては赤外線の項ですこし出ているのですが単にx,y,zの位置だけではそれがなんなのかわかりません。そこで位置関係を記憶させることでこの形、位置は人だ。これはマジックワンド(画像参照)だ。とわかるようになっています。

f:id:ichgw:20150823033411j:plain マジックワンド(4つの再帰性反射材のついた杖です)

このマジックワンドは後ででてきます。

他にVNC(ヴァーチャネットワークコンピューティング)とrigidbody(Unity?)の話をしてました。モーションキャプチャはUnityと親和性がいいよ!らしいです。

 

電波(登本さん)

ラジオとかにFM、AMとかある電波です。FMラジオやテレビや携帯電話の電波を可視化するという謎技術。美しいです。(現在非公開になっています)

www.youtube.com

 

デプスセンシング、3次元計測(花井さん)

デプスとは震度の事です。Kinectとかのですね。って思ってたら案の定Kinect!Point cloud(点群)データをデプスセンサー(Kinectとか)で取得してモーションキャプチャを簡単にできる!花井さんがMacでも使える自作のofxaddonを作っていました!!すごい!!

github.com

安価で簡単にできるのですが精度の問題や太陽光などに弱いのが弱点です。

Perfumeの演出でもKinect"みたいなの"を使っているようです。

 

画像認識(登本さん)

画像認識。機械学習の塊です。機械学習苦手です…。複数のデータから物の形を学習させてこの画像には何があるかなーってことがわかるようにします。人ならば部屋を見た瞬間カーテンやテーブルがあるということ、更にはその質感を簡単に想像できますがそれも生きてきた経験、つまり学習によるものなんですよね。機械にもそれをさせてあげるのが機械学習です。そして類似点の計算をすることで精度を高めていきます。聞いてる分にはワクワクしますが作業を想像するととても大変そう…。

 

ロボットアーム、ドローン(石橋さん)

.ロボットアーム

元は工場で使うものなのでロボットアームを演出で使うというのは新鮮だったかもしれません。案外しなやかに動くのでセクシーですよ!wアームにはレーザープロジェクタを積んだり、プロジェクタを積んだりもできます!有名なのがやくしまるえつこメトロオーケストラのMVですね!

www.youtube.com

www.youtube.com

石橋さんはルル推しみたいですけど少年よ我に帰れめちゃくちゃ好きです。(僕はその時、曲名間違えてたけど…)

動きは各ポーズを決めてその状態まで操作してあげて記憶させる!するとどんなポーズからも記憶したところまで一番効率いい動き方を勝手にしてくれます!ティーチングというそうです。

 

.ドローン

ドローン自体にも3つの再帰性反射材がついています。移動したいときはモーションキャプチャで位置を取得して移動、もう一度位置を取得、移動といったフィードバック処理をします。

f:id:ichgw:20150823033350j:plain

Mayaで動きを作って書き出して動かしたり、ドローンを直接持って動くことで学習させることも可能です!

www.youtube.com

ドローンを直接持って動くことで人間らしさが出ますね。

そしてマジックワンド!(モーションキャプチャの項参照)地味に凄い!なんとマジックワンドの先端にドローンがくるように飛ばすことが可能です!リアルタイムな動きにドローンがついてきてくれるなんて…魔法みたいですね。この映像がないので映像あったら教えて下さい。

 

ステッピングモータ(原田さん

上からつられてる球体。上下左右自在に動きます。ワイヤーが切れた事後です。

f:id:ichgw:20150823033256j:plain

この球体を動かすのがステッピングモータです。小学校とかに触った一般的なモーターはDC/ACモーターと呼ばれ電圧の強さに比例して回転します。ロボットアームの関節などに使われるモータはサーボモータと呼ばれ回転角度などを指定できます。今回この球体を動かしているステッピングモータは高精度で動作する特徴があります。高精度なので位置決めをしやすいためこういった球体を吊るのに適しています。Rhizomatiksではオリエンタルモーターのものを使っているみたい。(曖昧)

ここでは二本のワイヤーで繋がれています(した)が3本以上でつなげば左右上下に加え奥、手前の動きが可能になります。操作を間違えるとワイヤーが切れて悲しいことになります。(なりました)

 

そんなこんなで一日目が終了しました。途中映像やデモンストレーションがあり全く飽きない…!次の日はついに演出の仕方を学びます。様々な機材の学習を活かしてどのような演出を行なっていくか、演出の重要性を学んでいきます。

*1:敬称略でもうしわけありません!

*2:拙いイラストは全て自作ですが自由に利用してください

*3:Day 2には真鍋さんが普通にライトつけて撮ると面白いよっていってました