今回は、チームラボのインタラクティブな作品制作に必要不可欠なセンシングシステムの開発を行い、様々なセンサーや機械学習などの画像処理を用いて、展示空間内での人の動きや特定の物体を検知するプログラムの開発を担当している画像処理エンジニアチームに話を聞きました。

世界中で展開するアート展示、そこで働くエンジニアの役割、そしてチームラボで働くことの魅力と厳しさについて話を聞きました。

ジュンヒー・リュ / 画像処理エンジニアチームリーダー

・大学院進学のため来日。芸術専攻。卒業後、Webやインスタレーションを手がける企業に就職し、デザインから開発まで幅広く担当。

・2018年、チームラボに中途入社し、画像処理エンジニアを担当

・プライベートでは、ポーカーの国際大会などに出場。2児の父。

－まず、自己紹介と、現在どのような業務を担当されているか教えていただけますでしょうか。

よろしくお願いします。

前職もアート作品を制作する会社にいましたが、より大きな規模で、より挑戦的な作品づくりがしたいという思いが強くありました。この業界でそれができる場所はどこかと考えた時、自分にはチームラボ以外の選択肢はほとんどありませんでした。

現在、チームラボでは画像処理チームのマネジメントを担当しています。チーム全体の技術開発の方向性決定や企画、費用対効果の検討なども行っています。

我々のチームは、チームラボの作品が展示される空間において、様々なセンサー（カメラ、LiDAR、測域センサーなど）を用いて人や物の動き、環境の変化などをセンシングし、それに基づいてインタラクティブな体験を創り出すための技術開発やソリューション提供を行っています。時には新しいアルゴリズムを開発することもあります。他の会社で機械学習や画像処理、数理最適化などに携わっている方々が使っている技術と共通する部分も多いと思いますが、それをチームラボならではのアート体験に繋げている点が特徴です。

－画像処理エンジニアを目指す方にとって、チームラボで働く上でどのような技術やスキルが求められるのでしょうか？ 前職で培った技術との親和性なども気にされる方が多いかと思います。

そうですね、我々のチームでは、例えば物体の輪郭を検出するディテクションといった基本的な画像処理から、既存の機械学習モデルをファインチューニングして特定のタスクに特化させることも行います。

また、画像処理と言っても幅広く、2､3次元行列データを扱うアルゴリズムである古典的手法から最新の機械学習技術までさまざまです。例えば、物体認識に機械学習を使うとしても認識率を上げるためには前処理や後処理での古典的な画像処理の手法を用いることが多いです。

チームラボの作品はユニークな環境や対象物を扱うことが多いため、そうした特殊な条件下での認識精度向上が求められるため、様々な手法の得意な点や不得意な点を理解して検討する必要があります。そして、その技術を実現するためには画像処理に対する一連の流れを幅広く扱うことができるのは非常に重要です。

－なるほど。チームラボのプロジェクトでは、具体的にどのような形でこれらの技術が活かされているのでしょうか？

チームラボの画像処理チームはチームラボが手掛ける様々なプロジェクトにおいて画像処理を用いて解決したい課題があるのであればアート、ソリューションを問わずプロジェクトに参加しています。その課題のゴールはプロジェクトごと異なってまして、例えば、高速で移動する物体を高速カメラを使ってリアルタイムでDetectionしてTrackingするとか、逆に時間の制限はないですが、人間にしかできなさそうなCategorizationを行うシステムを作る場合もあります。このように課題の性質として条件が特徴的なことがとっても多いですね。

野外で時間によって環境が変わっていく中で動く画像処理システムや可視光を使えない環境、鳥、遊具など人間ではない物体の検知を行う課題なんかもよくあるパターンです。

そして、画像処理やマシンラーニング以外にも数理最適化を用いた課題解決のタスクも多く、展示空間で非常に大きな球体をある方法によって制御して浮かせるといった作品があります。この際、詳しい手法はお伝えできないのですが、どうすればボールを安定して浮遊させ続けられるか、というのは非常に難しい問題です。単純に一定の力を加え続けるだけでは、ボールは上がりすぎたり落ちてしまったりします。これを安定させるために、センサーでボールの高さを常時計測し、そのデータに基づいてリアルタイムに加える力を調整する制御システムを開発します。これはもちろんチームラボ内で作ったシミュレータ内でも検証を行うのですが、それだけでなく、実際の展示環境で長期間安定稼働させるために、継続的なチューニングが不可欠です。ミュージアムオープン後もデータを収集し、より良い体験を提供できるように改善を続けることもあります。

それ以外にも展示空間を自動で設計するシステムなど色んな課題で数理最適化を用いた課題解決が使われてます。

このプロジェクト開発時に参照していた論文は以下のようなものがあります。

- Simultaneous self-calibration of a projector and a camera using structured light

- Robust Geometric Self-Calibration of Generic Multi-Projector Camera Systems

- A generalizable approach for multi-view 3D human pose regression

- Panoptic Studio: A Massively Multiview System for Social Interaction Capture

- Calibration of Lens Distortion by Structured-Light Scanning

－様々な技術や手法に支えられて作品が成り立っているのですね。ソリューションプロジェクトで画像処理活用事例があれば教えてください。

不動産関連のプロジェクトで、間取り図の画像解析システムを開発したことがあります。これは、数万件もの間取り図の画像から、リビングの広さ、部屋の配置、ドアや窓の位置、各部屋の名称（洋室、和室、浴室など）といった情報を自動で抽出し、データベース化するというものです。従来は人が手作業で行っていたタグ付け作業をAIで自動化することで、大幅な効率化を実現しました。さらに、抽出した情報に基づいて、「玄関からリビングが見えない廊下がある物件」「子供部屋と親の寝室が隣接している物件」といった、より細やかな条件での物件検索を可能にしました。これは私たちが当時調べた限り日本で初めての試みだったと記憶しています。

－画期的なシステムですね。どれくらいの量のデータ処理が必要になりましたか？

はい、数万件単位の画像データをAIに学習させる必要がありました。データセットの用意をはじめ色んな条件に対してCategorizationするためのアルゴリズムを作成し、安定した製品として外に出すことは非常に難しいタスクでした。

単純に多くのデータセットを用意して、Classificationモデルに学習させるだけでは、データセットの用意やモデルの精度向上、予算の面から見ても現実的ではありません。なので、メンバー全員がアイデアを出し合って色んな画像処理手法を使ったアルゴリズムを作成し、必要に応じて複数のMLモデルも組み合わせた結果を特徴として利用し加工することで認識率を上げていく作業をひたすら繰り返すことで解決できました。

このプロジェクト開発時に参照していた論文は以下のようなものがあります。

ここまでは、画像処理チームの役割や具体的なプロジェクトについて伺いました。ここからは、ジュンヒーさんがこれまでチームラボで経験されてきた印象的な仕事や、チームラボならではの働き方などについて、さらに深くお聞きしていきます。

－これまで担当したプロジェクトの中で、特に印象に残っている案件や経験について教えてください。

そうですね…例えば、マカオでの大型展示プロジェクトは非常に印象に残っています。特に、立ち上げ時期がちょうど新型コロナウイルスのパンデミックが始まった頃と重なり、メンバーが現地と日本との間で移動するのも一苦労で、これまで経験したことのない様々な困難がありました。それでも、現地で稼働できたメンバーたちを中心にプロジェクトはしっかりと回り続け、パンデミックが落ち着いたタイミングで無事にオープンを迎えることができました。あの状況下でも多くのお客様に足を運んでいただき、チームラボの作品が持つ力、人々を引きつける魅力を再認識できましたね。

また、別のプロジェクトですが、嵐のライブ演出に関わったことも強烈なプレッシャーと共に記憶に残っています。本番一発勝負で、数万人の観客が見守る中、我々の技術で制御された演出がアーティストのパフォーマンスと融合する。センサーの不具合一つで全てが台無しになる可能性もあるわけで、その緊張感はとてつもないものでした。無事に成功した時の安堵感と達成感は格別でしたね。

－まさに手に汗握るような現場ですね。チームラボで働くことの魅力や、逆に厳しさについてもお聞かせいただけますか？

魅力は、やはり「ものづくり」を純粋に楽しめる環境であることだと思います。自分のアイデアや技術を活かして、まだ世にない新しい体験を創造できる。そして、それが多くの人々に驚きや感動を与える瞬間に立ち会えるのは、何物にも代えがたい喜びです。予算規模や技術的な挑戦のスケールも大きく、前職ではできなかったような大胆な検証や開発ができることにも魅力を感じています。オフィスの検証スペースに高価なセンサーが転がっているような光景も、ここでは日常茶飯事ですから（笑）

厳しさという点では、「自主性と責任」が表裏一体であることでしょうか。チームラボでは、個々の裁量が大きく、働き方も比較的自由です。しかし、それは同時に、各自が担当する業務に対して高いレベルの成果を出す責任を伴います。締め切りまでに、期待されるクオリティのものを仕上げる。その過程は自分でコントロールできますが、結果にはコミットしなければなりません。時には、誰もやったことのない課題に対して、手探りで解決策を見つけ出さなければならないプレッシャーもあります。

－画像処理チームに限らず、様々な専門性を持ったチームが同じように働いていると思います。他のエンジニアや専門家との協力はどれくらい発生していますか？

複数チームでの協力なくしてチームラボの作品を作ることはできません。チーム間での関係性は非常にフラットで、綿密にコミュニケーションを取り合っています。一つの作品が非常に大規模で、多くの異なる専門分野のメンバーが関わるため、それぞれの担当領域の状況をお互いが把握し、作品の完成という一つのゴールに向かって進む必要があります。ですから、常に話し合い、情報を共有し、互いの意見を尊重しながら仕事を進めていくスタイルが根付いています。これは、以前私が経験した、一人か二人で小規模な作品を作るのとは大きく異なる点ですね。誰か一人が勝手に進めてしまうと、全体の調和が取れなくなってしまう。だからこそ、密なコミュニケーションが不可欠なんです。

－なるほど。そうした環境の中で、画像処理チームとしては、 どのような方がチームラボに向いていると思われますか？

最も大切なのは、自分の考えをしっかりと持ち、それを他者に伝えることができる人、そして同時に、他者の意見に真摯に耳を傾けることができる人です。私たちのチームには、本当に多様なバックグラウンドを持つメンバーが集まっています。メンバーの国籍も豊かで、機械学習系・情報系だけでなく、物理、数学、さらには芸術系の出身者もいます。それぞれの専門性や視点が異なるからこそ、活発な意見交換が生まれ、それが新しいアイデアやより良い作品創りに繋がると考えています。経験や年齢に関わらず、フラットな立場で議論し合える環境なので、自分の考えを発信し、他者と建設的な対話ができることが重要です。

－最後に、チームラボや画像処理の仕事に興味を持っている方々へメッセージをお願いします。

チームラボでの仕事は、間違いなく楽しいです。ゼロから何か新しいものを創り出す喜び、それが多くの人々に届く感動は何物にも代えがたいものです。自分とは全くことなるバックグラウンドを持った多様な才能が集まり、刺激し合いながら、前例のないものづくりに挑戦できる。そんな環境に少しでも興味を持っていただけたら、ぜひ一歩踏み出してみてほしいですね。一緒に世界をあっと言わせるような体験を創り出しましょう！

－本日は、貴重なお話をたくさん聞かせていただき、本当にありがとうございました。

最後までお読みくださりありがとうございました。

チームラボでは画像処理から、機械学習、数理最適化まで、様々な開発を担当するエンジニアメンバーを新卒/中途ともに通年で採用しています。

少しでもチームラボのプロジェクトに興味をお持ちいただけましたら、以下のリンクよりぜひ募集中の求人をチェックしてみてください。