スタンフォード便りVol.2
by 田代雄介
1 はじめに
1年ぶりにアメリカからお届けします、先日Apple Watchを注文したら置き引き盗難を食らった田代です。いやー、なかなかショックでした。アメリカの宅配は手渡しではなく玄関への置き配達が通常。それでもこれまでは盗難経験なく、アメリカ思ったより治安いいなと思っていたのですが、ピンポイントで高額商品が狙われました。犯人は分かりませんが、許すまじ。なお、Amazonに問い合わせたら、割とあっさり全額補償してもらえました。Amazonで注文して良かった。
2 コロナ下での生活
さて、ここ1年を語るには、まずコロナウイルスの影響に触れざるを得ません。スタンフォードでの研究生活も、大きく様変わりしました。キャンパス内の建物はほとんど閉鎖され、研究室のミーティングなども全てオンラインに移行。下の写真は、建物に荷物を回収しにいった際に撮ったものですが、活気に満ち溢れていた構内の面影もありません。
全てがオンラインに移行したため、研究生活は基本的に在宅に。1日中外に出ない、という日も結構ありました。移動時間を節約し研究に集中できるようになった、というメリットもあった反面、デメリットもいくつか。まず第一に、太りました！移動での運動が減っただけでなく、UberEatsなどのデリバリー会社が様々なキャンペーンを行ったため、ついつい試したりした結果、日本にいた頃より数kg増となりました……。筋トレなどはしていますし、最近は自炊も増やしてはいるのですが、運動量が少ないのでなかなか痩せません。下の写真は秋頃に大学内で撮影したものですが、シャツがキツくなっているのが見てとれます……。
またストレス解消も難しくなりました、週末に人と会ったりして気分転換することができません。ここで、普通の人だったらハイキングに行ってカリフォルニアの豊かな自然に触れたりすることでストレスを解消できるのですが、私には無理です。そう、私は車の免許を持っていないのです！！（昨年の記事参照）以前は他の人の車に同乗して行っていたのですが、コロナ下ではそのような集まりはなくなってしまいました。仕方ないので、走ったり近くの丘に登ったりして解消していますが、ハイキングに比べるといまいちです。他にも、Uberの値上げの影響で買い物などに行きづらくなるなど、コロナが登場してからの方が免許なしのダメージが増えました。おのれコロナ！
この写真のような日々はまだ帰ってきません（泣）
さらに、プライベートでもコロナによるダメージはありました。せっかくアメリカにいるのにどこにも行けません。特に、昨年3月に休暇をとって南米旅行に行く計画を立てて予約までしていたのですが、キャンセルせざるを得ませんでした。おのれコロナ！！！（2回目）後にニュースで、3月にペルーを訪れた日本人が半年以上帰国できずに閉じ込められたと聞いて、キャンセルは正しかったと自分を慰めることはできましたが、貴重な機会を失ったのは残念です。
もう1点、コロナとは直接関係ないのですが印象的だった出来事として、カリフォルニアの山火事がありました。以下の写真をご覧ください。
こちらは、山火事がひどかった日の昼間の空を撮ったものです。朝からこんな感じで、起きた時は世紀末かと疑うくらいでした。カリフォルニアでは山火事が近年ひどく、特に昨年はワインの産地で有名なナパバレーで大規模な火災が発生し、100km以上離れたスタンフォード近辺まで塵が流れてきた結果がこの空です。一番ひどかった日はスタンフォードでもPM2.5の数値が200オーバーとなり、外出自粛令が出たほど。日本ではまず見られないだろうという点では、これも貴重な経験でした。
3 学会への参加、研究
そろそろ研究の話もしましょう。昨年も様々な学会へと参加したのですが、コロナウイルスは学会への参加も大きく変えました。まず、昨年4月にエチオピアで行われるはずだったICLRという学会がオンライン開催へと変更に。私はワークショップで発表する予定で、人生初のアフリカ行きにドキドキしていたのですが、あえなく消滅。おのれコロナ！！！！！！（3回目）代わりにビデオとZoomでの発表となりました。
とまあ、コロナに散々な目に合わされてきたわけですが、その分だけ引きこもって研究に集中できたのは事実。良さそうな研究結果も出て論文投稿を行った結果、機械学習分野のトップカンファレンスであるNeurIPSに採択され、12月に発表してきました！研究に集中した甲斐がありました、ありがとうコロナ……とは言いたくないですね絶対に。
「これなら通るんじゃないか」という手応えはあったのですが、採択率が20％と低い上、近年は査読者の質のばらつきが大きくなり「査読者ガチャ」といった言葉まで生まれる始末。そのため、査読結果を待つ日々はドキドキでしたし、採択圏内の結果が返ってきたときはガッツポーズが飛び出しました。目に見える形での成果を1つ残し、先に繋げることができてホッとしています。
研究の内容については、出向しているJapan Digital Designのブログで書いたので、こちらでは裏話をいくつか。
研究分野の選択理由
採択された論文は、機械学習の安全性に関するものでした。スタンフォードの環境を活かすために金融以外の研究テーマにしたのは昨年の記事でも述べましたが、中でも安全性の研究分野を選択したのには2つ大きな理由があります。
1つは、安全性が金融領域でも重要なテーマだからです。巨額の資金を扱うため、金融システムは特に外部からの攻撃に晒されやすいです。そこで機械学習モデルを採用するためには、攻撃に対する安全性を十分に担保する必要があります。そのため、研究を通して安全性に関する知見を深めようというモチベーションがありました。
もう1つは、他の研究分野と比べて実験的なアプローチが盛んであること。1年程度の期間でトップカンファレンスに通るような研究を目指すにあたり、実務で長年過ごしてきた私が、理論一辺倒の領域で他の研究者と戦うのは勝算が低いです。それよりも、実務で長年データを分析してきた自身の経験を活かすためには、実験中心の論文が数多く存在する安全性の分野が良いと考えました。結果的に発表につながりましたし、この戦略は正解だったと思います。
実験を通じたアイデア探し
良い研究を行うための切り口は研究者によりけりだと思いますが、私は先行研究を元に様々な実験を積み重ねることで、有望なアイデアを探っていきました。もちろん簡単ではなく、最初のうちはゴミのような実験結果を量産しましたが、そこからうまく行かない原因やデータの特徴などを見出せるので、ただのゴミではありません。普段から分析結果中の怪しい挙動を見つけるのを得意にしている私にとっては、このスタイルが性に合っています。
実際、論文中で用いた主要なアイデアも、このアプローチで得られたものです。実験を重ねる中で、モデルのウェイト（パラメータ）を一部だけ初期化したときに良い結果が得られることに気づき、この現象が何故起こるかを突き詰めていく中でアイデアが生まれました。
最終的なアイデアは割と単純で、思いついた段階で研究の7割くらいに到達したと言ってもいいくらいなので、他の論文とアイデアが被らないか冷や冷やしました。それでも被らなかったということは、実験を通した下地が思いつくために必要だったということかもしれません。
アイデアの浮かんだタイミング
良いアイデアがどういうタイミングで浮かぶかも、人によって異なるでしょう。今回の私の場合、主要なアイデアは就寝前のベッドの中で閃きました。……どこからか「実験からアイデアを探すと言ったのになんでやねん！」というツッコミが聞こえてきますが、実験結果が気になって頭の中で原因を考えていたのです。雑念が削ぎ落とされて頭がすっきり整理できるのが就寝前だった、ということなのでしょう。あまり格好良くないので、本当は豊かな自然の中を散歩していたときに思いついた、などと言いたかったのですが、事実は事実なので仕方ないです。
論文執筆のクオリティ
機械学習分野の論文を書くのははじめてな上に、英語論文をがっつり書くのもブランクがあったので、論文の初稿をあげるのも一苦労でした。そこから共著の先生や学生の手が入ったのですが、いやはや、クオリティの変化は劇的でしたね。トップカンファレンスに通る論文を書き慣れている研究者の話運びや言い回しはやはり洗練されています。初稿と最終稿で内容は同じでも、間違いなく査読結果には違いが出ていたと思います。実際、トップカンファレンスに落ちる論文の査読を見ていると、読みにくさ・分かりにくさがネガティブポイントになっているケースが少なくないです。
ちなみに、英語論文校正のサービスも使ってみましたが、こちらは日本語でいう「てにをは」のような基礎的な修正が中心で、論文のクオリティはあまり変わりませんでした。もちろん、使わないよりは良かったのですが、専門性の有無・内容の理解度合がはるかに重要と感じました。
4 オンラインでの学会
発表したNeurIPSも含めて、昨年参加した学会は全てオンライン開催でした。遠方に行く手間がなくなり気軽に参加できるようになったのは良いのですが、その代わりに人と直接話す機会が奪われました。オンラインでの交流は、やはりリアルと距離感が違いますし、新たな知り合いを作るのも難易度が高いです。Zoomでのポスター発表では、誰が中にいるか分からない部屋に参加するハードルが高いためか、「2時間待っていて誰も聴衆が来なかった🥺」と悲しみにくれる声を見かけたりもしました。そのような声を受けて、最近のオンライン会議で導入されたシステムがこちら。
アバターを用いたポスター会場です。一見チープにも見えますが、必要に応じてカメラもONにできるので、ディスカッションに不都合はありません。何よりポスターの人気具合が一目瞭然なので、「人が集まっているから少し覗いてみよう」「誰もいないから気軽に話を聞ける」といったリアルに近い判断で見てまわれるのが素晴らしいです。もちろんリアルに比べると様々な面で劣りますが、コロナの状況下での試みとしては非常に面白い体験だったと思います。
5 おわりに
アメリカ生活も残り僅かとなりました。長く続いたコロナの影響もようやく収まってきて、2月末にはレストランの屋内営業が久々に一部解禁となりました。この調子だと暖かくなる時期にはある程度通常の光景が戻るかもしれません。何にせよ、悔いのないように残りの研究生活を過ごしたいと思います。
こんな風に、企業で働きつつアカデミックでもグローバルで活躍する研究者を目指すのに興味がある方は、私 (tashiro@mtec-institute.co.jp) またはMTECへご連絡ください。
