もどる
（か）研究日記
- 2013/09/17 バイオインフォマティクス分野におけるクラウドソーシング
- 以前、せせさんに教えてもらった、バイオインフォ分野でのクラウドソーシング利用についてのサーベイ論文、多くの事例が網羅されていて貴重である。
- まずバイオインフォに関連するタスクを、マイクロタスク（短時間で割と誰でもできるタスク）とメガタスク（専門家が何か月も掛けてできるかできないかみたいなタスク）に分類しているところが、ゴール駆動で全体の見通しをとても良くしている。
イイ。
- Table 1 に全てが凝縮されているといえばそうなんだけど、
前者としては：
- ボランティア（細胞画像の分類）
- ゲーム（マルチブルアラインメント）
- MechanicalTurk（画像からの診断、MEDLINEのアブストラクトチェック）
- 多タスクへの埋め込み（薬と診断との関連づけ）：彼らはこれを「強制された」労働と呼んでいる。 いわゆるReCAPTCHAのように何か別のこと（認証）を行うためには、作業を行うことを避けて通れなくする。
後者は：
- ゲーム（タンパク質のフォールディング）：マイクロタスクのゲームとは異なるものと捉えているところが興味深い。
- コンテスト（TopCoderでのアラインメントプログラム開発）
というかんじ。
- 最後のほうの「クラウドソーシング利用☆必勝フローチャート」みたいなの（Fig. 1）はご愛嬌
- んで、さいごに搾取系のオチ、それはもうええねん…
- 2013/07/16 おそらく今年唯一の海外出張になりそうなAAAI参加
- ひさしぶりの海外出張にきている、AAAI。
ここ１～２年、運が悪くあまり海外には出れていない。 まあ大体みんなにお任せでいいんだけどね…。
- 今回の出張は超イージーモード。 シアトル直行8時間・会場ホテル宿泊・まわりは都会、と、ハマり要素ゼロ漸近。
- チュートリアルはけっこう当たりかも。
自分が聞いたのは：
- 予測市場の話： 予測市場設計の理論の入門。
どうにもよくわかんなかったMarket Scoring Rule前後の流れを順序立てて解説してくれて非常にありがたい。
後半は機械学習（オンライン学習）との関係。
- 情報の信頼性推定の話：Web上の様々な意見（とそれを言った人）の信頼度を推定する研究のサーベイ。
生成モデルなどはクラウドソーシングの品質保証で使うモデルとほぼ同一。
データの出どころのところでニュアンスが異なるので同じ方法がうまくいくのかはわからないけど、問題の構造はたしかに同じ。
- アルゴリズムの自動チューニングの話：アルゴリズム（整数計画のソルバーとか）のパラメータチューニングやアルゴリズムの選択をする方法のサーベイ。
もっとバンディット感あふれるのかと思いきや、そんなでもない印象（exploitationの要請はそれほど高くない？）。
- 自分は出なかったけどDeep Learningやバンディット系の話もあり。ずいぶん盛況だったもよう。
- AAAIはIJCAIと並んで人工知能分野の最高峰会議なわけであるが、たとえば、元々はAIから派生して、現在では一大分野となっている自然言語処理や機械学習、マルチエージェント（ほかにもあるだろうけど）といった分野では、
それぞれの分野でそれぞれの会議（ACL、ICML、NIPS、AAMASとか）の権威が確立しているわけで、そういう分野から最高に面白い研究が集まるかというと、必ずしもそうとは限らないような気もする（とはいえ、さすがにそれなりのクオリティはある。あと、とくに年配の先生がたからは覚え目出度いという話はたまに聞く）。
確立した分野としてAIから分化する手前のところや、なんだかよくわからないワーッとしたところに面白さがあるのかもしれない。
- あと面白いのは、そういう派生分野の会議から"出店"的セッションがあって、最近の話題やベストペーパなどを紹介してくれる（"What is hot in ICML"みたいな感じ）。 これはイイ。
- 2013/06/06 人工知能学会オーガナイズドセッション：ヒューマンコンピュテーションとクラウドソーシング
- 人工知能学会の全国大会のオーガナイズドセッションとして「ヒューマンコンピュテーションとクラウドソーシング」を開催しました。
- オーガナイズドセッションは、大会中のセッション時間枠を有志でテーマ企画提案するというもの。
セッション概要はかしまの冒頭説明の後半にあるようなかんじ。
- 場所がメイン会場から若干離れている＆裏番組が東大チャレンジだったにもかかわらず延５０～６０名の参加があり、わりと盛り上がったのではないかと。
- 自分の関係する発表としては、馬場さんのKDD論文、梶野くんのAAAI論文、小山さんのIJCAI論文、松井さんのTBA論文、王さんのTBA論文など、一日目のセッションに固まる。
いちおう裏番組との兼ね合いなどテーマを考えて設計したのだけど、なんだかちょっとやらしいかんじになったかもしれない （最初のセッションはほとんど「かしまVSさくま」みたいな様相）。
- あと、関係者でクラウドソーシング研究会なるものを立ち上げました。
とくにどこの学会に属しているわけでもないバーチャルな集まりですが、この分野に興味があればぜひどうぞ（← どうぞといっても、とくに何かのアクションが必要というわけでもないけど…）
- 2013/03/09 DEIM2013 クラウドソーシング特別セッション
- DEIM2013でクラウドソーシングをテーマにした特別セッションを開催した。
- まずは招待講演として、IBMの高木さんにアクセシビリティ分野におけるクラウドソーシングの試みをいろいろと紹介いただいた。
障碍者支援や高齢者サポートから震災対応まで、国内でこれだけの事例をもっているチームはなかなかいないと思う。
- TRLでは「クラウドソーシング」が本格的に注目されるずっと前の2008年あたりから取り組んでいたとのこと。 先見の明。 （ん？ たしか自分は近くにいたと思うんだけど、たぶんそのときは「あ？ 人間がやんの？ ふーん」って思ってただけのような…）
- 講演の最後に「クラウドソーシングの光と影」として、クラウドソーシングは迅速・柔軟に所望のスキルにアクセスできるという利点を持ちながら、
一方で"非人道的"と捉えられかねないという側面を指摘されたのは印象深かった。
- （そして、「それをこれからパネルでおれがびしっと指摘するんだよ！ 一発目の講演で全部言うなよ！」という心の声が！）
- クラウドソーシングプラットフォーム提供者側としてYahoo!クラウドソーシングから鈴木様、ランサーズから木下様に各社のサービス紹介と学術サイドへの期待を話していただいた。
- 両社とも実際のタスク画面等を用いて紹介していただき、これまでクラウドソーシングの具体的イメージのなかった方にもイメージを持ってもらえるような内容であったと思う。
- 両社に限らず最近クラウドソーシングビジネスが各種登場してきたことで、AMTのない日本でも研究の参入障壁が低くなってきているのはありがたい。
米国に対する３年くらいのビハインド、「追いつく」のか、「ずらす」のか、戦略はいろいろあるだろうけど、
とにかく今はビジネス的にも学術的にも試行錯誤の時であり、産学で協力してやっていくのにまさに適したときであるように思う。
- 最後はこれまでの講演者を交えてパネルディスカッション。じぶんも登壇者として参加。 が、残念ながら登壇者が一巡したところでほぼ時間切れ。 会場からの質問タイムがほとんどなかったのは反省点。
- 4名（森嶋先生：宣言型クラウドソーシング、小山さん：機械学習、松原先生：メカニズムデザイン、じぶん）が研究動向を紹介。
かしまは最初に計算機科学におけるクラウドソーシング研究を概観。
メッセージとしては以下の３つ：
- 学術界におけるクラウドソーシング研究は指数的に増加しているということ
- 計算機科学分野におけるクラウドソーシング研究には、クラウドソーシングを「使った」研究とクラウドソーシングの「ための」研究の2種類があること
- その行く先には「人間の作業を計算の単位としたヒューマンコンピュータの実現」と「不特定多数の専門家を束ねて困難な問題を解決する」という2つの方向性があること
- 会場からの質問としては、報酬の安さや各種調査に用いるときのバイアスについてなど。 どの質問も本質的な指摘でありながら、クラウドソーシングのバズりに任せてスルーしているという現状だと思う。
- この特別セッションではないが、クラウドソーシングの一般セッションの発表に対して聴衆から出た「Wikipediaをクラウドソーシングというのは失礼」という
「crowd」を構成する「愚かで取り換えの効く人たち」というニュアンスをついた"言いがかり"は印象的であった。
現在ではバズっていることもあってなかなかこの呼び方を変えようはないのだが。
- ちなみに、Ipeirotisはクラウドソーシングに変わる新しい呼称として「open work」を提唱している
-
手前味噌だけど、我々の「違反タスク検出」や「ワーカープライバシーの保護」は、依頼者側の利便性だけでなくワーカー側に寄り添った研究という意味で、
クラウドソーシングにまつわる倫理的な問題に対する技術的な取り組みの端緒になればと思う。 手前味噌だけど。
- ちなみに当日の資料等はここで見ることができます。
- 2013/02/17 フェア・クラウドソーシング
- New Scientistの記事「Crowdsourcing grows up as online workers unite」概要はだいたい以下のような感じ：
- MechanicalTurk等のクラウドソーシングプラットフォームでは、基本的にはリスエスター、すなわち仕事の依頼者の立場の方が強い。
ワーカーは低賃金で、実際に支払われるかどうかもわからない報酬のために働くことになる。
- もっとワーカーの立場に立ったクラウドソーシング運営を求める声は強まっている：
- TurkopticonはAMTの上でリクエスターを評価できるブラウザのプラグインで、支払やコミュニケーション等のいくつかの評価軸でワーカーがリクエスターの評価を行うことができる。
ワーカーは取り組む仕事の選別にこれらの情報を利用できる。
- MobileWorks ではワーカーの居住地に応じた最低賃金が設定される。 また、通常の会社のように彼らの管理・サポートを行う"管理職"ワーカーに割り当てられる。
- クラウドソーシングプラットフォームのひとつCrowdFlowerに対して、労働基準法に違反するなどとする訴訟が行われたという例もある。
- "昇進"や"ボーナス"などの仕組みや、プラットフォームをまたいで過去の成績等が受け継がれるといった仕組みが必要だという主張もあるようだ。
- 基本的に（金銭で動くタイプの）クラウドソーシングの発展は、様々のプロフェッショナルな仕事の労働賃金を下げる方向に働くというのは避けられないように思える。
（却って上がる人も勿論いるはずだが、平均的には下がるだろう）
- 米国におけるCrowdFlowerの訴訟の例は極端であるとしても、こういった問題に対して国内のクラウドソーシング業者もいずれ無関心ではいられなくなっていくように思える。
"クラウドソーシングのフェアトレード"（←気に入っている）は社会的にも重要な問題になるかもしれない。
- クラウドソーシングが多対多の取引きであることを生かし、Turkopticonのようにワーカーによるリクエスター評価を導入することによって、
リスエスター側にも質の向上を求める仕組みを取り入れるというのは良い考えであるように思える。
- 多数のワーカに支持される、もしくは一定の条件を満たしているリスエスターには"フェア・リクエスターマーク"を与えるなどというのもよいかもしれない。
- 2013/02/12 今年の抱負
- 今年最初で最後の予感もするが、人工知能学会誌に書いた今年の抱負。 こういう与太話みたいなものを書くのは結構難しい。
- 内容的には、以前の日記や、昨年のIBISのコンセプトでも述べているところの、近ごろの機械学習の盛り上がりと研究としての閉塞感、それと近ごろの自分の興味。
- ＃ 盛り上がっているところに水を差すのもなんなので、deep learningについては一応中立ということで。 （しかし、尻尾を振る準備は怠らない。）
- 馬場さんにマトリックスよりもマイノリティ・リポートのほうが正しくね？ と突っ込まれ、そのとおりだと思う。
- スタンスとしては「おれは人間側につくぜ！（…と見せかけて実は機械側につくぜ！）」ということなのかな。
ちなみに、このサイトの掲載内容は私自身の見解であり、必ずしも所属機関の立場、戦略、意見を代表するものではありません