編集部注：Cat Noone（キャット・ヌーン）氏は、世界のソフトウェアをアクセス可能にすることをミッションとするスタートアップStarkのプロダクトデザイナーで共同ファウンダー、CEO。彼女は世界の最新のイノベーションへのアクセスを最大化する製品と、テクノロジーを実現することにフォーカスしている。
ーーー
データは単に抽象的なものではなく、人々の生活に直接的な影響を及ぼしている。
2019年、ある車椅子ユーザーが交通量の多い道を横断していた際、AIを搭載した配達ロボットがその進行を歩道の縁石で妨げてしまうという事故が起きた。「テクノロジーの開発において、障がい者を副次的に考えるべきではありません」と当事者は話している。
他の少数派グループと同様、障がい者は長い間欠陥のあるデータやデータツールによって被害を受けてきた。障がいにはさまざまな種類がありそれぞれ大きく異なるため、パターンを検出してグループを形成するようプログラムされたAIの型通りの構造に当てはまるようなものではない。AIは異常なデータを「ノイズ」とみなして無視するため、結論から障がい者が除外されてしまうことが多々あるのが現状だ。
例えば、2018年にUberの自動運転のSUVに追突されて死亡したElaine Herzberg（エレイン・ハーツバーグ）氏のケースがある。衝突時、ハーツバーグ氏は歩いて自転車を押していたためUberのシステムはそれを「車両」「自転車」「その他」のどれかとして検出し、瞬時に分類することができなかったのだ。この悲劇は後に障がい者に多くの疑問を投げかけた。車椅子やスクーターに乗っている人も、同じようにこの致命的な分類ミスの被害者になる可能性があるのだろうか。
データを収集し処理する新たな方法が必要だ。「データ」とは個人情報、ユーザーからのフィードバック、履歴書、マルチメディア、ユーザーメトリクスなどあらゆるものを指し、ソフトウェアを最適化するために常に利用されているが、データが悪用される可能性や各タッチポイントに原則が適用されていない場合などもあり、そういった不正な方法を確実に理解した上で利用されているわけではない。
今、障がい者を考慮したデータ管理を実現するための、より公平な新しいデータフレームワークが必要とされている。それが実現しなければ、デジタルツールへの依存度が高まる日々の生活の中、障がいを持つ人々はこれからもより多くの危険に直面することになるだろう。
誤ったデータが良いツールの構築を妨げる
アクセシビリティの欠如が障がい者の外出を妨げることはないとしても、質の高い医療や教育、オンデマンド配送など、生活の要となる部分へのアクセスを妨げてしまう可能性はある。
世の中に存在するツールはすべて、作り手の世界観や主観的なレンズが反映された、作り手の環境の産物である。そしてあまりにも長い間、同一のグループの人々が欠陥したデータシステムを管理し続けてきた。これでは根本的な偏見が永続し、これまで光が当てられてこなかったグループが引き続き無視されていくという閉ざされたループに陥ってしまう。データが進歩するにつれ、このループは雪だるま式に大きくなっていくだろう。我々が扱っているのは機械「学習」モデルだ。「X（白人、健常者、シスジェンダー）でない」ことは「普通でない」ことを意味すると長い間教えられていれば、その基礎の下、進化していくのである。
データは私たちには見えないところでつながっており、アルゴリズムが障がい者を除外していないというだけでは不十分である。バイアスは他のデータセットにも存在している。例えば米国では、黒人であることを理由に住宅ローンの融資を拒否することは違法とされているが、融資は有色人種に不利なバイアスが内在するクレジットスコアに基づいて審査が行われるため、銀行は間接的に有色人種を排除していることになる。
障がいのある人の場合、身体活動の頻度や週の通勤時間などが間接的に偏ったデータとして挙げられる。間接的な偏りがソフトウェアにどのように反映されるかの具体的な例として、採用アルゴリズムがビデオ面接中の候補者の顔の動きを調査する場合、認識障がいや運動障がいのある人は、健常者の応募者とは異なる障壁を経験することになるだろう。
この問題は障がい者が企業のターゲット市場の一部として見なされていないことにも起因している。企業が理想のユーザー像を思い描いて意見を出し合う開発の初期段階において、障がい者が考慮されないことが多く、精神疾患のような人目につきにくい障がいの場合は特にその傾向が著しい。つまり、製品やサービスを改良するために使用される初期のユーザーデータには、障がい者のデータが含まれていないということだ。実際、56％の企業がデジタル製品のテストを障がい者に対して定期的に行っていないという。
テック企業が障がい者を積極的にチームに参加させれば、彼らのニーズをより反映したターゲット市場が実現するだろう。さらに技術者たちが、目に見える、あるいは目に見えない除外項目を意識してデータに反映させる必要がある。これは簡単な作業ではないためコラボレーションが不可欠となるだろう。日々使用するデータから間接的なバイアスを排除する方法について、話し合いの場を広げ、フォーラムに参加したり知識を共有することができれば理想的である。
データに対する道徳的なストレステストが必要
ユーザビリティ、エンゲージメント、さらにはロゴの好みなど、企業は製品に対して常にテストを実施している。どんな色が顧客を獲得しやすいか、人々の心に最も響く言葉は何かなど、そういったことは把握しているのに、なぜデータ倫理の基準を設定しないのか。
道徳的なテクノロジーを生み出すことに対する責任は、企業の上層部だけにあるわけではない。製品の土台となるレンガを日々積み上げている人々にも責任があるのだ。フォルクスワーゲンが米国の汚染規制を逃れるための装置を開発した際、刑務所に送られたのはCEOではなくエンジニアである。
私たちエンジニア、デザイナー、プロダクトマネージャーは皆、目の前のデータを認識し、なぜそれを収集するのか、どのように収集するのかを考えなければならない。人の障がい、性別、人種について尋ねることに意味があるのか、この情報を得ることによりエンドユーザーにとってどのようなメリットがあるのかなど、必要としているデータを調査して自身の動機を分析しなければならない。
Stark（スターク）では、あらゆる種類のソフトウェア、サービス、技術を設計、構築する際に実行すべき5つのフレームワークを開発した。
- どのようなデータを収集しているのか。
- なぜそのデータを収集するのか。
- どのように使用するのか（そしてどのように誤用される可能性があるか）。
- IFTTT（「If this, then that」の略で「この場合はこうなる」を意味する）をシミュレートする、データが悪用される可能性のあるシナリオとその代替案を説明する。例えば大規模なデータ侵害が発生した場合、ユーザーはどのような影響を受けるのか。その個人情報が家族や友人に公開されたらどうなるのか？
- アイデアを実行するか破棄するか。
曖昧な言葉や不明瞭な期待値、こじつけでしかデータを説明できないのであれば、そのデータは使用されるべきではない。このフレームワークでは、データを最もシンプルな方法で説明することが求められるため、それができないということは責任を持ってデータを扱うことができていないということだ。
イノベーションには障がい者の参加が不可欠
ワクチン開発からロボットタクシーまで、複雑なデータテクノロジーは常に新しい分野に進出しているため、障がい者に対する偏見がこれらの分野で発生すると障がいのある人々は最先端の製品やサービスにアクセスできなくなってしまう。生活のあらゆる場面でテクノロジーへの依存度が高まるにつれ、日常的な活動を行う上で疎外されてしまう人々もさらに多くなる。
将来を見据え、インクルージョンの概念をあらかじめ製品に組み込むことが重要だ。お金や経験値の制限は問題ではない。思考プロセスや開発過程の変革にコストがかかることはなく、より良い方向へと意識的に舵を切ろうとすることが大切なのである。初期投資は少なからず負担になるかもしれないが、この市場に取り組まなかったり製品の変更を後から余儀なくされたりすることで失う利益は、初期投資をはるかに上回るだろう。特にエンタープライズレベルの企業では、コンプライアンスを遵守しなければ学術機関や政府機関との契約を結ぶことはできないだろう。
初期段階の企業は、アクセシビリティの指針を製品開発に取り入れ、ユーザーデータを収集して、その指針を常に強化していくべきだ。オンボーディングチーム、セールスチーム、デザインチームでデータを共有することで、ユーザーがどのような問題を抱えているかをより詳細に把握することができる。すでに確立された企業は自社製品のどこにアクセシビリティの指針が欠けているかを分析し、過去のデータやユーザーからの新たなフィードバックを活用して修正を行う必要がある。
AIとデータの見直しには、単にビジネスフレームワークを適応させるだけでは十分ではなく、やはり舵取りをする人たちの多様性が必要だ。テクノロジー分野では男性や白人が圧倒的に多く、障がい者を排除したり、偏見を持ったりしているという証言も数多くある。データツールを作るチーム自体が多様化しない限り、各組織の成長は阻害され続け、障がい者はその犠牲者であり続けることになるだろう。
関連記事：インクルーシブデザインの制作に役立つツールを提供するStarkが約1.6億円を調達
カテゴリー：パブリック / ダイバーシティ
タグ：Stark、障がい、アクセシビリティ、機械学習、多様性、コラム、インクルーシブ
画像クレジット：Jorg Greuel / Getty Images
［原文へ］
（文：Cat Noone、翻訳：Dragonfly）
- Original:https://jp.techcrunch.com/2021/05/24/2021-04-19-flawed-data-is-putting-people-with-disabilities-at-risk/
- Source:TechCrunch Japan
- Author:Cat Noone,Dragonfly
Amazonベストセラー
Now loading...