「最適化至上主義」から民主主義的価値を守れるか

「テクノロジスト」に未来を委ねる危険

※本稿は、『システム・エラー社会』（2022年12月、NHK出版より発売）からの抜粋です。また、SSIR Japan 編『スタンフォード・ソーシャルイノベーション・レビュー 日本版 03 科学技術とインクルージョン』のシリーズ「科学テクノロジーと社会をめぐる『問い』」より転載したものです。

ロブ・ライヒ｜Rob Reich
メラン・サハミ｜Mehran Sahami
ジェレミー・M・ワインスタイン｜Jeremy M. Weinstein

巨大テック企業やIT技術者は、実社会に対して今や政治家や経済学者よりも大きな影響力を持っている。彼らを動かす根本原理である「最適化」が公平・プライバシー・個人の尊重といった民主主義的価値と対立するとき、私たちは何ができるだろうか。　

本書『システム・エラー社会』では、倫理とテクノロジーに関するさまざまな問いかけを行う。よりはっきりと言うなら、倫理とテクノロジスト［^訳注／高度な工学系の科学知識と応用能力のもとに企画・開発・設計力が求められるエンジニア（技術者）と、マニュアルなどにより定められた経験的な実務能力が求められるテクニシャン（技能者）の中間的な職能］に関する問いかけである。テクノロジストによる「最適化」の追求は、しばしばそれ自体が善と見なされるものだが、ひとりひとりの人間のウェルビーイングや民主主義社会の健全性を損なう可能性があることを理解してもらうためだ。

テクノロジーにおける倫理的な問題は三つのグループに大別される。一つめは、個人の倫理に関わる問題と呼ぶべきもので、エンジニアは善良な人間になる努力を惜しんではならないと考える。規則に違反してはならないし、嘘をついたり、盗んだりすることは許されない。

もちろんこの要求は、テクノロジストやエンジニアだけに向けられたものではない。あらゆる人がそれぞれの仕事のなかで、善良な人間になることを目指さなければならない。

悪名を馳せたエリザベス・ホームズの事例を考えてみよう。彼女は19歳でスタンフォードを中退し、生物医学関連スタートアップ企業であるセラノスを創業した。同社は、革命的な血液検査技術を開発したと発表した。

その新技術を使えば検査は自動化され、近所の薬局でも自宅でも、ごく少量の血液でさまざまな症状を確認できるという触れ込みだった。2013年のある時点では、セラノスの企業価値は100億ドルを超えた。しかし結局、セラノスはそのような画期的な技術など持っていなかったことがわかった。大がかりな事業は砂上の楼閣だったのだ。一部の若手社員が内部告発者となり、新技術についての説明が虚偽であったことを州政府の役人や「ウォール・ストリート・ジャーナル」紙の調査ジャーナリストに伝えた結果、不正は明らかにされた。会社は2018年に廃業となり、現在ホームズは刑事罰に問われている。

このようなストーリーはあらゆる職業に存在している。金融業者バーニー・マドフの詐欺事件、自転車ロードレース選手ランス・アームストロングのドーピング、リチャード・ニクソンをはじめとする政治家による汚職など、枚挙にいとまがない。

個人の倫理の問題は、しばしば現実の問題となって現れる。倫理に反するやりかたで、個人が行動したり、自分の会社や公的機関を動かすからだ。しかし、この個人の倫理の問題は、倫理的な問題のなかでも本書の関心が最も低い。規則に違反すること、嘘をつくこと、盗むことが擁護できないのは明白だからだ。こうした倫理的な教訓は、『人生に必要な知恵はすべて幼稚園の砂場で学んだ』（ロバート・フルガム著、池央耿訳、河出書房新社、1990年）で紹介されるものと大差ない。

倫理的な問題を構成する二つめのグループには、人格よりも範囲の広い職業倫理という問題が関わる。特定の職業に従事する個人の行動を管理する道徳的規範には何があるだろうか。医療従事者には「何よりもまず、害をなすなかれ」というヒポクラテスの誓いがある。これは「そのようにありたい」という単なる抱負ではない。

医療従事者のふるまいを、実効性をもって取り締まることのできる、実体をもった組織が関与している。組織は医療に従事するメンバーの行動を厳しく監視することが可能で、行動規範に違反したメンバーや企業は重大な結果を覚悟しなければならない。

医学研究と医療行為の分野は長いあいださまざまなスキャンダルに見舞われてきたので、研究対象や患者を守る必要性から、職業上の行為に厳格な基準が設けられた。そうしたスキャンダルの一つが、40年にわたって続けられたタスキギー梅毒実験である。この実験に参加した数百人のアフリカ系アメリカ人は、見返りに医療が無料で受けられると説明を受けた。彼らの一部は既に梅毒に感染していたが、一部は経過を観察するため故意に感染させられた。被験者は自分が梅毒に感染していることを教えられず、当時は既にペニシリンという有効な治療薬があったにもかかわらず、意図的に治療されないままだった。やがてタスキギー梅毒実験の実態は内部告発者によって明らかにされ、その結果としてさまざまな改革が実行された。人体実験が行なわれる大学や製薬会社には、監視役の治験審査委員会が置かれることになった。

一方、コンピュータサイエンスという職業の場合は具体的な倫理規定が考案されても、違反行為に重大な結果が伴わない。2018年、アメリカの計算機協会（ACM）⸺世界最大の科学的かつ教育的なコンピュータサイエンス学会で、10万人ちかくの会員を擁する⸺は、倫理規定と行動規範を1992年以来はじめて更新した。新しい規定には、ACMの会員の行動の拠り所となる一般的な倫理原則、職業的責任、リーダーシップの原則の概要が盛り込まれ、そこで謳われる原則は賞賛に値した。たとえば規定に違反すれば、ACMから追放される根拠になり得る。ところが実際には、そんな脅しには効果がなかった。州弁護士会や医療委員会のケースと異なり、ACMはテクノロジー関連の職業のゲートキーパーとして機能していない。実際のところ、ゲートキーパーなど存在しない。テクノロジー業界で働く人たちにとって、ACMからの除名という脅しは痛くもかゆくもない。

倫理的な問題の三つめのグループには、社会的・政治的倫理が関わる。そのため、公共政策や規制や統治に関する問いかけが行なわれる。実際、倫理に関する最も興味深く―最も厄介な―課題はこのカテゴリーに当てはまり、本書で最も頻繁に取り上げられる。

社会的・政治的倫理について考えるときは、さまざまな価値の競合に直面する。たとえすべての価値を尊重すべきだと考えるとしても、トレードオフを決断しなければならない。ここで必要なのは、正しいか間違っているか判断したうえで、正しく行動する方法を学ぶことではない。良いことをいくつも確認したうえで、どれも捨てがたいが、すべてを同時に実行できないときの対応策を決断しなければならない。

その典型例が、あらゆる社会に存在する、自由と平等の緊張関係だ。イギリス人哲学者のアイザイア・バーリンは、オオカミに完全な自由を与えれば、羊には確実に死が訪れると指摘した。自由も平等もどちらも価値のある目標だが、両方を同時に完全に実行するのは不可能だ。ここでは選択が必要で、トレードオフを検討しなければならない。

この地点が本書の倫理学の関心となる。テクノロジスト個人に倫理学を教えればよいという単純な問題ではないのだ。受講すれば効果が発揮され、関係者や業界が悪い行動を控えるような、そんな倫理学の必修課程は存在しない。それほど難しくない日常的な決断を迫られるときでさえ、実際には、すべての人が道徳的聖人のように決断できるわけではない。アメリカの第四代大統領ジェームズ・マディソンは、「ザ・フェデラリスト」［^訳注／アメリカ合衆国憲法の批准を推進するために書かれた連作論文］に「人間が天使ならば、政府は必要とされない」と書いている。リスクが高い状況で、しかもテクノロジーが私たちの生活に与える影響が大きいときには、たとえ優れた倫理観を持つテクノロジストであっても、テクノロジストに全面的に頼るのは間違っている。

競合するさまざまな価値観と向き合うときには、民主主義の利点が注目に値する。たしかに欠点も限界もあるが、民主主義はすべての市民に発言権を与え、意見の相違を解消し、利益相反の解決に意欲的に取り組む。民主政治におけるギブアンドテイクは、相容れない理念や要求のうち何を選択するかについての歴史あるシステムである。民主主義の特に優れた点は、ゆっくり時間をかけて決断する傾向だ。協議を重ね、過去の決断を見直す可能性も排除しない。

民主主義は市民にとって最高の結果を出すために努力するが、その一方、最悪の結果に対する防波堤としても役立つ。20世紀オーストリアの哲学者カール・ポパーによれば、政治の中心的課題は、一般市民（すなわち民主主義）、最も賢明な人物（すなわち哲人王や有益なテクノクラート）、最も裕福な人物（すなわち少数独裁制）のうちの誰を支配者にすべきか決めることではない。政治の中心的課題とは、政治制度をうまく組織して、悲惨な結果を回避すること、つまり悪質な支配者や無能な支配者が、深刻なダメージをもたらす事態を防ぐことである。テクノロジーの影響が私たちの社会を圧倒している現在は、まさにそれが必要とされる。

もしもテクノロジーが自分たちにはコントロールできないものだと受け入れてしまえば、私たちはエンジニアや企業のリーダーやベンチャーキャピタリストに未来を全面的に任せてしまうことになる。なかには市場に望みを託し、市場ならば私たちの利益に配慮して、私たちが望むようなテクノロジーを提供し、役に立たないもの、いや有害なものさえ取り除いてくれると期待する人がいるかもしれない。

しかし、市場には得意なものと不得意なものがある。利益をもたらしてくれるが、社会的影響については考えない。効率を評価するが、他の価値を無視する。そして独裁的な統治を賞賛する。実際、こうした優先事項がコード化されたアルゴリズムが、新しいテクノロジーを動かしている。企業戦略を決定する測定基準となり、制約された環境で企業にできること、できないことを判断していく。

しかしこれでは、他の理念が危険にさらされる。公正、プライバシー、自治、平等、民主主義、正義といった価値は顧みられない。私たちは人間としてこれらの理念を尊び、自分たちの行動を抑制するために設定したルールを通じ、大切な価値を守っている。ところが新しいテクノロジーは、こうした理念の多くを危険にさらす。それは目に見えることもあるが、多くは見えない形で進行する。

私たちはデジタルエコノミーが誕生してから30年間というもの、常に良い結果をもたらしてくれるテクノロジストに集合体としての軌道の決定を委ね、安心しきっていた。しかしいまや、テクノロジストの道徳的欠点は白日のもとにさらされ、自分に都合よくテクノロジーを利用する独裁主義者の権力への不安が高まっている。だから私たちは、異なる道を構築しなければならない。そして厄介な緊張状態を解決する方法は民主的でなければならない。あなたのような市民が積極的に関わる必要がある。

私たちは、テクノロジーの未来をエンジニアやベンチャーキャピタリストや政治家に任せてしまってはならない。本書は、「最適化」を目指す人たちにすべてを任せることがいかに危険か説明したうえで、あらゆる人が難しい選択に自信をもって臨めるように後押しすることを目指している。テクノロジーが私たちの社会を今後どのように変容させるのか見極めるのは非常に困難である。21世紀に取り組むべき課題のなかでも、これ以上に重要なものはまずないだろう。私たちが集団として行動すれば、自らの手でテクノロジーがもたらす未来を選択できるだけでなく、民主主義が活力を取り戻し、その恩恵で誰もが個人として繁栄する可能性を大きくふくらませることができるのだ。

【訳】小坂恵理

＊本訳稿は出版前の見本原稿を基にしており、最終原稿とは異なる場合があります。