第七部 人類が築いてきた文明のあらすじと到達点
第８章 技術的な課題
ＡＩはできないことだらけ
狭いAIとロボットを組み合わせると、それらの単純な合計以上の存在が生まれる。知性を持つように見え、自律的に動ける存在が誕生するのだ。我々の期待と恐怖はここから生まれる。
ロボット研究者は狭いAIを組み込んだロボットを次々に開発しているが、一般の人々が初めてその存在を目の当たりにすると、その目的がはっきりとは理解できない。新しい技術ゆえに、その限界、さらにはその存在意義も理解できないのである。そして、それが最終的に何を達成できるのかもまた不明である。
この技術に対する「期待」、「恐怖」、そして「疑問」の多くは、それが将来どう進化するのかという疑念から生じる。というのも、AIとロボット工学は大いに進歩しているがまだ不完全で、その欠点はその技術に日々触れる者にとっては明らかだからである。いくつか例を挙げてみよう。
ＡＩロボットにとっての最初の問題は、「視覚」である。
- たとえロボットに最高性能のカメラを搭載したとしても、それはただ私たちにデータを提供するだけである。ロボット自身がそのデータを理解することが求められる。
あなたがキッチンのパントリーを見渡すと、多くの物品が視界に入るだろう。
- しかしロボットは個々の画素、すなわち絶えず変化する数百万の光と色の点を見ているだけである。ロボットは「箱」が何であるか、「棚」が何であるか、さらには「端」がどのようなものであるかを理解することができない。
- ロボットが見ているのは何の分類もされていない点の集まりだ。その状態からどうやれば理解を深めることができるだろうか。無数の点を見ている状態から「あ、これがポークビーンズの缶詰だ」と認識できるようになるにはどうすればいいのだろうか。かなりの難問だ。
パントリーの中を見渡しているあなたの脳の中では、極めて複雑なことが起きている。あなたの脳の中で起こっているこの地味な奇跡を説明するには、多角形や錯体や層に関する専門用語をずらずら並べなければならないだろう。例えば、あなたが家を見て家だと理解できる能力、空を飛ぶ鳩を見つける能力、双子を見分ける能力、ほかにも山のようにある同じようなタスクを難なくやってのける能力は、世界中のＡＩプログラマーの羨望の的だ。私の知り合いに何人かそうした人がいるが、彼らはできることならあなたの脳を解剖して答えを知りたいとさえ思っているのである。
それはさておき、ひとまず、こうした問題を解決できたとしよう。ロボットはパントリーの中に置いてある個々の物を認識できるようになった、と。ちなみに、今のロボットにはまだそんなことができる兆しすらない。
だがひとまずここでは、できると仮定しよう。
- しかし、ロボットは自身が「視覚化している」ものについて何も理解することができない。ＡＩは情報を文脈に置き換えて理解する能力を持っていないからである。
あなたが車を運転しているとき、道路の真ん中にいる子犬と、その子犬に向かって歩いてくる幼児と、その後を必死の形相で追いかけてくる成人女性を見たら、その３つを組み合わせて考えることはごく自然なことだろう。しかし、コンピュータにとっては、それらはすべて速度を持って色が変化する無数の画素にすぎない。実際には、これらは膨大な1と0の集まりに過ぎないのである。
また、人間は写真に何が写っているかを簡単に判別できる。これはコンガダンス（アフリカ発祥の、縦一列につながって進んでいくダンス）の写真であり、これはサプライズパーティーのために隠れている人たちの写真であり、これは親が撮ったプロム（高校最後の年に開かれるフォーマルなダンスパーティー）の写真である。ピアノリサイタルの写真、学校の劇の写真、七五三の写真。どれも私たちにとっては簡単だ。なぜなら、私たちは文化的背景に照らしてその写真の文脈を理解できるからだ。そして、理論的には、コンピュータも同じことができるようにトレーニングすることは可能である。コンピュータにコンガダンスの写真をたくさん見せれば、そのコンピュータはやがてコンガダンスを検出することにかけてはずば抜けた能力を発揮するようになるだろう。この点に関しては、人間すら敵わない。もし日常生活が静止画だけで成り立っているなら、それは素晴らしい話である。
しかし残念ながら、日常生活は動的なものである。
- 文脈は連続する静止画の間に見られる差分から生じ、その組み合わせは無数である。この種の情報についての訓練データセットはほとんど存在しない。
あなたがある日、隣に住んでいる若い夫婦が、妻は臨月のお腹をかばい、夫は不安げな表情で1泊分の荷物を入れたと見られるバッグを持ち、慌てて車に乗り込むところを見掛けたとしたら、あなたは何が起こっているかをすぐ理解できるだろう。ところがこれがコンピュータには難しい。さらに難しい状況を考えてみよう。例えばあなたは彼らが車に乗り込み走り出すところは見ておらず、2日たった後だとする。彼らの家の前庭に2日分の新聞が残されていて、彼らの車が見当たらなかったら、きっとあなたはそれを見ただけで何が起こったか見当がつくだろう。そして大して深く考えることなく、家族に「お隣さんに赤ちゃんが生まれたみたいだね」と言うだろう。あるいはまた、近所にもうじき16歳になる少年が住んでいたとして、突如「お宅のお庭の芝刈りをしましょうか？」と近所中のドアを叩いて回り始めたら、おそらくあなたは、彼が車を買おうとしているなと思うだろう（アメリカでは車の免許は16歳から取得できる）。
- しかし、コンピュータにこのような直感的な推論をする能力を訓練することは極めて難しい。
だがここではひとまず、コンガダンスや妊婦や16歳の少年の文脈の手がかりを見つけて理解できるまでにＡＩをトレーニングできるようになったと仮定しよう。今の私たちにはこのようなことをできる兆しすらないが、とりあえず可能になったと想像するのである。
それでも、さして状況は良くならない。
- その理由は、そのAIが特定の任務をこなすことしかできないからだ。私たちはまだ、どのようにしてAIに『転移学習』をさせるべきかを理解していない。
転移学習とは、具体的には次のようなものである。仮に私があなたに高さ30cmほどのハヤブサの石像を示した後、一ダースの写真からそのハヤブサの石像を見つけるよう指示したとする。その石像が写真の中で木の影に半分隠れていたり、水の中に沈んでいたり、逆さまになっていたり、横倒しになったり、頭にピーナッツバターが塗られていたりしても、あなたはそれを見つけられるだろう。それは人間が生活の中で得た経験を、新しい問題解決に活用できるからだ。これが「転移学習」（注238）である。しかしながら、私たちは自分たちがどのようにこのプロセスを行っているのか、それ自体を理解していない。ましてや、その方法をコンピュータに教えることは非常に困難である。
（注238）これは、一つの問題を解決する過程で得た知識を別の関連する問題に適用する機械学習の研究領域である。例えば、自動車を認識するために得た知識を、トラックを認識するためにも応用できる可能性がある。
それでも、ここでは一旦、転移学習の問題も解決できたと想定してみよう。現実ではまだ解決できておらず、近い将来にそれが可能になるとは考えられないが、仮にそれができたとしよう。それでもなお、大きな進歩を達成したとは言えない。その理由は、
このＡＩは、まだアドリブができないからである。
- 私たち人間は、持っているスキルには関係なく、どんな機械よりも断然優れたアドリブ力を持っている。
例えば、あなたがドアを開けようとした時にドアノブが取れてしまったとしても、あなたはその場で途方に暮れることはない。新たな手段でドアを開けようと試みるだろう。鍵を持たずに家を出て閉め出されてしまった場合、あなたはどうにかして家に入る方法を考えるだろう。突風が吹いて傘が飛ばされてしまった場合、あなたは誰にも教わらずとも、傘を追いかけるだろう。つまり、
たとえ、AIが視覚を持ち、それが何を見ているのかを理解し、その経験を他の場面に応用することができたとしても、
- それには創造性が欠けている。私たちはAIのように世界を受動的に知覚するだけでなく、転移学習を超えた方法で世界と相互作用しているのである。
さらに、他の4つの感覚を考慮に入れる必要がある。
例えば「聴覚」について考えてみよう。私たちはこんなに進んだ時代を生きているにも関わらず、航空会社に電話を掛けて自動音声システムにフリークエントフライヤー番号を伝えると、だいたい2回に1回は聞きとってもらえない。どうやら、発声を認識するというのはかなりの難題であることが分かる。ほとんどの言語において人が発しうる文字や番号は数十個しかないのに、である。その課題は、人間の発音の違いや訛り、電話回線のノイズ、背景音、あるいは本人が風邪を引いているというだけで、事態は格段に難しくなる。
ここでも問題なのはデータ自体ではなく、データの処理である。
- 掃除機の音を聞き分けて取り除くという課題は、実際には非常に難易度が高い。人間は特定の音を遮断する独自の能力を持つが、そのメカニズムは私たち自身にも明確ではなく、更にAIにその能力を再現させる手段も現段階では見つかっていない。
ＡＩは1つのことに特化する
AIは一つの問題に特化する性質がある。だがそれが全て否定的な側面だけであるわけではない。現状の初期段階のAIはすでに私たちの生活を多様な面で便利にしている。渋滞を回避する道路を案内し、スパムメールを排除し、天気を予報し、購入するべき商品を提案し、クレジットカード詐欺を検知するなどの役割を果たしている。スマートカメラは顔認識にAIを使用し、スポーツチームはより良い戦略を立てるためにAIを利用し、人事部は最適な候補者を見つけるためにAIを使っている。AIは手書きの文字を読み取り、音声から文字起こしを行い、それらを別の言語に翻訳することもできる。これら全ては、純粋に数式に基づいて解決することができる物事である。たくさんのデータがあるところ、それが何の層別化もされていない混沌とした生データであっても、ＡＩはその驚異的な能力を発揮する。例えば、AIは近い将来、全ての人工衛星のデータを使って古代都市の場所を特定し、考古学者に発掘すべき場所を示し、野生生物の個体数の動向を追跡し、農作物の成長状況を監視するだろう。そして全交通データに基づいて最適な道路を設計し、信号をより効率的に制御し、交通事故を減らすことを可能にするだろう。こうした例は枚挙にいとまがない。雑誌Wiredの創設編集長であるケヴィン・ケリーはこの状況を次のようにまとめた。「次の1万のスタートアップが何になるか予想するのは簡単だ。どの分野でも、単純にAIを追加するだけである」。
それでは、AIがすでにこれほど多くの事を達成しているにもかかわらず、なぜここで並べたような限界を抱えているのだろうか。
それは私たちが、一度に一つのタスクに焦点を当ててAIを訓練することが得意だからである。チェスをプレイするAIや、スパムメールをフィルタリングするAIを作りたいのであれば、その特定のスキルだけを訓練する。
- 一般化したり文脈を見つけ出したり創造力を発揮したりすることは求めない。
- 学習させるのはある一つのことだけである。そして、今の私たちはそれを大分うまくやれている。そのため、それは『狭いＡＩ』とよばれている。
第2章で、私たちは経済学における数少ない「フリーランチ」の一つ、分業の素晴らしさについて論じた。
- 分業は文明と繁栄をもたらした。しかし、それは皮肉な結果も生み出した。人が皆、自身のスキルをそぎ落としていき一つの事に特化するようになれば、全体の富が増えるということを分業化は示してしまったのだ。
それは製造業だけでなく、すべての分野に適用される。例えば、あなたが弁護士だと考えてみよう。あなたは一般的な弁護士である。その状態でも収入は十分である。しかし、さらに収入を増やしたいと考えた場合、どのような手段があるだろうか。特定の領域に専門化することが一つの手段である。例えば、著作権に関する法律を専門とするなどである。その専門化は更に狭い領域にまで適用することが可能である。しかし、その結果として、あなたは自身の地位を危うくする可能性を孕んでしまっている。
皮肉なことに、あなたがより専門的になるほど、機械に取って代わられる可能性が高まる。
- あなたがより狭い領域でスキルを磨けば磨くほど、その知識を元にコンピュータプログラムを作ることは容易になる。
- 狩猟採集者をコンピュータで置き換えるよりも、放射線技師を置き換える方が容易である。なぜなら、放射線技師はある狭い領域のタスクだけを行うからである。
アメリカのクイズ番組「ジェパディ！」でＩＢＭのワトソンに敗れたことで知られるケン・ジェニングスは、その一連の出来事の最中、ＩＢＭの人間が折れ線グラフを描いていたことを明かしている。「ケン・ジェニングス」とラベルされたグラフの右上の点めがけてワトソンが性能を向上させていくグラフだ。ワトソンは週を追うごとにその点に近づいてきた。そのとき彼がどう感じていたかこう述べている。
「コンピュータのレベルを示す線は確実に私に近づいていました。そして私はそのとき、未来に追われるというのがどういう感じかわかったのです。ターミネーターの照準器などではなく、一本の細い線が、私の能力に、私が最も得意で、私を特別な存在にしてくれていた唯一の能力に、迫ってくるのです。」
「ジェパディ！」でクイズに答えることは一つの限られた分野である。一つが言い過ぎなら、いくつかの少数の分野であるかもしれない。とにかく、今日のＡＩがそれをマスターできたのは、そういう理由である。
さて、ここまで私たちは、ＡＩロボットの「認知に関する技術的課題」について論じてきた。ここからは、同じくらい手強い、「物理的な課題」について考察しよう。
AIロボットにとって、この世界は極めて厳しい場所である。制御された環境である工場などであれば、反復的な動作は問題なく実行可能である。そのような環境では、ロボットは驚異的な性能を示す。人間が切手サイズのチップに10億個のトランジスタを半田付けすることは不可能であるが、ロボットにとっては可能である。我々が日常的に使用するさまざまな製品を作り出すロボットが存在しなければ、私たちは1950年代の技術、経済力、生活水準を保つのが限界となるだろう。
しかし、これほど技術が進んだ今でも、人類はまだ3歳児レベルの身体能力を持つロボットすら作れない。ましてや超人レベルなんてとても無理である。
近年の進歩にもかかわらず、工場から一歩外に出るとロボットはまだ珍しい存在で、移動したり物事を感知したり環境を変えたりといった、山のような問題に直面する。ロボット研究家のエリコ・グイゾ氏は最先端技術の現状について次のように述べている。
「多くの人々が数十年にわたりヒューマノイドロボット（注239）の実現に向けて努力してきた。だがロボットの手足を駆動させるために必要な電気モーターは大きすぎて、重すぎて、遅すぎる。今日の最先端のヒューマノイドロボットはまだやたらとかさばる金属の塊に過ぎず、人間の近くで動かすのは危険だ。」
（注239）英語のhuman（人）と接尾辞-oid（-のようなもの、-もどき）の組み合わせで、形容詞としては「人間そっくりの」や「人間によく似た」という意味で、名詞としては、人間に似た生物や人型ロボットなどを指して用いられる。
ロボットにとっての最初の課題は、自分が今どこにいるのかを把握することである。
- これはセンサーの問題であると同時に、ＡＩの問題でもある。
- ロボット工学者はまだそれを実現するための最適な方法を考案できていない。ロボットが置かれる状況によっても話は違ってくる。
一般的な手法としては、ロボット自身に現在位置の地図を作成させ、その地図上で自分がどこにいるのかを追跡させる方法である。私たち人間にとっては簡単な問題だが、ロボットの視点から考えると、これは非常に複雑である。例えば、椅子とオットマン（足置き）が置かれた部屋にロボットを持ち込んだと考えてみよう。ロボットはこれらの物体を「見る」ことができるが、それらは動かすことができる物体であるため、自身の位置を確定するアンカーとしては使用できない。1分前よりも椅子に近づいたことをロボットが検知したとしても、椅子が自身に近づいてきたのか、自身が動かされたのか、あるいはその両方が起こったのかを判別することはできない。このように、ロボットは常に地図を更新し続ける必要がある。「自己位置推定と環境地図作成の同時実行」を意味する「SLAM（simultaneous localization and mapping）」技術がこれに対する解決策となるが、それは長い目で見た場合の克服可能な課題であり、現在のロボット工学者にとっては難易度を高める要素となっている。
その上で、ロボットを駆動させる電力をどこから調達するかという問題も存在する。特に、動くロボットに搭載可能なバッテリーの容量では、我々は解決にはほど遠いところにいる。
例えば、2016年にロシアの企業が開発した先進的なAIを搭載したロボット「プロモボット」が、研究施設から脱出した。プロモボットは約50メートル移動したところでバッテリーが尽き、道路の真ん中で立ち往生し、約30分間の交通渋滞を引き起こした。このロボットの反乱はこうして終了した。
デジタルな学習の難しさ
さて、我々が考慮するべきもう一つの問題は、ロボットの物体との相互作用である。
- ロボットは人間よりも物理的に力が強く、より厳しい環境で動作する能力を持つかもしれないが、多種多様なタスクをこなすという観点では人間がはるかに優れている。
人間の体は約200の骨が600以上の筋肉で覆われた構造である。眼を動かすという単純な動作にさえ、6つの筋肉を使っている。このような柔軟性を機械で達成しようとすると、非常に困難である。ロボット工学者がどれほど難しい問題に取り組んでいるかを理解するためには、2012年から2015年まで開催された「DARPA（アメリカ国防高等研究計画局）ロボティクス・チャレンジ」の様子を観察すると良い。その最終試合は2015年に開催された。人気科学雑誌の記者エリック・ソフジ氏は、この大会について「資金が豊富で、最近ではまれに見る最大規模の国際ロボット大会だが、結果は失敗だった」と評した。
この大会では、ロボットがコースを1周しながら車を運転する、瓦礫を乗り越える、ドアノブを回してドアを開ける、バルブを探して閉じるといったタスクをこなすことが求められた。しかし、これらのすべてをAIロボットが自力で達成する必要はなかった。大会の目的は、ロボットが人間の助けなしにこれらの動作を行う能力ではなく、そもそもこれらの動作自体が可能かどうかを確認することであった。加えて、挑戦者たちはロボットに課されるタスクを事前に知らされていた。これらの利点があるにもかかわらず、コースを完走できたのは、出場した24チームのロボットのうち数チームに過ぎなかった。この事実だけでも、機械の人間を作り出すことの難易度を物語っている。まして、機械仕掛けの超人を作り出すことは、その困難さをさらに倍増させることであろう。
人間からすれば、DARPAチャレンジには何も難しいところは見当たらない。ドアノブを回してドアを開けること以上に簡単なことがこの世にあるだろうか。しかし、実際には、これには多くの問題がある。ロボットはまず、ドアノブを見つけ、自身の手をそこまで誘導し、そしてドアノブを握らなければならない。握る力は強すぎても弱すぎてもならない。さらに、ドアノブに生じる摩擦力も把握しなければならない。そして次に、ドアノブを回す必要がある。人間は自分の手がドアノブを適切に回しているか、あるいは手が滑っているだけかを容易に感知することができる。しかし、これはロボットにとっては大きな難題である。人間は、ドアノブを回すのをいつ止めれば良いかをすぐに知ることができる。なぜなら、ドアノブに伝わってくる抵抗を感じることができるからである。ロボットにとっては、ドアノブを壊す前に、ある程度回したら止めることを学習させなければならない。さて、ここまで達成できたら、次にロボットは正しい位置までドアノブを回転させたまま、ドアを押す必要がある。その力はどれくらいであるべきか？これもまた、事前に把握することは極めて難しい。ドアの重さはどれくらいか？ドアが何かにひっかかっていないか？
しかも、結果としてこのドアが押すのではなく引いて開けるドアだったとしたら、ここまでの努力は全て無駄になる。ロボットは、やり方を教えない限り物事を直感的に理解することはできない。大地震の後で瓦礫を取り除き、生存者を探すためにロボットを訓練しようとするなら、どれだけの情報を教え込む必要があるだろうか。
触覚も、ロボットにとっては大きな課題である。人間の手が、子犬の頭を撫でるのにも飲み屋のケンカにも使えるということは、その汎用性の証であり、再現性が困難な証でもある。もしあなたが見事なロボットの指を作り上げることに成功したとしても、ロボット本体がその指先で起こっていることを感じ取ることができなければならない。赤ちゃんを着替えさせたり、子猫を抱っこしたり、何かにおびえている子どもを安心させようとしたりしている場面を想像してみてほしい。あなたはそれぞれの場面で、触れる強さや手を動かす速さなどのニュアンスを「無意識のうちに」変えていることであろう。しかし、
- ロボットには、無意識のうちにできることなど一つも存在しない。あらゆる動作を枝葉末節に至るまで分割しなければいけない。
- こうした動作は、どうやればプログラムできるのだろうか。1と0に還元することはもちろん可能だが、メモリ内の抽象記号しか扱えない装置にとってはいずれにせよ、明らかに難しい課題である。
この種の知覚問題をさらにややこしくしているのが、私たちはまだロボットに学習させるトレーニングデータを持っていないということである。
Amazonは「これを買った人はこれも買った」という膨大なデータベースを保有し、それを推薦エンジンに学習させている。しかし私たちは、100万人の大人が100万人の赤ちゃんを抱っこしたときの触覚データなど持っていない。データ収集は可能であり、特撮映画で使用されるモーションキャプチャースーツを用いて、スーツの手と指のセンサーをアップグレードし、約1000人の親に協力を求めて、一年間子育てを行うという方法から始めることが考えられる。ただし、そのような試みはまだ誰も行っていない。
ロボットが現実世界と相互作用することの困難さは、カリフォルニア大学バークレー校のピーター・アビール教授による、ロボットに洗濯物を畳ませるという試みによって余すところなく明らかとなった。
最初の課題は知覚である。人間は洗濯物の山を見たとき、シャツとズボンの境界をどのように判断しているのか。さらに、洗濯物の山は一度ごとに見た目が全く異なる。これは紛れもないカオスである。ベッドシーツを畳むという行為は、多くの数学者が理論的に不可能であると主張しているほどである。人間は色、陰影、テクスチャを手掛かりにして行動できるが、ロボットにとってはこれらは困難な課題である。さらに、子犬が知らないうちに洗濯カゴに潜り込み昼寝をしていた場合、ロボットにとっては、洗濯カゴに入っている全てが畳むべき対象となる。
しかし、アビールのグループはこれらの困難にもくじけず、より簡単な課題に数年を費やし、最終的にはロボットが20分でタオルを一枚畳むことに成功した。この成功を基に、彼らはタオルを一枚畳むのに要する時間を2分まで短縮することができた。しかしながら、これは所詮タオルであり、角が90度であり、最も畳みやすいカテゴリに属するものである。このタオルを畳むことができても、裏返しになった靴下を表に返すことは未だできない。
アビールは次のように結論付けた。「ロボット工学の研究を始めると、人間の子どもが10歳までに習得するような技術が、ロボットにとって最も難しいものであると感じざるを得ない。」
最後に、AIロボットの精神的、身体的能力について考える際に、さらに一つ考慮すべき事項が存在する。それは、
ここまでの全ての課題を何とか解決したとしても、機械が壊れた際の対策である。
パソコンは既に黎明期を過ぎた技術ではあるが、それでも私たちは週に一度程度は再起動しなければならない事態に見舞われる。私たちが開発しようとしているロボットが機能不全に陥った場合、どのように対応すべきなのか。人間も機能不全に陥ることはある。パイロットが心臓発作を起こしたり、薬剤師が薬の誤投与をすることもある。しかし、
- デジタルで機械的なシステムは複製可能であるため、一箇所でエラーが発生した場合、同様のエラーがどこでも再発する可能性がある。
これは例えるなら、パイロット全員が知らない間に心臓に疾患を抱えているような状態である。
- また、機械化は全ての細部に及ぶため、発生するエラーはシステム全体に影響を及ぼし、原因を特定することが困難となる可能性がある。例えば、システムの内部クロックに一つの欠陥があるだけで、破滅的な影響を及ぼす可能性がある。
- 最後に、私たちがここで論じているようなシステムは、より強固に相互接続し、より深く互いに依存するようになっていくと予想される。小さなエラーがもたらす波及効果は計り知れない。
こうした例は枚挙にいとまがない。1962年、現在の価値で約10億ドルを投じて開発されたNASAのロケットが飛行中に爆発した。その原因は、コード中の一つのハイフンが欠けていたからであった。また、飛行中に爆発したヨーロッパのロケットが約7億ドルの損失を生じさせた。その根本原因は、64ビットの数値が大きすぎて16ビットに変換できなかったことによる。それにより、ロケットは墜落した（注240）。しかしながら、これらの事故は大きな金額の損失をもたらしたが、少なくともその影響はうまく封じ込められていた。
（注240）NASAのロケット：マリナー1号は金星を目指した初の地球外惑星探査機で、アトラス・アジェナBにより1962年7月22日に打ち上げられた。コンピュータに搭載された誘導プログラムからハイフンが抜けてしまったため、誤った信号によりロケットはコースを逸脱した。結果として、アメリカ初の惑星間飛行試みは、ハイフン一つの欠落により失敗に終わったのである。
ヨーロッパのロケット：アリアン5型ロケットは、制御不能に陥り、発射から40秒後に爆発した。ロケットの水平速度に関連する64ビット浮動小数点を16ビット符号付整数に変換しようとした時、数値が16ビット符号付整数が取り得る最大値32,768を超えてしまい、変換が不成功に終わったのである。
自動運転車のネットワーク、送電網、あるいは給与システムなど、これらのシステムが同様の問題を経験した場合、その影響はどれほど大きくなるだろうか。
私はなにも、より機械化された未来へ突き進むのを考え直せという意味でこうした問題を提起しているわけではない。
機械は一般的に、タスクを人間より信頼性高く遂行する。しかし、機械の不具合が生じた場合、その波及効果は指数関数的に増大する可能性がある。
デジタルシステムは概して、アナログシステムよりも脆弱である。「偉大なるギャツビー」から1つ単語を抜いたとしても、それが名作であることに変わりはない。しかし圧縮ファイルから記号が1文字抜けたら･････アルファベットのどろどろスープの出来上がりである。
ハイフンが一つ欠けただけで、人間は爆発することはない。私たちは頻繁にミスを犯すが、それらは個々には小さなものである。機械は人間ほど頻繁にはミスを犯さないが、ミスが生じた場合、その結果はより破壊的である可能性がある。したがって、私たちはどのような技術をどの領域に投入するかを慎重に考える必要がある。
