ChatGPTの頭の中
スティーヴン・ウルフラム(著)
,稲葉通将(監訳)
,高橋聡(訳)
/ハヤカワ新書
作品情報
人工知能チャットボット「ChatGPT」の知られざる仕組みと基礎技術について、自らも質問応答システムの開発に携わる理論物理学者が詳細に解説。今も進化し続けるChatGPTが、将来的に人間の脳に匹敵する「思考の本質」を身につける可能性が鮮やかに示される
もっとみる
商品情報
- シリーズ
- ChatGPTの頭の中
- 著者
- スティーヴン・ウルフラム, 稲葉通将, 高橋聡
- ジャンル
- コンピュータ・情報 - コンピュータ・インターネット
- 出版社
- 早川書房
- 掲載誌・レーベル
- ハヤカワ新書
- 書籍発売日
- 2023.07.19
- Reader Store発売日
- 2023.07.19
- ファイルサイズ
- 47.6MB
- ページ数
- 168ページ
以下の製品には非対応です
この作品のレビュー
平均 4.1 (11件のレビュー)
-
ChatGPTの成功で明らかになったこと
読む前は、ChatGPTって言うほどたいしたものなのか、疑問だった。
「ChatGPTはいわば巨大な連想ゲームをやっているにすぎない。"日本一の山は"と聞かれたら"富士山"と返すように、言葉のつなが…りを確率論的に導いているだけ。意識もなければ意図もない」とか、「いまの機械学習って、超高効率な圧縮アルゴリズムでしかない。ChatGPTも、世の中にある膨大なテキストデータを圧縮してローカルに持って来てて、それをクエリによって引き出しているだけ」だと。
文章を綴らせたって、自身では吟味も推敲もやっていない。
というより、書いて出力した文字を丁寧に追って文章を見ているわけでもないだろう。
ただ確率に従って、あとに続くに順当な単語を出力しているだけ。
本書も冒頭の解説はその思い込みを裏書きしている。
「たとえば小論文を書くときなどでも、基本的には"ここまでの文を受けて、次に続く単語は何か?"という質問を繰り返し、そのたびに1つずつ単語を追加しているにすぎない」。
しかし1単語ずつでは全く意味を成した文は出力できない。
2個の単語、あるいは3個以上と、続く単語の確率を調べて文字を生成していくと、だんだんまともになっていく。
ただここで壁にぶつかる。
これだと組み合わせの数は宇宙に存在する粒子の数を超えるほど厖大なものになるのに、その確率を成り立たせるだけの参照先がない。
これは困った。
ネットにある無数の文章やあらゆる電子書籍をかき集めても必要とされる量に及ばないのだから仕方ない。
じゃあ足りない分は、モデルとつくって補ってやろう。
ということで出来たのが、大規模言語モデル(LLM)で、GhatGPTは1750億個のパラメーターを使って、確率の推定を行なっている。
何を言ってるかわからない?
私もわからない。
が、さらに説明は続く。
いままでの説明は「単純な物理学由来の数値データモデル」で、さして新奇なことじゃない、とくる。
ChatGPTはもっと先を行っていて、「人の脳によって作り出されるのと同じような自然言語の文章に対応するモデル」を作り出している、と。
ニューラルネットは、人間の脳のはたらきを単純に理想化したものといわれている。
そのニューラルネットによる画像識別がどうやって実行されているかを数学的に説明することはできない。
「ニューラルネットなりのことを実行している」としかいえないのだ、と。
人間のやっている識別処理も同じじゃないか、と。
原理から導き出すのではなく、経験的に人間がやりそうなことをやっていくとおおむね正しくなる。
個々のニューロンがどのように動いているかを説明は出来るが、それが全体としてどのように視覚的に処理しているかを説明できないことと同じ。
計算上に還元することが不能であり、説明的に語ることもできないが、なんとなく実用的なものが生み出されているので間違いないだろう、と。
言語処理も、この画像診断と同じ。
ニューラルネットをどのように訓練していくかということで、ますます明らかになったのは、人間のように処理していこう、ということだ。
あれこれと細かく要素に分解したデータサンプルを与えるのではなく、ごく単純な構成要素のみ、あるいは両極端なものだけを与えて、それ以外は自分自身で整理させる。
ニューラルネット自身の「発見」に任せれるわけだが、具体的に何をやっているのか、その過程を理解することは不能。
ますます現在の脳科学研究にそっくりになってきている。
生きてる脳が内部でどのような過程を経て意識が生み出されるか、まったく理解不能なんだけど、何百億、何百兆とあるシナプスやニューロン間でやり取りされる信号も、つまるところ情報に過ぎないのだから、情報処理のプロセスはわからなくても、まるまんま完コピしてしまえば、人工意識ができるだうという発想と一緒。
ただいくらニューラルネットが人間の脳の働きに似せてあるとは言っても、決定的に異なる点がある。
脳内のニューロン網であれば柔軟に書き変わり、とりわけ若いうちはニューロン同士の結合の強度(重み付け)も劇的に改変され、つねに新たな結合が生まれているが、いまのニューラルネットのニューロン網は固定的で、重み付けも更新されてはいるが一度に1カ所ずつと愚鈍極まりない。
高性能なGPUを大量に使って計算を走らせてもその程度なので、コンピューターのハードウェアが根本的な変わらないと、次のステップには進めないだろう。続きを読む投稿日:2023.09.13
-
物性研の所内者、柏地区共通事務センター職員の方のみ借りることができます。
東大OPACには登録されていません。
貸出:物性研図書室にある借用証へ記入してください
返却:物性研図書室へ返却してください投稿日:2024.02.09
新刊自動購入は、今後配信となるシリーズの最新刊を毎号自動的にお届けするサービスです。
- ・発売と同時にすぐにお手元のデバイスに追加!
- ・買い逃すことがありません!
- ・いつでも解約ができるから安心!
※新刊自動購入の対象となるコンテンツは、次回配信分からとなります。現在発売中の最新号を含め、既刊の号は含まれません。ご契約はページ右の「新刊自動購入を始める」からお手続きください。
※ご契約をいただくと、このシリーズのコンテンツを配信する都度、毎回決済となります。配信されるコンテンツによって発売日・金額が異なる場合があります。ご契約中は自動的に販売を継続します。
不定期に刊行される「増刊号」「特別号」等も、自動購入の対象に含まれますのでご了承ください。(シリーズ名が異なるものは対象となりません)
※再開の見込みの立たない休刊、廃刊、出版社やReader Store側の事由で契約を終了させていただくことがあります。
※My Sony IDを削除すると新刊自動購入は解約となります。
お支払方法:クレジットカードのみ
解約方法:マイページの「予約・新刊自動購入設定」より、随時解約可能です続巻自動購入は、今後配信となるシリーズの最新刊を毎号自動的にお届けするサービスです。
- ・発売と同時にすぐにお手元のデバイスに追加!
- ・買い逃すことがありません!
- ・いつでも解約ができるから安心!
- ・優待ポイントが2倍になるおトクなキャンペーン実施中!
※続巻自動購入の対象となるコンテンツは、次回配信分からとなります。現在発売中の最新巻を含め、既刊の巻は含まれません。ご契約はページ右の「続巻自動購入を始める」からお手続きください。
※ご契約をいただくと、このシリーズのコンテンツを配信する都度、毎回決済となります。配信されるコンテンツによって発売日・金額が異なる場合があります。ご契約中は自動的に販売を継続します。
不定期に刊行される特別号等も自動購入の対象に含まれる場合がありますのでご了承ください。(シリーズ名が異なるものは対象となりません)
※再開の見込みの立たない休刊、廃刊、出版社やReader Store側の事由で契約を終了させていただくことがあります。
※My Sony IDを削除すると続巻自動購入は解約となります。
お支払方法:クレジットカードのみ
解約方法:マイページの「予約自動購入設定」より、随時解約可能ですReader Store BOOK GIFT とは
ご家族、ご友人などに電子書籍をギフトとしてプレゼントすることができる機能です。
贈りたい本を「プレゼントする」のボタンからご購入頂き、お受け取り用のリンクをメールなどでお知らせするだけでOK!
ぜひお誕生日のお祝いや、おすすめしたい本をプレゼントしてみてください。※ギフトのお受け取り期限はご購入後6ヶ月となります。お受け取りされないまま期限を過ぎた場合、お受け取りや払い戻しはできませんのでご注意ください。
※お受け取りになる方がすでに同じ本をお持ちの場合でも払い戻しはできません。
※ギフトのお受け取りにはサインアップ(無料)が必要です。
※ご自身の本棚の本を贈ることはできません。
※ポイント、クーポンの利用はできません。クーポンコード登録
Reader Storeをご利用のお客様へ
ご利用ありがとうございます!
エラー(エラーコード: )
ご協力ありがとうございました
参考にさせていただきます。