気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
425users
がブックマーク
74
74
「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた｜ふちゃぎ
425 users
note.com/fuchagi
記事へのコメント74件
- 注目コメント
- 新着コメント
LM-7
人間の学習でも同じ。基本の学習を積み重ねることで全体のレベルが徐々に上がる。テストは離散的な結果を返すので、成果が見えない、あるいは突然の飛躍が見られることもあるが、それらは日々の努力の積み重ね
kazoo_keeper2
アテンション層でどういう計算をしてるのか概略を知れば、そんなに不思議なことでもないような… https://www.youtube.com/watch?v=eMlx5fFNoYc
awaytabi
これ、多数の小学生を相手にしていると、「あ、こいつ大して考えずに確率論的に発話してるな？」っていうのと、「ちゃんと考えてしゃべってる」がグラデーションが見えて面白いよ。思考って確率論と取捨選択じゃね？
You-me
数学の証明ってそういうところがあるからよ。有名な話だとフェルマーの定理の証明最初肝心なところを証明しないで次のステップ行ってるところがあって結果としてそれはあってたんだけど証明は後からというのが普通に
acealpha
AIの思考をブラックボックスとして結果から推し量る今のやり方は日本に馴染まず研究も後手になってる ディープラーニング時代に次の進展は？でよく言われたのは、結果を説明できることだったが、そうはならなかった
isobe-michael
次の離散的な変化が予測できるようになるなら、学習量の増加速度な計算リソースの増加速度からシンギュラリティがいつ起こるか正確に分かるのかな。そもそもシンギュラリティの定義がよく分からないな。
qpci32siekqd
リファレンスがある（Webかローカルのコード）か、コンパイラエラーのように正解が示されるものしか、やっぱり駄目な気がするがな。Webデータの多くで学習しているっていうがインプット時に精査されてないと駄目な印象
skycrawler333
人間も努力は気付く、理解する「きっかけ」を作るためのものであると誰かが言ってたので腑に落ちたことがあるけど、学習量も或意味きっかけの一つでしかなく、ある瞬間に指数関数的な変化がおこるのものなのかしら？
nuu_n
確かに人間の子供も自分の意志のない「次の単語をあてているだけ」の会話をすることあるもんな。AIに感情が芽生えたと言ってGoogleを解雇された研究者を笑ってたけど，将来的に笑えなくなる日が来るのかも。
jama_ican
人間もそんな気がする。歌のサビを覚えてなくても最初から歌うと辿り着けたり、文法を逆さにして話してって言われると思考すらできない。子どもとかも「あのね、僕ね、」みたいに喋りながら次の単語を探してたり
tmpus
言われてみれば小学校の文章題でも、今引き算を習っているから出てくる数字を単に引いている子と、ちゃんと理解して引き算してる子の2種類がいるのを思い出した。年齢や理解度が上がれば前者が後者に相転移するかも
kaorun
総当りで学んだ後に最短経路(獣道?)となるニューラルネットワークが創出される、ってイメージかなぁ。まぁ、数学は世の理をテーマにした究極の穴埋め問題みたいなもんだからLLMは得意な分野でしょ
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた｜ふちゃぎ
「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみ... 「次の単語を当てているだけ」のAIが、なぜ数学の証明までできるのか——LLMの創発研究の現在地を調べてみた 「LLMは、次に来る単語を確率的に予測しているだけ」——TLに流れていたこの説明は正しい。GPTもClaudeも、事前学習でやっていることは突き詰めれば次トークンの予測であり、目的関数にそれ以上の何かは書かれていない。 一方で、同じモデルが動くコードを書き、難しい数学の証明を組み立てる。これも正しい。 両方とも真、というのが据わりが悪い。単語当ての延長で証明まで届くなら、「予測しているだけ」という言い方のどこかに、大事な何かが折り畳まれているはずだ。機械学習の世界ではこの飛躍に「創発（emergent abilities）」という名前がついていて、議論が始まってからもう4年になる。これだけ騒がれたのだから、原理はとっくに解明されているに違いない。そう思って論文を漁り始めたのだが、蓋を
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
dopingconsomme.blogspot.com
2026/08/21 リンク