今日の問い
生成AIは、どうやって文を作る？
次のことばを、確率で選んでいる。
考えよう
スマホで「今日は」と打つと、次に出る候補は？
- いい天気
- 雨
- 休み
なぜその候補が出るのだろう？
2生成AIは「次のことば」を選び続ける
- ここまでの文を見る
- 次に来そうな語の確率を出す
- 確率にしたがって1語選ぶ
- 1〜3をくり返す
今日は、紙とサイコロで小さな生成AIを作る。
3学習データ（架空の6文）
| 番号 | 文（／は語の区切り） | 出どころ |
|---|---|---|
| 1 | みどり市／の／名物／は／りんご／だ。 | 市の観光案内（架空） |
| 2 | みどり市／の／名物／は／りんご／だ。 | 観光パンフレット（架空） |
| 3 | みどり市／の／名物／は／りんご／だ。 | 旅行ブログ（架空） |
| 4 | みどり市／の／花／は／さくら／だ。 | 市の観光案内（架空） |
| 5 | あおば町／の／名物／は／みかん／だ。 | 町の観光案内（架空） |
| 6 | あおば町／の／花／は／ひまわり／だ。 | 町の観光案内（架空） |
数えよう
ある語の次に、どの語が何回来たかを数える。
例：「の」の次
名物 4回 → 4/6
花 2回 → 2/6
答え合わせ：「は」の次
| 「は」の次の語 | 回数 | 確率 | サイコロの目 |
|---|---|---|---|
| りんご | 3 | 3/6（50%） | 1・2・3 |
| さくら | 1 | 1/6（約17%） | 4 |
| みかん | 1 | 1/6（約17%） | 5 |
| ひまわり | 1 | 1/6（約17%） | 6 |
| 合計 | 6 | 6/6（100%） | 1〜6 |
サイコロで文を作ろう
| 今の語 | サイコロの目 → 次の語 |
|---|---|
| （はじめ） | 1〜4 → みどり市 ／ 5・6 → あおば町 |
| みどり市・あおば町 | いつも → の |
| の | 1〜4 → 名物 ／ 5・6 → 花 |
| 名物・花 | いつも → は |
| は | 1〜3 → りんご ／ 4 → さくら ／ 5 → みかん ／ 6 → ひまわり |
| りんご など | いつも → だ。（文の終わり） |
1人3文、記録しよう。
7考えよう
AIが作った「あおば町の名物はりんごだ。」 本当？
- 本当
- まちがい
- 分からない
まちがいの文のほうが、出やすい
| AIが作った文 | 出る確率 | データでは |
|---|---|---|
| あおば町の名物はりんごだ。 | 2/6×4/6×3/6＝1/9（約11.1%） | 書かれていない |
| あおば町の名物はみかんだ。 | 2/6×4/6×1/6＝1/27（約3.7%） | 書かれている |
みどり市の文が多い。その偏りが、そのまま出る
9もっともらしいのに事実でない文（ハルシネーション）
- 確率で選ぶ「ありそうな語」を選ぶ
- データの偏り多い話題に引っぱられる
- 事実は確かめない本当かどうかは見ていない
温度：ランダムさのつまみ
| 温度 | りんご | さくら・みかん・ひまわり（それぞれ） |
|---|---|---|
| 0（いちばん多い語だけ） | 100% | 0% |
| 0.5（低い） | 75% | 約8.3% |
| 1（数えたとおり） | 50% | 約16.7% |
| 2（高い） | 約36.6% | 約21.1% |
| とても高い | 25%に近づく | 25%に近づく |
低い＝決まった答え、高い＝めずらしい語が出やすい。
11長い文脈を見ると？
「あおば町／の／名物／は」まで見ると、次は「みかん」が 1回中1回（100%）。
実際の生成AIは長い文脈と大量のデータで、ずっと正確。でも「ありそうな語を選ぶ」しくみは同じ。
もっともらしい ≠ 正しい
12出口チケット