メモリシステムは実質ファインチューニング

最近のAIのメモリがえぐい。自分のデータをフロンティアモデルに渡して、メモリへ入れてもらうことで、実質ファインチューニングみたいなことになっているんだよね。

LLMを自分用にカスタムする手法としては、ファインチューニングやRAG、LoRAがあった。でもぶっちゃけ、メモリシステムにデータをぶち込んでフロンティアモデルを動かせば、もう実質ファインチューニングよりファインチューニングなんだよな。

ファインチューニングは、GPUやAPI料金に意外と金がかかる。でもメモリなら無料でできる。ファインチューニングする必要がなくなっちゃってるじゃんと思った。

ClaudeとChatGPTのメモリ

Claudeは、従来のメモリから新しい仕組みに変わって、トピックごとにメモリを作っている。結構大量の情報を入れて、トピックごとに分け、圧縮して記録しているんだよね。

ChatGPTは、会話履歴からメモリを生成している。おそらく独自の方法で圧縮していると思うけど、どういう構造で記録されているかは結構ブラックボックスだ。見る側としては、Claudeの方がわかりやすいよね。

そのメモリを実際にどう動かしているのかは、俺もあまり調べていない。ただ一言言えるのは、メモリシステム、メモリエンジニアリングって言うのかな、そこがえぐいことになってきているということだ。

もう実質ファインチューニングやないか、とちょっと突っ込んでしまった。

privateとpublicを分けたMCP

俺がどのようにメモリへデータをぶち込んでいるかというと、privateとpublicのデータを分けて、両方ともMCP化している。

privateには、俺が何も改変していない生の記録データがある。俺はいろいろなAIツールを使っているから、コーディングエージェントやChatGPTなどの会話履歴、セッション履歴、メモリも全部引っ張ってきて、1カ所へヒストリーとして入れている。それをフロンティアモデルのメモリへ入れられるようにMCP化している。他にも細かいデータはいろいろある。

publicで公開しているものは、生のソースデータへAIが編集を加えた二次情報だ。生の方が一次情報で、それにAIが手を入れて作ったものをpublicで公開している。これは無料で誰でも見られるようにしていて、こちらもMCP化している。

データの帰属を第三者が検証できる形にする

privateとpublicの両方について、俺独自の仕組みからBitcoinのブロックチェーンへハッシュを刻み、第三者が無料で検証できる形にしている。

ブロックへハッシュを埋め込み、改変できないようにしているから、ソース元が俺であることや、俺のデータからできた二次コンテンツであることを証明できる。そこは結構しっかり作り込んでいる。

MCPへ接続して使えるのは、オーナーである俺だけだ。それをChatGPTやClaudeへ接続する。

毎日1回、差分をメモリへ入れる

Claudeの場合は、Coworkでスケジュールタスクを設定できる。毎日、日付をまたいだタイミングで、俺のデータをフロンティアモデルへインポートするタスクを動かしている。ChatGPTでもClaudeでも、1日1回差分を検知して、メモリを更新するようにしているから、もう自動で回るよね。

俺は今まで通り記録するだけで、データは増えていく。それがどんどんメモリへインポートされ、パーソナライズされていく。

普通にフロンティアモデルを使っている人と、俺みたいにメモリをファインチューニングのような形で使っている人では、今後かなり雲泥の差が出てくると思う。だから今は、このやり方で進めている。

俺にしか価値がないデータ

フロンティアモデルには、俺のデータをモデル学習へ使わないように設定している。ただ、仮にデータを取られたとしても、これを有効活用できるのは俺しかいない。このデータは俺にしか価値がないから、ぶっちゃけ取られてもいいよね、という感じもある。

俺のデータを使って有効活用するのは、自分のことを知らなければ無理じゃん。

publicでは一次情報である生データを公開していない。生データへ編集を加えた二次情報だけを公開している。サイトにも学習へ使わないよう明記しているけど、仮に学習されたり、データを取られたりしても、結局は有効活用できないから別にいいと思っている。

publicのデータを全部取られても、元のデータはprivateで俺が全部持っている。自分のデータを自分で管理しているから、ポジション的にはかなり強い場所を取った感じがある。

将来ファインチューニングにも使える

もともとデータを貯めるときは、将来ファインチューニングが安くなったら、このデータを使えると思っていた。いつかファインチューニングへ使えたらいいなと考えていたんだよね。

ただ、もうメモリシステムが優秀すぎる。今はファインチューニングより、メモリへデータをインポートした方がいいと思って、この形でやっている。

将来ファインチューニングが安くなり、もっと容易にできるようになったときも、俺のデータはそのまま使える。かなり良いポジションにいるというか、良いアプローチだとは自分でも自負している。