#73
2026-03-20
文系WebエンジニアによるTSを使った言語モデル自作超入門LLM(大規模言語モデル)まではいかずとも、超小規模な言語モデルであればこのご時世AIに質問しながら自作できるのではないか、と思い実際にやってみることにしました。 この記事は、あくまで「超入門」かつ文系Webエンジニアが書く記事ですので、Self-AttentionのQueryテンソルがどういう仕組みで更新されていくのか…みたいな、いわゆる数学的分野だったり、混合精度学習や勾配蓄積方式といったパフ...
読んでみる