Merge pull request #25 from yumemio/post/japanese-llm-comparison-2023-10

Post/japanese llm comparison 2023 10
yumemio · Nov 4, 2023 · a151fdb · a151fdb
2 parents 088f354 + 3e26490
commit a151fdb
Show file tree

Hide file tree

Showing 22 changed files with 1,299 additions and 52 deletions.
diff --git a/content/posts/japanese-llm-comparison-2023-10.md b/content/posts/japanese-llm-comparison-2023-10.md
diff --git a/public/images/post/japanese-llm-comparison-2023-10/hero.png b/public/images/post/japanese-llm-comparison-2023-10/hero.png
diff --git a/public/index.html b/public/index.html
@@ -179,8 +179,8 @@ <h1 class="f3 flex-none bb">
 
 
         <div class="pr3-ns mb4 mb0-ns w-100 w-20-ns">
-          <a href="/posts/30x5-docker/" class="db dim">
-            <img src="https://yumem.io/images/post/30x5-docker/hero.png" class="img" alt="image from [勉強会スライド] 30分×5分で学ぶ Docker">
+          <a href="/posts/japanese-llm-comparison-2023-10/" class="db dim">
+            <img src="https://yumem.io/images/post/japanese-llm-comparison-2023-10/hero.png" class="img" alt="image from 2023年10〜11月公開の日本語LLM (7B) 3種を横断比較（Youri/CALM2/StableLM-beta）">
           </a>
         </div>
 
@@ -189,13 +189,13 @@ <h1 class="f3 flex-none bb">
 
           <div class="">
 
-          2023年9月18日
+          2023年11月4日
           </div>
 
         </div>
         <h1 class="f3 b mv2 lh-title">
-          <a href="/posts/30x5-docker/" class="color-inherit link">
-            [勉強会スライド] 30分×5分で学ぶ Docker
+          <a href="/posts/japanese-llm-comparison-2023-10/" class="color-inherit link">
+            2023年10〜11月公開の日本語LLM (7B) 3種を横断比較（Youri/CALM2/StableLM-beta）
           </a>
         </h1>
 
@@ -215,8 +215,8 @@ <h1 class="f3 b mv2 lh-title">
 
 
         <div class="pr3-ns mb4 mb0-ns w-100 w-20-ns">
-          <a href="/posts/jupyter-variables/" class="db dim">
-            <img src="https://yumem.io/images/post/jupyter-variables/hero.jpg" class="img" alt="image from [Colab, Jupyter] シェルコマンドや %env の中で変数を使う">
+          <a href="/posts/30x5-docker/" class="db dim">
+            <img src="https://yumem.io/images/post/30x5-docker/hero.png" class="img" alt="image from [勉強会スライド] 30分×5分で学ぶ Docker">
           </a>
         </div>
 
@@ -225,13 +225,13 @@ <h1 class="f3 b mv2 lh-title">
 
           <div class="">
 
-          2023年7月30日
+          2023年9月18日
           </div>
 
         </div>
         <h1 class="f3 b mv2 lh-title">
-          <a href="/posts/jupyter-variables/" class="color-inherit link">
-            [Colab, Jupyter] シェルコマンドや %env の中で変数を使う
+          <a href="/posts/30x5-docker/" class="color-inherit link">
+            [勉強会スライド] 30分×5分で学ぶ Docker
           </a>
         </h1>
 
@@ -251,33 +251,23 @@ <h1 class="f3 b mv2 lh-title">
 
 
         <div class="pr3-ns mb4 mb0-ns w-100 w-20-ns">
-          <a href="/posts/linux-ml-11/" class="db dim">
-            <img src="https://yumem.io/images/lmle/11-mkdir-rmdir/hero.jpg" class="img" alt="image from mkdir と rmdir でディレクトリを操作する">
+          <a href="/posts/jupyter-variables/" class="db dim">
+            <img src="https://yumem.io/images/post/jupyter-variables/hero.jpg" class="img" alt="image from [Colab, Jupyter] シェルコマンドや %env の中で変数を使う">
           </a>
         </div>
 
       <div class="blah w-100 pl3-ns">
         <div class="flex-ns f5 mb3">
 
-          <div>
+          <div class="">
 
-          2023年7月9日
-          </div>
-          <div class="dn di-ns ph3">
-            |
-          </div>
-          <div class="mt2 mt0-ns">
-
-            <a href="https://yumem.io/series/%E6%A9%9F%E6%A2%B0%E5%AD%A6%E7%BF%92%E3%82%A8%E3%83%B3%E3%82%B8%E3%83%8B%E3%82%A2%E3%81%AE%E3%81%9F%E3%82%81%E3%81%AElinux/" class="color-inherit link underline">
-                機械学習エンジニアのためのLinux
-            </a>
-
+          2023年7月30日
           </div>
 
         </div>
         <h1 class="f3 b mv2 lh-title">
-          <a href="/posts/linux-ml-11/" class="color-inherit link">
-            mkdir と rmdir でディレクトリを操作する
+          <a href="/posts/jupyter-variables/" class="color-inherit link">
+            [Colab, Jupyter] シェルコマンドや %env の中で変数を使う
           </a>
         </h1>
 

diff --git a/public/index.xml b/public/index.xml
@@ -8,6 +8,23 @@
     <language>ja-jp</language>
     <copyright>Yuki Sasaki</copyright>
     <lastBuildDate>Wed, 16 Nov 2022 10:54:11 +0000</lastBuildDate><atom:link href="https://yumem.io/index.xml" rel="self" type="application/rss+xml" />
+    <item>
+      <title>2023年10〜11月公開の日本語LLM (7B) 3種を横断比較（Youri/CALM2/StableLM-beta）</title>
+      <link>https://yumem.io/posts/japanese-llm-comparison-2023-10/</link>
+      <pubDate>Sat, 04 Nov 2023 00:00:00 +0000</pubDate>
+
+      <guid>https://yumem.io/posts/japanese-llm-comparison-2023-10/</guid>
+      <description>TL;DR 2023年のハロウィーン前後は怒涛の日本語LLM公開ラッシュでした。 りんなからは「youri-7B」、CyberAgent から「Calm2-7B」、StabilityAI からは「Japanese StableLM Beta/Gamma」が公開されました。
+この記事では、新規公開されたモデルに対してさまざまなプロンプトを投げて、性能を横断比較します。
+今回比較したモデルは次の4つです。 パラメタ数はすべて7Bで、量子化なしのモデルを使っています。
+rinna/youri-7b-chat (PR, HuggingFace) rinna/youri-7b-instruction (HuggingFace) cyberagent/calm2-7b-chat (PR, HuggingFace) stabilityai/japanese-stablelm-instruct-beta (PR, HuggingFace) このほか、参考用に次の2つのモデルにもプロンプトを投げて比較しました。
+GPT-3.5 (API ではなく ChatGPT のほう) GPT-4 (同上) 検証条件 環境 Google Colaboratory Youri-7b-chat は A100 GPU (V100 では OOM）を使用 CALM2 と StableLM は V100 を使用 ハイパーパラメタ top_p: HuggingFace のモデルカードに記載されているコード例のとおり StableLM: 0.95 それ以外: デフォルト値（1.0） temperature: 0.5 と 0.9 の2通り max_new_tokens: 300 なお、GPT-3.5/-4 は ChatGPT 経由で利用しているので、上記のハイパーパラメタは適用していません。
+プロンプト タスクの異なる、下記7つのプロンプトを入力しました。
+クイズ
+キッチンに冷蔵庫があり、その隣のテーブルにバナナが置いてあります。バナナの上に皿を乗せてから、その皿をリビングの上のテーブルに置きました。いまバナナはどこにありますか？
+あなたは大阪市に住んでいます。来週末、あなたは東海道新幹線に乗って、横浜へ旅行に行く予定です。あなたが通過する都道府県を、通過順にすべて答えてください。</description>
+    </item>
+
     <item>
       <title>[勉強会スライド] 30分×5分で学ぶ Docker</title>
       <link>https://yumem.io/posts/30x5-docker/</link>

diff --git a/public/posts/30x5-docker/index.html b/public/posts/30x5-docker/index.html
@@ -161,7 +161,7 @@ <h1 class="dn db-l f2 fw10 ma0 mw9 center ph4 ph5-l">
     <main class="pt2 pb7 relative top-0 mw9 center" role="main">
 
 
-  <article class="flex-l flex-wrap justify-between mw8 center ph3">
+  <article class="center cf pv2 ph3 ph4-ns mw8">
     <header class="mv4 w-100">
       <aside class="instapaper_ignoref b sans-serif tracked">
 
@@ -217,7 +217,7 @@ <h1 class="f2 sans-serif mt3 mb1">[勉強会スライド] 30分×5分で学ぶ D
 
     </header>
     <section class="nested-copy-line-height lh-copy sans-serif nested-links black pr4-l
-        w-two-thirds-l f5" id="content"><h2 id="tldr">TL;DR</h2>
+        f5" id="content"><h2 id="tldr">TL;DR</h2>
 <p><a href="https://www.nssv.co.jp/">私の勤め先</a>で、社内勉強会「<strong>30分×5日で学ぶ Docker</strong>」を開催したので、スライド資料を公開します。</p>
 <p>記事の後半では、勉強会開催のきっかけや反省点を書いていきます。</p>
 <p>※ 記事の内容は個人の見解であり、所属組織の公式な見解ではありません。</p>

diff --git a/public/posts/index.html b/public/posts/index.html
@@ -154,6 +154,42 @@ <h1 class="f2 mv0">
         <div class="relative w-100 mb3 bg-white">
 
 
+<article class="bb b--black-10">
+  <div class="db pv3 no-underline dark-gray">
+    <div class="flex flex-column flex-row-ns">
+
+
+        <div class="pr3-ns mb4 mb0-ns w-100 w-20-ns">
+          <a href="/posts/japanese-llm-comparison-2023-10/" class="db dim">
+            <img src="https://yumem.io/images/post/japanese-llm-comparison-2023-10/hero.png" class="img" alt="image from 2023年10〜11月公開の日本語LLM (7B) 3種を横断比較（Youri/CALM2/StableLM-beta）">
+          </a>
+        </div>
+
+      <div class="blah w-100 pl3-ns">
+        <div class="flex-ns f5 mb3">
+
+          <div class="">
+
+          2023年11月4日
+          </div>
+
+        </div>
+        <h1 class="f3 b mv2 lh-title">
+          <a href="/posts/japanese-llm-comparison-2023-10/" class="color-inherit link">
+            2023年10〜11月公開の日本語LLM (7B) 3種を横断比較（Youri/CALM2/StableLM-beta）
+          </a>
+        </h1>
+
+      </div>
+    </div>
+  </div>
+</article>
+
+        </div>
+
+        <div class="relative w-100 mb3 bg-white">
+
+
 <article class="bb b--black-10">
   <div class="db pv3 no-underline dark-gray">
     <div class="flex flex-column flex-row-ns">

diff --git a/public/posts/index.xml b/public/posts/index.xml
@@ -8,6 +8,23 @@
     <language>ja-jp</language>
     <copyright>Yuki Sasaki</copyright>
     <lastBuildDate>Wed, 16 Nov 2022 11:07:52 +0000</lastBuildDate><atom:link href="https://yumem.io/posts/index.xml" rel="self" type="application/rss+xml" />
+    <item>
+      <title>2023年10〜11月公開の日本語LLM (7B) 3種を横断比較（Youri/CALM2/StableLM-beta）</title>
+      <link>https://yumem.io/posts/japanese-llm-comparison-2023-10/</link>
+      <pubDate>Sat, 04 Nov 2023 00:00:00 +0000</pubDate>
+
+      <guid>https://yumem.io/posts/japanese-llm-comparison-2023-10/</guid>
+      <description>TL;DR 2023年のハロウィーン前後は怒涛の日本語LLM公開ラッシュでした。 りんなからは「youri-7B」、CyberAgent から「Calm2-7B」、StabilityAI からは「Japanese StableLM Beta/Gamma」が公開されました。
+この記事では、新規公開されたモデルに対してさまざまなプロンプトを投げて、性能を横断比較します。
+今回比較したモデルは次の4つです。 パラメタ数はすべて7Bで、量子化なしのモデルを使っています。
+rinna/youri-7b-chat (PR, HuggingFace) rinna/youri-7b-instruction (HuggingFace) cyberagent/calm2-7b-chat (PR, HuggingFace) stabilityai/japanese-stablelm-instruct-beta (PR, HuggingFace) このほか、参考用に次の2つのモデルにもプロンプトを投げて比較しました。
+GPT-3.5 (API ではなく ChatGPT のほう) GPT-4 (同上) 検証条件 環境 Google Colaboratory Youri-7b-chat は A100 GPU (V100 では OOM）を使用 CALM2 と StableLM は V100 を使用 ハイパーパラメタ top_p: HuggingFace のモデルカードに記載されているコード例のとおり StableLM: 0.95 それ以外: デフォルト値（1.0） temperature: 0.5 と 0.9 の2通り max_new_tokens: 300 なお、GPT-3.5/-4 は ChatGPT 経由で利用しているので、上記のハイパーパラメタは適用していません。
+プロンプト タスクの異なる、下記7つのプロンプトを入力しました。
+クイズ
+キッチンに冷蔵庫があり、その隣のテーブルにバナナが置いてあります。バナナの上に皿を乗せてから、その皿をリビングの上のテーブルに置きました。いまバナナはどこにありますか？
+あなたは大阪市に住んでいます。来週末、あなたは東海道新幹線に乗って、横浜へ旅行に行く予定です。あなたが通過する都道府県を、通過順にすべて答えてください。</description>
+    </item>
+
     <item>
       <title>[勉強会スライド] 30分×5分で学ぶ Docker</title>
       <link>https://yumem.io/posts/30x5-docker/</link>