make morph_aligned_multi predictions compliant with other prediction …

…fields
OnlpLab · Aug 8, 2021 · 02c3914 · 02c3914
1 parent 0b36a4c
commit 02c3914
Show file tree

Hide file tree

Showing 2 changed files with 32 additions and 30 deletions.
diff --git a/api/api_usage.ipynb b/api/api_usage.ipynb
@@ -177,15 +177,15 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 7,
+   "execution_count": 42,
    "metadata": {},
    "outputs": [
     {
      "name": "stdout",
      "output_type": "stream",
      "text": [
-      "CPU times: user 10.5 ms, sys: 863 µs, total: 11.3 ms\n",
-      "Wall time: 177 ms\n"
+      "CPU times: user 12.7 ms, sys: 0 ns, total: 12.7 ms\n",
+      "Wall time: 336 ms\n"
      ]
     },
     {
@@ -210,19 +210,19 @@
        " 'ma_lattice': '0\\t1\\tמל\\tמל\\tBN\\tBN\\tgen=M|num=S|per=A\\t1\\n0\\t3\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t1\\n0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tאת\\tאת\\tPOS\\tPOS\\t_\\t1\\n2\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n2\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n3\\t4\\tל\\tל\\tIN\\tIN\\t_\\t1\\n3\\t5\\tלך\\tהלך\\tVB\\tVB\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t1\\n4\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n4\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=P\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=P\\t3\\n9\\t10\\tה\\tה\\tDEF\\tDEF\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t14\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\t_\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n",
        " 'pruned_lattice': '0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n",
        " 'md_lattice': '0\\t1\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n2\\t3\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n3\\t4\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n4\\t5\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n5\\t6\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n6\\t7\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n7\\t8\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n8\\t9\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n9\\t10\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n",
-       " 'morph_aligned_multi_predictions': [[['מלך', 'O'],\n",
-       "   ['ה', 'O'],\n",
-       "   ['שערים', 'O'],\n",
-       "   ['ב', 'O'],\n",
-       "   ['מונדיאל', 'O'],\n",
-       "   ['2006', 'O'],\n",
-       "   ['היה', 'O'],\n",
-       "   ['מירוסלב', 'B-PER'],\n",
-       "   ['קלוזה', 'E-PER'],\n",
-       "   ['.', 'O']]]}"
+       " 'morph_aligned_multi_predictions': [['O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'B-PER',\n",
+       "   'E-PER',\n",
+       "   'O']]}"
       ]
      },
-     "execution_count": 7,
+     "execution_count": 42,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -350,15 +350,15 @@
   },
   {
    "cell_type": "code",
-   "execution_count": 13,
+   "execution_count": 41,
    "metadata": {},
    "outputs": [
     {
      "name": "stdout",
      "output_type": "stream",
      "text": [
-      "CPU times: user 10.2 ms, sys: 2.16 ms, total: 12.3 ms\n",
-      "Wall time: 231 ms\n"
+      "CPU times: user 11.8 ms, sys: 0 ns, total: 11.8 ms\n",
+      "Wall time: 203 ms\n"
      ]
     },
     {
@@ -383,16 +383,16 @@
        " 'ma_lattice': '0\\t1\\tמל\\tמל\\tBN\\tBN\\tgen=M|num=S|per=A\\t1\\n0\\t3\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t1\\n0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tאת\\tאת\\tPOS\\tPOS\\t_\\t1\\n2\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n2\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n3\\t4\\tל\\tל\\tIN\\tIN\\t_\\t1\\n3\\t5\\tלך\\tהלך\\tVB\\tVB\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t1\\n4\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n4\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=P\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=P\\t3\\n9\\t10\\tה\\tה\\tDEF\\tDEF\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t14\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\t_\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n",
        " 'pruned_lattice': '0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n",
        " 'md_lattice': '0\\t1\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n2\\t3\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n3\\t4\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n4\\t5\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n5\\t6\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n6\\t7\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n7\\t8\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n8\\t9\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n9\\t10\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n",
-       " 'morph_aligned_multi_predictions': [[['מלך', 'O'],\n",
-       "   ['ה', 'O'],\n",
-       "   ['שערים', 'O'],\n",
-       "   ['ב', 'O'],\n",
-       "   ['מונדיאל', 'O'],\n",
-       "   ['2006', 'O'],\n",
-       "   ['היה', 'O'],\n",
-       "   ['מירוסלב', 'B-PER'],\n",
-       "   ['קלוזה', 'E-PER'],\n",
-       "   ['.', 'O']]],\n",
+       " 'morph_aligned_multi_predictions': [['O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'O',\n",
+       "   'B-PER',\n",
+       "   'E-PER',\n",
+       "   'O']],\n",
        " 'morph_segmented_text': [['מלך',\n",
        "   'ה',\n",
        "   'שערים',\n",
@@ -415,7 +415,7 @@
        "   'O']]}"
       ]
      },
-     "execution_count": 13,
+     "execution_count": 41,
      "metadata": {},
      "output_type": "execute_result"
     }
@@ -426,7 +426,7 @@
     "            #'multi_model_name': 'token-multi',\n",
     "            #'morph_model_name': 'morph',\n",
     "            #'tokenized': False,\n",
-    "           'align_tokens': False,\n",
+    "            # 'align_tokens': False,\n",
     "          }\n",
     "\n",
     "res = requests.get('http://localhost:8090/morph_hybrid', params=payload).json()\n",

diff --git a/api_main.py b/api_main.py
@@ -188,13 +188,15 @@ def multi_align_hybrid(sentences: str, model_name: Optional[str] = 'token-multi'
     ma_lattice = run_yap_hebma(tok_sents)
     pruned_lattice = prune_lattice(ma_lattice, ner_multi_preds)
     md_lattice = run_yap_md(pruned_lattice) #TODO: this should be joint, but there is currently no joint on MA in yap api
+    md_sents = (bclm.get_sentences_list(nemo.read_lattices(md_lattice), ['form']).apply(lambda x: [t[0] for t in x] )).to_list()
     morph_aligned_preds = align_multi_md(ner_multi_preds, md_lattice)
     return { 
             'tokenized_text': tok_sents,
             'nemo_multi_predictions': ner_multi_preds,
             'ma_lattice': ma_lattice,
             'pruned_lattice': pruned_lattice,
             'md_lattice': md_lattice,
+            'morph_segmented_text': md_sents,
             'morph_aligned_multi_predictions': morph_aligned_preds,
         } 
 
@@ -259,8 +261,8 @@ def morph_hybrid(sentences: str, multi_model_name: Optional[str] = 'token-multi'
             'ma_lattice': ma_lattice,
             'pruned_lattice': pruned_lattice,
             'md_lattice': md_lattice,
-            'morph_aligned_multi_predictions': morph_aligned_preds,
             'morph_segmented_text': md_sents,
+            'morph_aligned_multi_predictions': morph_aligned_preds,
             'nemo_morph_predictions': morph_preds,
         }