From 6f0c20ba3bf3f587b0fada117d14262d8141f8c3 Mon Sep 17 00:00:00 2001 From: cjer Date: Mon, 9 Aug 2021 18:38:37 +0300 Subject: [PATCH] remove metric prints --- api/api_usage.ipynb | 121 +++++++++++++++++++++++++------------------- ncrf_main.py | 2 +- utils/metric.py | 11 ++-- 3 files changed, 76 insertions(+), 58 deletions(-) diff --git a/api/api_usage.ipynb b/api/api_usage.ipynb index 35cef42..ec610f2 100644 --- a/api/api_usage.ipynb +++ b/api/api_usage.ipynb @@ -63,15 +63,15 @@ }, { "cell_type": "code", - "execution_count": 5, + "execution_count": 43, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "CPU times: user 9.11 ms, sys: 2.24 ms, total: 11.4 ms\n", - "Wall time: 102 ms\n" + "CPU times: user 11.2 ms, sys: 0 ns, total: 11.2 ms\n", + "Wall time: 95.6 ms\n" ] }, { @@ -87,7 +87,7 @@ " ('.', 'O')]" ] }, - "execution_count": 5, + "execution_count": 43, "metadata": {}, "output_type": "execute_result" } @@ -112,15 +112,15 @@ }, { "cell_type": "code", - "execution_count": 6, + "execution_count": 44, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "CPU times: user 10.5 ms, sys: 0 ns, total: 10.5 ms\n", - "Wall time: 82.1 ms\n" + "CPU times: user 10.2 ms, sys: 0 ns, total: 10.2 ms\n", + "Wall time: 81.6 ms\n" ] }, { @@ -145,7 +145,7 @@ " 'single_predictions': [['S-PER', 'O', 'O', 'O', 'S-ORG', 'O', 'O', 'O']]}" ] }, - "execution_count": 6, + "execution_count": 44, "metadata": {}, "output_type": "execute_result" } @@ -177,15 +177,15 @@ }, { "cell_type": "code", - "execution_count": 42, + "execution_count": 45, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "CPU times: user 12.7 ms, sys: 0 ns, total: 12.7 ms\n", - "Wall time: 336 ms\n" + "CPU times: user 11.3 ms, sys: 0 ns, total: 11.3 ms\n", + "Wall time: 201 ms\n" ] }, { @@ -210,6 +210,16 @@ " 'ma_lattice': '0\\t1\\tמל\\tמל\\tBN\\tBN\\tgen=M|num=S|per=A\\t1\\n0\\t3\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t1\\n0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tאת\\tאת\\tPOS\\tPOS\\t_\\t1\\n2\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n2\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n3\\t4\\tל\\tל\\tIN\\tIN\\t_\\t1\\n3\\t5\\tלך\\tהלך\\tVB\\tVB\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t1\\n4\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n4\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=P\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=P\\t3\\n9\\t10\\tה\\tה\\tDEF\\tDEF\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t14\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\t_\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", " 'pruned_lattice': '0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", " 'md_lattice': '0\\t1\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n2\\t3\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n3\\t4\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n4\\t5\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n5\\t6\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n6\\t7\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n7\\t8\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n8\\t9\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n9\\t10\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", + " 'morph_segmented_text': [['מלך',\n", + " 'ה',\n", + " 'שערים',\n", + " 'ב',\n", + " 'מונדיאל',\n", + " '2006',\n", + " 'היה',\n", + " 'מירוסלב',\n", + " 'קלוזה',\n", + " '.']],\n", " 'morph_aligned_multi_predictions': [['O',\n", " 'O',\n", " 'O',\n", @@ -222,7 +232,7 @@ " 'O']]}" ] }, - "execution_count": 42, + "execution_count": 45, "metadata": {}, "output_type": "execute_result" } @@ -240,7 +250,7 @@ }, { "cell_type": "code", - "execution_count": 8, + "execution_count": 46, "metadata": {}, "outputs": [ { @@ -275,15 +285,15 @@ }, { "cell_type": "code", - "execution_count": 9, + "execution_count": 47, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "CPU times: user 8.77 ms, sys: 1.91 ms, total: 10.7 ms\n", - "Wall time: 169 ms\n" + "CPU times: user 10.2 ms, sys: 1.21 ms, total: 11.4 ms\n", + "Wall time: 334 ms\n" ] }, { @@ -324,7 +334,7 @@ " 'O']]}" ] }, - "execution_count": 9, + "execution_count": 47, "metadata": {}, "output_type": "execute_result" } @@ -350,15 +360,15 @@ }, { "cell_type": "code", - "execution_count": 41, + "execution_count": 48, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "CPU times: user 11.8 ms, sys: 0 ns, total: 11.8 ms\n", - "Wall time: 203 ms\n" + "CPU times: user 9.72 ms, sys: 1.37 ms, total: 11.1 ms\n", + "Wall time: 202 ms\n" ] }, { @@ -383,16 +393,6 @@ " 'ma_lattice': '0\\t1\\tמל\\tמל\\tBN\\tBN\\tgen=M|num=S|per=A\\t1\\n0\\t3\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t1\\n0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tאת\\tאת\\tPOS\\tPOS\\t_\\t1\\n2\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n2\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n3\\t4\\tל\\tל\\tIN\\tIN\\t_\\t1\\n3\\t5\\tלך\\tהלך\\tVB\\tVB\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t1\\n4\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n4\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=P\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=P\\t3\\n9\\t10\\tה\\tה\\tDEF\\tDEF\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t14\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\t_\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", " 'pruned_lattice': '0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", " 'md_lattice': '0\\t1\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n2\\t3\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n3\\t4\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n4\\t5\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n5\\t6\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n6\\t7\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n7\\t8\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n8\\t9\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n9\\t10\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", - " 'morph_aligned_multi_predictions': [['O',\n", - " 'O',\n", - " 'O',\n", - " 'O',\n", - " 'O',\n", - " 'O',\n", - " 'O',\n", - " 'B-PER',\n", - " 'E-PER',\n", - " 'O']],\n", " 'morph_segmented_text': [['מלך',\n", " 'ה',\n", " 'שערים',\n", @@ -403,6 +403,16 @@ " 'מירוסלב',\n", " 'קלוזה',\n", " '.']],\n", + " 'morph_aligned_multi_predictions': [['O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'B-PER',\n", + " 'E-PER',\n", + " 'O']],\n", " 'nemo_morph_predictions': [['O',\n", " 'O',\n", " 'O',\n", @@ -415,7 +425,7 @@ " 'O']]}" ] }, - "execution_count": 41, + "execution_count": 48, "metadata": {}, "output_type": "execute_result" } @@ -442,15 +452,15 @@ }, { "cell_type": "code", - "execution_count": 14, + "execution_count": 49, "metadata": {}, "outputs": [ { "name": "stdout", "output_type": "stream", "text": [ - "CPU times: user 10.8 ms, sys: 12.7 ms, total: 23.4 ms\n", - "Wall time: 6.44 s\n" + "CPU times: user 11.6 ms, sys: 0 ns, total: 11.6 ms\n", + "Wall time: 224 ms\n" ] }, { @@ -475,16 +485,6 @@ " 'ma_lattice': '0\\t1\\tמל\\tמל\\tBN\\tBN\\tgen=M|num=S|per=A\\t1\\n0\\t3\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t1\\n0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tאת\\tאת\\tPOS\\tPOS\\t_\\t1\\n2\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n2\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n3\\t4\\tל\\tל\\tIN\\tIN\\t_\\t1\\n3\\t5\\tלך\\tהלך\\tVB\\tVB\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t1\\n4\\t5\\tאת\\tאת\\tS_PRN\\tS_PRN\\tgen=F|num=S|per=2\\t1\\n4\\t5\\tאתה\\tאתה\\tS_PRN\\tS_PRN\\tgen=M|num=S|per=2\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\t_\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=P\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=F|num=S\\t2\\n5\\t8\\tהשערים\\tהשערים\\tNN\\tNN\\tgen=M|num=P\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNNP\\tNNP\\t_\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=M|num=P\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=S\\t3\\n8\\t11\\tבמונדיאל\\tבמונדיאל\\tNN\\tNN\\tgen=F|num=P\\t3\\n9\\t10\\tה\\tה\\tDEF\\tDEF\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n10\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t14\\tמ\\tמ\\tPREPOSITION\\tPREPOSITION\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\t_\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n14\\t15\\tירוסלב\\tירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", " 'pruned_lattice': '0\\t5\\tמלך\\tמלך\\tVB\\tVB\\tgen=M|num=S|per=3|tense=PAST\\t1\\n0\\t5\\tמלך\\tמלך\\tNN\\tNN\\tgen=M|num=S\\t1\\n0\\t5\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n5\\t6\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n5\\t7\\tה\\tה\\tREL\\tREL\\t_\\t2\\n6\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n7\\t8\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n8\\t9\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNN\\tNN\\tgen=M|num=S\\t3\\n9\\t11\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n11\\t12\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2|tense=IMPERATIVE\\t5\\n12\\t13\\tהיה\\tהיה\\tEX\\tEX\\tgen=M|num=S|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3|tense=PAST\\t5\\n12\\t13\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=2\\t5\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\t_\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=M|num=P\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=S\\t6\\n13\\t15\\tמירוסלב\\tמירוסלב\\tNN\\tNN\\tgen=F|num=P\\t6\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\t_\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=P\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=F|num=S\\t7\\n15\\t16\\tקלוזה\\tקלוזה\\tNN\\tNN\\tgen=M|num=P\\t7\\n16\\t17\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", " 'md_lattice': '0\\t1\\tמלך\\tמלך\\tNNT\\tNNT\\tgen=M|num=S\\t1\\n1\\t2\\tה\\tה\\tDEF\\tDEF\\t_\\t2\\n2\\t3\\tשערים\\tשער\\tNN\\tNN\\tgen=M|num=P\\t2\\n3\\t4\\tב\\tב\\tPREPOSITION\\tPREPOSITION\\t_\\t3\\n4\\t5\\tמונדיאל\\tמונדיאל\\tNNT\\tNNT\\tgen=M|num=S\\t3\\n5\\t6\\t2006\\t_\\tCD\\tCD\\t_\\t4\\n6\\t7\\tהיה\\tהיה\\tCOP\\tCOP\\tgen=M|num=S|per=3\\t5\\n7\\t8\\tמירוסלב\\tמירוסלב\\tNNP\\tNNP\\tgen=M|num=S\\t6\\n8\\t9\\tקלוזה\\tקלוזה\\tNNP\\tNNP\\tgen=F|gen=M|num=S\\t7\\n9\\t10\\t.\\t_\\tyyDOT\\tyyDOT\\t_\\t8\\n\\n',\n", - " 'morph_aligned_multi_predictions': [[['מלך', 'O'],\n", - " ['ה', 'O'],\n", - " ['שערים', 'O'],\n", - " ['ב', 'O'],\n", - " ['מונדיאל', 'O'],\n", - " ['2006', 'O'],\n", - " ['היה', 'O'],\n", - " ['מירוסלב', 'B-PER'],\n", - " ['קלוזה', 'E-PER'],\n", - " ['.', 'O']]],\n", " 'morph_segmented_text': [['מלך',\n", " 'ה',\n", " 'שערים',\n", @@ -495,6 +495,16 @@ " 'מירוסלב',\n", " 'קלוזה',\n", " '.']],\n", + " 'morph_aligned_multi_predictions': [['O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'O',\n", + " 'B-PER',\n", + " 'E-PER',\n", + " 'O']],\n", " 'nemo_morph_predictions': [['O',\n", " 'O',\n", " 'O',\n", @@ -515,7 +525,7 @@ " 'O']]}" ] }, - "execution_count": 14, + "execution_count": 49, "metadata": {}, "output_type": "execute_result" } @@ -541,7 +551,7 @@ }, { "cell_type": "code", - "execution_count": 15, + "execution_count": 50, "metadata": {}, "outputs": [], "source": [ @@ -551,7 +561,7 @@ }, { "cell_type": "code", - "execution_count": 36, + "execution_count": 51, "metadata": {}, "outputs": [], "source": [ @@ -562,7 +572,7 @@ }, { "cell_type": "code", - "execution_count": 37, + "execution_count": 52, "metadata": {}, "outputs": [], "source": [ @@ -580,7 +590,7 @@ }, { "cell_type": "code", - "execution_count": 38, + "execution_count": 53, "metadata": {}, "outputs": [ { @@ -661,7 +671,7 @@ "4 3 מירוסלב קלוזה PER" ] }, - "execution_count": 38, + "execution_count": 53, "metadata": {}, "output_type": "execute_result" } @@ -675,7 +685,7 @@ }, { "cell_type": "code", - "execution_count": 39, + "execution_count": 54, "metadata": {}, "outputs": [ { @@ -734,7 +744,7 @@ "2 3 מירוסלב קלוזה PER" ] }, - "execution_count": 39, + "execution_count": 54, "metadata": {}, "output_type": "execute_result" } @@ -746,6 +756,13 @@ "ents_align" ] }, + { + "cell_type": "code", + "execution_count": null, + "metadata": {}, + "outputs": [], + "source": [] + }, { "cell_type": "code", "execution_count": null, diff --git a/ncrf_main.py b/ncrf_main.py index d73d78c..23ac933 100644 --- a/ncrf_main.py +++ b/ncrf_main.py @@ -180,7 +180,7 @@ def evaluate(data, model, name, nbest=None): gold_results += gold_label decode_time = time.time() - start_time speed = len(instances)/decode_time - acc, p, r, f = get_ner_fmeasure(gold_results, pred_results, data.tagScheme) + acc, p, r, f = get_ner_fmeasure(gold_results, pred_results, data.tagScheme, verbose=False) if nbest and not data.sentence_classification: return speed, acc, p, r, f, nbest_pred_results, pred_scores return speed, acc, p, r, f, pred_results, pred_scores diff --git a/utils/metric.py b/utils/metric.py index 75d20d4..5ec6ab3 100644 --- a/utils/metric.py +++ b/utils/metric.py @@ -12,7 +12,7 @@ ## input as sentence level labels -def get_ner_fmeasure(golden_lists, predict_lists, label_type="BMES"): +def get_ner_fmeasure(golden_lists, predict_lists, label_type="BMES", verbose=True): sent_num = len(golden_lists) golden_full = [] predict_full = [] @@ -56,10 +56,11 @@ def get_ner_fmeasure(golden_lists, predict_lists, label_type="BMES"): f_measure = 2*precision*recall/(precision+recall) accuracy = (right_tag+0.0)/all_tag # print "Accuracy: ", right_tag,"/",all_tag,"=",accuracy - if label_type.upper().startswith("B-"): - print("gold_num = ", golden_num, " pred_num = ", predict_num, " right_num = ", right_num) - else: - print("Right token = ", right_tag, " All token = ", all_tag, " acc = ", accuracy) + if verbose: + if label_type.upper().startswith("B-"): + print("gold_num = ", golden_num, " pred_num = ", predict_num, " right_num = ", right_num) + else: + print("Right token = ", right_tag, " All token = ", all_tag, " acc = ", accuracy) return accuracy, precision, recall, f_measure