add morph_hybrid_align_tokens scenario

README.md

@@ -34,8 +34,8 @@
 1. NCRFpp was great for our experiments on the NEMO corpus (which is given, constant, data), but it holds some caveats for real life scenarios of arbitrary text:
     * fastText is not used on the fly to obtain vectors for OOV words (which were not seen in our Wikipedia corpus). Instead, it is used as a regular embedding matrix. In our experiments we created such a matrix in advance with all the words of our , and used during training. Hence the full generalization capacities of fastText, as shown in our experiments, are not available in the currently provided models, which will perform slightly worse than they could on arbitrary text.  
     * We currently do not provide an API, only file input/outputs. The pipeline works in the background through temp files, you can choose to delete these by default using the `DELETE_TEMP_FILES` config parameter.  
-1. In the near future we plan to publish a cleaner end-to-end implementation, including use of our new [AlephBERT] pre-trained Transformer models. 
-1. For archiving and reproducibility, our original code used for experiments and analysis can be found in the following repos: https://github.com/cjer/NCRFpp, https://github.com/cjer/NER/settings.
+1. In the near future we plan to publish a cleaner end-to-end implementation, including use of our new [AlephBERT](https://github.com/OnlpLab/AlephBERT) pre-trained Transformer models. 
+1. For archiving and reproducibility, our original code used for experiments and analysis can be found in the following repos: https://github.com/cjer/NCRFpp, https://github.com/cjer/NER.
 
 
 ## Citations

example_output_MORPH_HYBRID_ALIGN_TOKENS.txt

@@ -0,0 +1,287 @@
+בתחום O
+הפילוסופיה O
+ובמיוחד O
+בתורת O
+היש O
+, O
+מתייחסים O
+למערכות O
+כאלו O
+כאל O
+אובייקטים O
+מופשטים O
+. O
+במחצית O
+הראשונה O
+של O
+המאה O
+ה O
+- O
+20 O
+, O
+עסק O
+הפילוסוף O
+מרטין S-PER
+היידגר O
+בשאלה O
+: O
+" O
+מהי B-WOA
+ישות E-WOA
+? O
+" O
+( O
+גרמנית S-ANG
+: O
+Sein O
+) O
+, O
+וטען O
+כי O
+הישות O
+מתפרשת O
+לאדם O
+מתוך O
+מערך O
+ה"ישים O
+" O
+( O
+גרמנית S-ANG
+: O
+Seiend O
+) O
+שהוא O
+מכיר O
+. O
+
+המשרד O
+( O
+באנגלית S-ANG
+: O
+The O
+Office O
+) O
+היא O
+סדרת O
+קומדיה O
+מוקומנטרית O
+אמריקאית O
+ששודרה O
+ב O
+- O
+NBC O
+החל O
+מ O
+- O
+24 O
+במרץ O
+2005 O
+ועד O
+ל O
+- O
+16 O
+במאי O
+2013 O
+, O
+למשך O
+9 O
+עונות O
+ו O
+- O
+201 O
+פרקים O
+[ O
+1 O
+] O
+. O
+
+הסדרה O
+עוקבת O
+באמצעות O
+צוות O
+צילום O
+אחרי O
+ההתרחשויות O
+היום O
+- O
+יומיות O
+של O
+העובדים O
+במשרד O
+של O
+חברה O
+פיקטיבית O
+להפצת O
+נייר O
+- O
+" O
+דאנדר B-ORG
+מיפלין E-ORG
+" O
+בסקרנטון S-GPE
+, O
+פנסילבניה S-PER
+. O
+
+הסדרה O
+מבוססת O
+על O
+סדרה O
+בריטית O
+בעלת O
+אותו O
+השם O
+שיצרו O
+ריקי B-PER
+ג'רוויס E-PER
+וסטיבן B-PER
+מרצ'נט E-PER
+, O
+ופותחה O
+לקהל O
+אמריקאי O
+על O
+ידי O
+גרג O
+דניאלס O
+. O
+
+בפורמט O
+מוקומנטרי O
+, O
+מוצגות O
+לנו O
+הדמויות O
+העיקריות O
+במשרד O
+. O
+
+מייקל B-PER
+סקוט E-PER
+( O
+סטיב B-PER
+קארל E-PER
+) O
+, O
+הבוס O
+הילדותי O
+שמנסה O
+להוכיח O
+לצוות O
+הדוקומנטרי O
+שהוא O
+מצליח O
+לנהל O
+בצורה O
+טובה O
+משרד B-ORG
+פרודוקטיבי E-ORG
+ושמח O
+. O
+
+עובד O
+המכירות O
+ג'ים O
+הלפרט S-PER
+( O
+ג'ון B-PER
+קרסינסקי E-PER
+) O
+שמרבה O
+להסיט O
+מבט O
+אל O
+המצלמה O
+ברגעים O
+מסוימים O
+, O
+וגם O
+להתמודד O
+עם O
+העובד O
+האקסצנטרי O
+שיושב O
+לידו O
+, O
+דווייט B-PER
+שרוט E-PER
+( O
+ריין S-PER
+וילסון S-PER
+) O
+. O
+
+מזכירה O
+פאם B-PER
+ביזלי E-PER
+( O
+ג'נה O
+פישר O
+) O
+שמנסה O
+להתמודד O
+עם O
+הדרישות O
+חסרות O
+הטאקט O
+של O
+מייקל S-PER
+וההתנהגויות O
+שלו O
+, O
+והעובד O
+הזמני O
+ריאן O
+( O
+בי O
+ג'יי O
+נובאק O
+) O
+, O
+המתנהג O
+בעיקר O
+כמתבונן O
+בטירוף O
+שמתרחש O
+סביבו O
+. O
+
+ג'ים O
+מאוהב O
+בפאם O
+, O
+איתה O
+הוא O
+מבלה O
+רמות O
+מזמנו O
+במשרד O
+- O
+אך O
+זו O
+מאורסת O
+לרוי S-PER
+, O
+עובד O
+במחסן O
+. O
+
+לקראת O
+סוף O
+העונה O
+הראשונה O
+ג'ים O
+מתחיל O
+לצאת O
+עם O
+קייטי S-PER
+( O
+איימי B-PER
+אדמס E-PER
+) O
+, O
+לקנאתה O
+של O
+פאם S-PER
+. O
+