Skip to content

Commit 313cb64

Browse files
committed
add nltk_data and upated Dockerfile
1 parent 020a219 commit 313cb64

Some content is hidden

Large Commits have some content hidden by default. Use the searchbox below for content that may be hidden.

50 files changed

+765330
-2
lines changed

.dockerignore

+1
Original file line numberDiff line numberDiff line change
@@ -8,3 +8,4 @@ LICENSE
88
__pycache__
99
.vscode
1010
Procfile
11+
*.joblib

.gitignore

+2-1
Original file line numberDiff line numberDiff line change
@@ -1,4 +1,5 @@
11
*.pyc
22
*.swp
33
.vscode
4-
__pycache__
4+
__pycache__
5+
*.joblib

Dockerfile

+1-1
Original file line numberDiff line numberDiff line change
@@ -25,11 +25,11 @@ EXPOSE 5000
2525

2626
COPY . /app
2727

28-
2928
RUN python3 -m nltk.downloader popular
3029

3130
# prepare classifier and vectorizer so webapp will start up faster
3231
RUN python3 ./detox_engine.py
32+
3333
ENTRYPOINT ["python3", "-u"]
3434
CMD ["/app/webapp.py"]
3535

Binary file not shown.
Binary file not shown.

nltk_data/corpora/stopwords/README

+32
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,32 @@
1+
Stopwords Corpus
2+
3+
This corpus contains lists of stop words for several languages. These
4+
are high-frequency grammatical words which are usually ignored in text
5+
retrieval applications.
6+
7+
They were obtained from:
8+
http://anoncvs.postgresql.org/cvsweb.cgi/pgsql/src/backend/snowball/stopwords/
9+
10+
The stop words for the Romanian language were obtained from:
11+
http://arlc.ro/resources/
12+
13+
The English list has been augmented
14+
https://github.com/nltk/nltk_data/issues/22
15+
16+
The German list has been corrected
17+
https://github.com/nltk/nltk_data/pull/49
18+
19+
A Kazakh list has been added
20+
https://github.com/nltk/nltk_data/pull/52
21+
22+
A Nepali list has been added
23+
https://github.com/nltk/nltk_data/pull/83
24+
25+
An Azerbaijani list has been added
26+
https://github.com/nltk/nltk_data/pull/100
27+
28+
A Greek list has been added
29+
https://github.com/nltk/nltk_data/pull/103
30+
31+
An Indonesian list has been added
32+
https://github.com/nltk/nltk_data/pull/112

nltk_data/corpora/stopwords/arabic

+248
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,248 @@
1+
إذ
2+
إذا
3+
إذما
4+
إذن
5+
أف
6+
أقل
7+
أكثر
8+
ألا
9+
إلا
10+
التي
11+
الذي
12+
الذين
13+
اللاتي
14+
اللائي
15+
اللتان
16+
اللتيا
17+
اللتين
18+
اللذان
19+
اللذين
20+
اللواتي
21+
إلى
22+
إليك
23+
إليكم
24+
إليكما
25+
إليكن
26+
أم
27+
أما
28+
أما
29+
إما
30+
أن
31+
إن
32+
إنا
33+
أنا
34+
أنت
35+
أنتم
36+
أنتما
37+
أنتن
38+
إنما
39+
إنه
40+
أنى
41+
أنى
42+
آه
43+
آها
44+
أو
45+
أولاء
46+
أولئك
47+
أوه
48+
آي
49+
أي
50+
أيها
51+
إي
52+
أين
53+
أين
54+
أينما
55+
إيه
56+
بخ
57+
بس
58+
بعد
59+
بعض
60+
بك
61+
بكم
62+
بكم
63+
بكما
64+
بكن
65+
بل
66+
بلى
67+
بما
68+
بماذا
69+
بمن
70+
بنا
71+
به
72+
بها
73+
بهم
74+
بهما
75+
بهن
76+
بي
77+
بين
78+
بيد
79+
تلك
80+
تلكم
81+
تلكما
82+
ته
83+
تي
84+
تين
85+
تينك
86+
ثم
87+
ثمة
88+
حاشا
89+
حبذا
90+
حتى
91+
حيث
92+
حيثما
93+
حين
94+
خلا
95+
دون
96+
ذا
97+
ذات
98+
ذاك
99+
ذان
100+
ذانك
101+
ذلك
102+
ذلكم
103+
ذلكما
104+
ذلكن
105+
ذه
106+
ذو
107+
ذوا
108+
ذواتا
109+
ذواتي
110+
ذي
111+
ذين
112+
ذينك
113+
ريث
114+
سوف
115+
سوى
116+
شتان
117+
عدا
118+
عسى
119+
عل
120+
على
121+
عليك
122+
عليه
123+
عما
124+
عن
125+
عند
126+
غير
127+
فإذا
128+
فإن
129+
فلا
130+
فمن
131+
في
132+
فيم
133+
فيما
134+
فيه
135+
فيها
136+
قد
137+
كأن
138+
كأنما
139+
كأي
140+
كأين
141+
كذا
142+
كذلك
143+
كل
144+
كلا
145+
كلاهما
146+
كلتا
147+
كلما
148+
كليكما
149+
كليهما
150+
كم
151+
كم
152+
كما
153+
كي
154+
كيت
155+
كيف
156+
كيفما
157+
لا
158+
لاسيما
159+
لدى
160+
لست
161+
لستم
162+
لستما
163+
لستن
164+
لسن
165+
لسنا
166+
لعل
167+
لك
168+
لكم
169+
لكما
170+
لكن
171+
لكنما
172+
لكي
173+
لكيلا
174+
لم
175+
لما
176+
لن
177+
لنا
178+
له
179+
لها
180+
لهم
181+
لهما
182+
لهن
183+
لو
184+
لولا
185+
لوما
186+
لي
187+
لئن
188+
ليت
189+
ليس
190+
ليسا
191+
ليست
192+
ليستا
193+
ليسوا
194+
ما
195+
ماذا
196+
متى
197+
مذ
198+
مع
199+
مما
200+
ممن
201+
من
202+
منه
203+
منها
204+
منذ
205+
مه
206+
مهما
207+
نحن
208+
نحو
209+
نعم
210+
ها
211+
هاتان
212+
هاته
213+
هاتي
214+
هاتين
215+
هاك
216+
هاهنا
217+
هذا
218+
هذان
219+
هذه
220+
هذي
221+
هذين
222+
هكذا
223+
هل
224+
هلا
225+
هم
226+
هما
227+
هن
228+
هنا
229+
هناك
230+
هنالك
231+
هو
232+
هؤلاء
233+
هي
234+
هيا
235+
هيت
236+
هيهات
237+
والذي
238+
والذين
239+
وإذ
240+
وإذا
241+
وإن
242+
ولا
243+
ولكن
244+
ولو
245+
وما
246+
ومن
247+
وهو
248+
يا

0 commit comments

Comments
 (0)