retrieval_based_qa.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": []
   },
   "source": [
    "# Libraries"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import nltk\n",
    "nltk.download ('punkt')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import numpy as np\n",
    "from scipy.spatial import distance\n",
    "\n",
    "from keras_preprocessing.text import Tokenizer\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.metrics import classification_report\n",
    "from sklearn.linear_model import LogisticRegression"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "rJ_bK7VunKnv"
   },
   "source": [
    "# Đọc dữ liệu hỏi đáp"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "id": "vBkI_KPORapH"
   },
   "outputs": [],
   "source": [
    "def split_data(sentences):\n",
    "    x = []\n",
    "    y = []\n",
    "    for sent in sentences:\n",
    "        question, answer = sent.split('__eou__')[:2]\n",
    "        x.append(nltk.word_tokenize(question))\n",
    "        y.append(nltk.word_tokenize(answer))\n",
    "    return x, y"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "jKjIp13cRc2I",
    "outputId": "b1db0d48-79c2-4859-d25b-fbda31e7df0a"
   },
   "outputs": [],
   "source": [
    "path = 'chatbot/'\n",
    "question_list = [] # câu hỏi theo từng chủ đề\n",
    "answer_list = [] # câu trả lời theo từng chủ đề, tương ứng với câu hỏi\n",
    "labels = [] # chủ đề của từng câu hỏi\n",
    "typeQA = [] # chủ đề tương ứng với câu hỏi và câu trả lời\n",
    "\n",
    "for file in os.listdir(path):\n",
    "    if file.endswith('.txt'): \n",
    "        label = file.split('.')[0]\n",
    "        f = open(path+file, 'r', encoding=\"utf8\")\n",
    "        sentences = f.readlines()\n",
    "        for i in sentences:\n",
    "            labels.append(label)\n",
    "        x,y= split_data(sentences)\n",
    "        question_list.append(x)\n",
    "        answer_list.append(y)\n",
    "        typeQA.append(label)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Số lượng chủ đề:  15\n",
      "Số lượng câu hỏi của từng chủ đề:\n",
      " [230, 425, 271, 263, 407, 181, 420, 170, 426, 245, 775, 238, 206, 201, 427]\n",
      "\n",
      "Ví dụ câu hỏi của 1 chủ đề 3: học tập\n",
      "- ['Bạn', 'học', 'trường', 'nào', '?'] => ['Tớ', 'học', 'đại', 'học', 'Tôn', 'Đức', 'Thắng']\n",
      "- ['Bạn', 'học', 'ngành', 'gì', '?'] => ['Tớ', 'học', 'ngành', 'Kỹ', 'thuật', 'phần', 'mềm']\n"
     ]
    }
   ],
   "source": [
    "print('Số lượng chủ đề: ', len(question_list))\n",
    "print('Số lượng câu hỏi của từng chủ đề:\\n', [len(ch) for ch in question_list])\n",
    "print('\\nVí dụ câu hỏi của 1 chủ đề 3:', typeQA[3])\n",
    "for i in range(2):\n",
    "    print('-', question_list[3][i], '=>', answer_list[3][i])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "TBjQdhClAMFq"
   },
   "source": [
    "# Huấn luyện dữ liệu để dự đoán chủ đề của câu hỏi nhập vào"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "dMf1xNYsRqZR",
    "outputId": "c4d58a24-1657-433a-9994-abac6fa6d2b6"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tổng số câu hỏi: 4885\n"
     ]
    }
   ],
   "source": [
    "# Làm phẳng dữ liệu câu hỏi thành list 1 chiều\n",
    "questions = []\n",
    "for topic in question_list:\n",
    "    for line in topic:\n",
    "        questions.append(line)\n",
    "print('Tổng số câu hỏi:', len(questions))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Shape of X: (4885, 1939)\n"
     ]
    }
   ],
   "source": [
    "# Trích xuất đặc trưng văn bản bằng TF-IDF\n",
    "tokenizer = Tokenizer()\n",
    "tokenizer.fit_on_texts(questions)\n",
    "X = tokenizer.texts_to_matrix(questions, mode='tfidf')\n",
    "print('Shape of X:', X.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {
    "id": "r2IOfID63MRT"
   },
   "outputs": [],
   "source": [
    "X_train, X_test, y_train, y_test = train_test_split (X, labels, test_size = 0.2, random_state = 42)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "lMKemOY93c1d",
    "outputId": "1a3999eb-8703-4719-96cb-270cf7d12bad"
   },
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\tatta\\AppData\\Roaming\\Python\\Python36\\site-packages\\sklearn\\linear_model\\sag.py:326: ConvergenceWarning: The max_iter was reached which means the coef_ did not converge\n",
      "  \"the coef_ did not converge\", ConvergenceWarning)\n"
     ]
    }
   ],
   "source": [
    "model_LG = LogisticRegression(solver = 'saga')\n",
    "model_LG = model_LG.fit(X_train, y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                     precision    recall  f1-score   support\n",
      "\n",
      "            du lịch       0.80      0.60      0.69        60\n",
      "           gia đình       0.70      0.70      0.70        88\n",
      "           giải trí       0.67      0.69      0.68        54\n",
      "            học tập       0.74      0.77      0.75        52\n",
      "        nghề nghiệp       0.83      0.79      0.81        89\n",
      "            nghỉ lễ       0.67      0.80      0.73        41\n",
      "          người yêu       0.84      0.75      0.79        77\n",
      "              robot       0.74      0.65      0.69        31\n",
      "            shoping       0.82      0.87      0.84        83\n",
      "           sở thích       0.62      0.59      0.60        41\n",
      "  thông tin cá nhân       0.65      0.69      0.67       140\n",
      "trò chuyện về đi ăn       0.68      0.78      0.73        41\n",
      "            tán gẫu       0.54      0.46      0.50        41\n",
      "           đất nước       0.43      0.41      0.42        39\n",
      "            địa chỉ       0.71      0.79      0.75       100\n",
      "\n",
      "        avg / total       0.71      0.71      0.71       977\n",
      "\n"
     ]
    }
   ],
   "source": [
    "y_pred = model_LG.predict(X_test)\n",
    "print(classification_report(y_test, y_pred))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "BO0Y4iPs3epS",
    "outputId": "23f94d7b-09c3-45f9-ba15-1bf4d0dda899"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['trò chuyện về đi ăn']\n"
     ]
    }
   ],
   "source": [
    "# Ví dụ\n",
    "input_sent = 'bạn muốn ăn gì hôm nay?'\n",
    "tokens = nltk.word_tokenize(input_sent)\n",
    "\n",
    "x_input = tokenizer.texts_to_matrix([tokens],mode='tfidf')\n",
    "y_pred = model_LG.predict(x_input)\n",
    "print(y_pred)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Tìm câu trả lời dựa trên độ tương đồng của câu hỏi"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {
    "id": "fR1bm9Ez_QHr"
   },
   "outputs": [],
   "source": [
    "# Tính toán độ tương đồng của 2 vector câu hỏi\n",
    "def calSimilar(vec1, vec2):\n",
    "    return 1 - distance.cosine(vec1, vec2)\n",
    "\n",
    "# Tìm câu trả lời có sẵn từ câu hỏi nhập vào\n",
    "def find_answer(input_question):\n",
    "    tokens = nltk.word_tokenize(input_question)\n",
    "    x_input = tokenizer.texts_to_matrix([tokens],mode='tfidf')\n",
    "    tag = model_LG.predict(x_input)\n",
    "\n",
    "    index_chude = -1\n",
    "    for i in range(len(typeQA)):\n",
    "        if typeQA[i] == tag:\n",
    "            index_chude = i\n",
    "    if index_chude == -1:\n",
    "        return '', []\n",
    "    \n",
    "    questions = question_list[index_chude]\n",
    "    input_q_vector = tokenizer.texts_to_matrix([tokens], mode='tfidf')[0]\n",
    "    max_similar = 0\n",
    "    index_answer = 0\n",
    "    for i in range(len(questions)):\n",
    "        q = questions[i]\n",
    "        q_vector = tokenizer.texts_to_matrix([q], mode='tfidf')[0]\n",
    "        if len(q)==0:\n",
    "            continue\n",
    "        similar = calSimilar(q_vector, input_q_vector)\n",
    "        if similar > max_similar:\n",
    "            max_similar = similar\n",
    "            index_answer = i\n",
    "    \n",
    "    return typeQA[index_chude], answer_list[index_chude][index_answer]\n",
    "\n",
    "# Trả lời câu hỏi từ câu hỏi nhập vào\n",
    "def question_answering(input_sent):\n",
    "    questionType, answer = find_answer(input_sent)\n",
    "\n",
    "    if answer == []:\n",
    "        return 'Không hiểu câu hỏi'\n",
    "    \n",
    "    return ' '.join(answer)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "oB_zpm8KecIk",
    "outputId": "6f3a549d-288e-40bc-bffc-2ab8383848a3"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "('trò chuyện về đi ăn', ['tất', 'nhiên', 'rồi', ',', 'nhưng', 'mình', 'sẽ', 'ăn', 'gì', '?'])\n"
     ]
    }
   ],
   "source": [
    "# Tìm kết quả của câu hỏi\n",
    "print(find_answer('trưa nay đi ăn không?'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "O5uV-V00WBIq",
    "outputId": "e9737deb-59b7-4c60-d945-2f3d1be04485"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Câu hỏi: bạn mấy tuổi rồi?\n",
      "Trả lời:  mình năm nay 22 tuổi \n",
      "\n",
      "Câu hỏi: trưa nay đi ăn không?\n",
      "Trả lời:  tất nhiên rồi , nhưng mình sẽ ăn gì ? \n",
      "\n",
      "Câu hỏi: cậu đang ở đâu?\n",
      "Trả lời:  mình đang sinh sống tại thành phố Hồ Chí Minh . \n",
      "\n",
      "Câu hỏi: bạn hay đi chơi với ai?\n",
      "Trả lời:  Mình đi cùng các bạn trên đại học . \n",
      "\n"
     ]
    }
   ],
   "source": [
    "# Ví dụ hỏi đáp\n",
    "input_questions = [\n",
    "    'bạn mấy tuổi rồi?',\n",
    "    'trưa nay đi ăn không?',\n",
    "    'cậu đang ở đâu?',\n",
    "    'bạn hay đi chơi với ai?'\n",
    "]\n",
    "for q in input_questions:\n",
    "    print('Câu hỏi:', q)\n",
    "    print('Trả lời: ', question_answering(q), '\\n')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "name": "stdin",
     "output_type": "stream",
     "text": [
      "Nhập câu hỏi (Nhập 0 nếu muốn dừng chương trình hỏi đáp):\n",
      " nhà bạn ở đâu thế?\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Trả lời: nhà mình ở quận 8 \n",
      "\n"
     ]
    },
    {
     "name": "stdin",
     "output_type": "stream",
     "text": [
      "Nhập câu hỏi (Nhập 0 nếu muốn dừng chương trình hỏi đáp):\n",
      " cuối tuần đi chơi không?\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Trả lời: Được chứ mình đi \n",
      "\n"
     ]
    },
    {
     "name": "stdin",
     "output_type": "stream",
     "text": [
      "Nhập câu hỏi (Nhập 0 nếu muốn dừng chương trình hỏi đáp):\n",
      " 0\n"
     ]
    }
   ],
   "source": [
    "# Nhập câu hỏi để nhận câu trả lời\n",
    "stopAsking = False\n",
    "while (not stopAsking):\n",
    "    input_question = input(\"Nhập câu hỏi (Nhập 0 nếu muốn dừng chương trình hỏi đáp):\\n\")\n",
    "    if (input_question=='0'):\n",
    "        break\n",
    "    print('Trả lời:', question_answering(input_question), '\\n')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Đánh giá trên tập dữ liệu thử nghiệm"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_pred = [] # Các câu hỏi dự đoán được\n",
    "y_true = [] # Các câu hỏi đúng\n",
    "\n",
    "for i in range(len(question_list)):\n",
    "    question_by_topic = question_list[i]\n",
    "    pred_sents = [question_answering(' '.join(sent)) for sent in question_by_topic]\n",
    "    y_pred.extend(pred_sents)\n",
    "    \n",
    "    answer_by_topic = answer_list[i]\n",
    "    true_sents = [' '.join(sent) for sent in answer_by_topic]\n",
    "    y_true.extend(true_sents)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Số câu dự đoán và số câu đúng: 4885 - 4885\n",
      "3 câu dự đoán được: ['chắc rồi , nhưng ta sẽ đi đâu ?', 'tuyệt vời , mình cũng muốn đi Đà Nẵng', 'chúng ta sẽ đi khi hè đến']\n",
      "3 câu trả lời đúng: ['chắc rồi , nhưng ta sẽ đi đâu ?', 'tuyệt vời , mình cũng muốn đi Đà Nẵng', 'chúng ta sẽ đi khi hè đến']\n"
     ]
    }
   ],
   "source": [
    "print('Số câu dự đoán và số câu đúng:', len(y_true), '-', len(y_pred))\n",
    "print('3 câu dự đoán được:', y_pred[:3])\n",
    "print('3 câu trả lời đúng:', y_true[:3])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tỷ lệ trả lời đúng: 3634/4885 = 0.74\n"
     ]
    }
   ],
   "source": [
    "# Số câu trả lời đúng và tỷ lệ trả lời đúng\n",
    "socaudung = [a==b for a,b in zip(y_pred, y_true)].count(True)\n",
    "print('Tỷ lệ trả lời đúng: %d/%d = %.2f' %(socaudung, len(y_true), socaudung/len(y_true))) "
   ]
  }
 ],
 "metadata": {
  "colab": {
   "collapsed_sections": [],
   "name": "NLP_CuoiKy_Final.ipynb",
   "provenance": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}