research/240716_check_bookinfo.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 요약\n",
    "\n",
    "- 도서명 전처리 다시 해야 함\n",
    "    - 한자어 정리\n",
    "        - 독음이 병기 된 경우까지 포함하여 해결 완료\n",
    "        - hanja에 포함되지 않은 한자 해결 필요\n",
    "    - 숫자 사이 , 정리 : e.g. 1,000 -> 1000\n",
    "    - 기타 전처리\n",
    "        - 로마 숫자를 아랍 숫자로 변환\n",
    "        - 특수문자 detect 및 가까운 특수 문자로 변환\n",
    "            - '&#'\n",
    "        - 토큰 사전에 추가 필요 : 'C++', 'ㆍ'\n",
    "    - 괄호 정리 코드 오류 수정"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as np\n",
    "import pandas as pd\n",
    "import seaborn as sns\n",
    "import matplotlib as mpl\n",
    "import matplotlib.pyplot as plt\n",
    "import matplotlib_inline.backend_inline\n",
    "\n",
    "# 그래프의 폰트 출력을 선명하게 (svg, retina 등이 있음)\n",
    "matplotlib_inline.backend_inline.set_matplotlib_formats(\"png2x\")\n",
    "# 테마 설정: \"default\", \"classic\", \"dark_background\", \"fivethirtyeight\", \"seaborn\"\n",
    "mpl.style.use(\"default\")\n",
    "# 이미지가 레이아웃 안으로 들어오도록 함\n",
    "# https://matplotlib.org/stable/users/explain/axes/constrainedlayout_guide.html\n",
    "mpl.rcParams.update({\"figure.constrained_layout.use\": True})\n",
    "\n",
    "#font, line, marker 등의 배율 설정: paper, notebook, talk, poster\n",
    "sns.set_context(\"paper\") \n",
    "#배색 설정: tab10, Set2, Accent, husl\n",
    "sns.set_palette(\"Set2\") \n",
    "#눈금, 배경, 격자 설정: ticks, white, whitegrid, dark, darkgrid\n",
    "# withegrid: 눈금을 그리고, 각 축의 눈금을 제거\n",
    "sns.set_style(\"whitegrid\") "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 로컬에서 \n",
    "\n",
    "plt.rc(\"font\", family = \"D2Coding\")\n",
    "plt.rcParams[\"axes.unicode_minus\"] = False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os, natsort, re\n",
    "from tqdm import tqdm\n",
    "import time, random"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "PRJCT_PATH = '/home/doeun/code/AI/ESTSOFT2024/workspace/2.project_text/aladin_usedbook/'\n",
    "save_dir = 'processed/'\n",
    "file_name = f'bookinfo_ver0.csv'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Rank</th>\n",
       "      <th>BName</th>\n",
       "      <th>BName_sub</th>\n",
       "      <th>ItemId</th>\n",
       "      <th>Author</th>\n",
       "      <th>Author_mul</th>\n",
       "      <th>Publshr</th>\n",
       "      <th>Pdate</th>\n",
       "      <th>RglPrice</th>\n",
       "      <th>SlsPrice</th>\n",
       "      <th>SalesPoint</th>\n",
       "      <th>Category</th>\n",
       "      <th>Sorce</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>322.0</td>\n",
       "      <td>민병철 생활영어 1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>54947</td>\n",
       "      <td>민병철</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>1979-10-01</td>\n",
       "      <td>5500</td>\n",
       "      <td>4950</td>\n",
       "      <td>177.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>767.0</td>\n",
       "      <td>행복에의 초대</td>\n",
       "      <td>NaN</td>\n",
       "      <td>168173</td>\n",
       "      <td>IVP(한국기독학생회출판부) 편집부</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>1979-12-01</td>\n",
       "      <td>2800</td>\n",
       "      <td>2660</td>\n",
       "      <td>1960.0</td>\n",
       "      <td>종교/역학</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>449.0</td>\n",
       "      <td>훈련으로 되는 제자</td>\n",
       "      <td>NaN</td>\n",
       "      <td>458277</td>\n",
       "      <td>월터 A. 헨릭슨</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>1980-12-01</td>\n",
       "      <td>4500</td>\n",
       "      <td>4050</td>\n",
       "      <td>552.0</td>\n",
       "      <td>종교/역학</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>490.0</td>\n",
       "      <td>전태일 평전</td>\n",
       "      <td>NaN</td>\n",
       "      <td>128759</td>\n",
       "      <td>조영래</td>\n",
       "      <td>False</td>\n",
       "      <td>돌베개</td>\n",
       "      <td>1983-06-01</td>\n",
       "      <td>6000</td>\n",
       "      <td>6000</td>\n",
       "      <td>409.0</td>\n",
       "      <td>사회과학</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>300.0</td>\n",
       "      <td>제자의 삶</td>\n",
       "      <td>NaN</td>\n",
       "      <td>131488</td>\n",
       "      <td>프랜시스 M.코스그로브</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>1984-07-01</td>\n",
       "      <td>12000</td>\n",
       "      <td>12000</td>\n",
       "      <td>1110.0</td>\n",
       "      <td>종교/역학</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9323</th>\n",
       "      <td>68.0</td>\n",
       "      <td>장송의 프리렌 12</td>\n",
       "      <td>NaN</td>\n",
       "      <td>342597187</td>\n",
       "      <td>야마다 카네히토</td>\n",
       "      <td>True</td>\n",
       "      <td>학산문화사(만화)</td>\n",
       "      <td>2024-07-25</td>\n",
       "      <td>6000</td>\n",
       "      <td>5400</td>\n",
       "      <td>10530.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9324</th>\n",
       "      <td>138.0</td>\n",
       "      <td>약사의 혼잣말 13</td>\n",
       "      <td>NaN</td>\n",
       "      <td>342597589</td>\n",
       "      <td>네코쿠라게</td>\n",
       "      <td>True</td>\n",
       "      <td>학산문화사(만화)</td>\n",
       "      <td>2024-07-25</td>\n",
       "      <td>6000</td>\n",
       "      <td>5400</td>\n",
       "      <td>5870.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9325</th>\n",
       "      <td>129.0</td>\n",
       "      <td>타몬 군 지금 어느 쪽?! 7</td>\n",
       "      <td>NaN</td>\n",
       "      <td>342597714</td>\n",
       "      <td>시와스 유키</td>\n",
       "      <td>True</td>\n",
       "      <td>학산문화사(만화)</td>\n",
       "      <td>2024-07-25</td>\n",
       "      <td>6000</td>\n",
       "      <td>5400</td>\n",
       "      <td>6370.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9326</th>\n",
       "      <td>209.0</td>\n",
       "      <td>천재 의사 시건방 1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>342388828</td>\n",
       "      <td>강효미</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2024-07-31</td>\n",
       "      <td>13000</td>\n",
       "      <td>11700</td>\n",
       "      <td>8190.0</td>\n",
       "      <td>어린이</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9327</th>\n",
       "      <td>1.0</td>\n",
       "      <td>전지적 루이&amp;후이 시점</td>\n",
       "      <td>(양장본)</td>\n",
       "      <td>342594262</td>\n",
       "      <td>송영관</td>\n",
       "      <td>True</td>\n",
       "      <td>위즈덤하우스</td>\n",
       "      <td>2024-07-31</td>\n",
       "      <td>25000</td>\n",
       "      <td>22500</td>\n",
       "      <td>89930.0</td>\n",
       "      <td>에세이</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>9328 rows × 13 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "       Rank             BName BName_sub     ItemId               Author  \\\n",
       "0     322.0        민병철 생활영어 1       NaN      54947                  민병철   \n",
       "1     767.0           행복에의 초대       NaN     168173  IVP(한국기독학생회출판부) 편집부   \n",
       "2     449.0        훈련으로 되는 제자       NaN     458277            월터 A. 헨릭슨   \n",
       "3     490.0            전태일 평전       NaN     128759                  조영래   \n",
       "4     300.0             제자의 삶       NaN     131488         프랜시스 M.코스그로브   \n",
       "...     ...               ...       ...        ...                  ...   \n",
       "9323   68.0        장송의 프리렌 12       NaN  342597187             야마다 카네히토   \n",
       "9324  138.0        약사의 혼잣말 13       NaN  342597589                네코쿠라게   \n",
       "9325  129.0  타몬 군 지금 어느 쪽?! 7       NaN  342597714               시와스 유키   \n",
       "9326  209.0       천재 의사 시건방 1       NaN  342388828                  강효미   \n",
       "9327    1.0      전지적 루이&후이 시점     (양장본)  342594262                  송영관   \n",
       "\n",
       "      Author_mul    Publshr       Pdate  RglPrice  SlsPrice  SalesPoint  \\\n",
       "0          False     기타 출판사  1979-10-01      5500      4950       177.0   \n",
       "1          False     기타 출판사  1979-12-01      2800      2660      1960.0   \n",
       "2          False     기타 출판사  1980-12-01      4500      4050       552.0   \n",
       "3          False        돌베개  1983-06-01      6000      6000       409.0   \n",
       "4          False     기타 출판사  1984-07-01     12000     12000      1110.0   \n",
       "...          ...        ...         ...       ...       ...         ...   \n",
       "9323        True  학산문화사(만화)  2024-07-25      6000      5400     10530.0   \n",
       "9324        True  학산문화사(만화)  2024-07-25      6000      5400      5870.0   \n",
       "9325        True  학산문화사(만화)  2024-07-25      6000      5400      6370.0   \n",
       "9326        True     기타 출판사  2024-07-31     13000     11700      8190.0   \n",
       "9327        True     위즈덤하우스  2024-07-31     25000     22500     89930.0   \n",
       "\n",
       "     Category      Sorce  \n",
       "0         외국어  2001년1월3주  \n",
       "1       종교/역학  2005년2월1주  \n",
       "2       종교/역학  2005년2월1주  \n",
       "3        사회과학  2001년1월3주  \n",
       "4       종교/역학  2005년2월1주  \n",
       "...       ...        ...  \n",
       "9323       만화  2024년7월2주  \n",
       "9324       만화  2024년7월2주  \n",
       "9325       만화  2024년7월2주  \n",
       "9326      어린이  2024년7월2주  \n",
       "9327      에세이  2024년7월2주  \n",
       "\n",
       "[9328 rows x 13 columns]"
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "file_path = os.path.join(PRJCT_PATH,save_dir,file_name)\n",
    "bookinfo = pd.read_csv(file_path)\n",
    "bookinfo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 책제목, 장르에 들어있는 token들 파악"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from konlpy.tag import Mecab\n",
    "mecab = Mecab()\n",
    "tokenizer_basic = lambda x : mecab.morphs(x)\n",
    "\n",
    "# 출처: https://sikaleo.tistory.com/62 [SIKALEO:티스토리]\n",
    "def tokenizer_kor(raw, pos=[\"NNG\",\"NNP\",\"VV\",\"VA\"]):\n",
    "    from konlpy.tag import Mecab\n",
    "    m = Mecab()\n",
    "    # 길이가 1 이하인 토근은 제외, 위에서 지정한 (mecab 사전에 따른) 토큰들만 특징으로 삼기, 불용어 100개 제외  \n",
    "    return [word for word, tag in m.pos(raw) if tag in pos]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0                    [민병철, 생활, 영어, 1]\n",
       "1                      [행복, 에, 의, 초대]\n",
       "2                  [훈련, 으로, 되, 는, 제자]\n",
       "3                           [전태일, 평전]\n",
       "4                          [제자, 의, 삶]\n",
       "                    ...              \n",
       "9323               [장송, 의, 프리, 렌, 12]\n",
       "9324                 [약사, 의, 혼잣말, 13]\n",
       "9325    [타, 몬, 군, 지금, 어느, 쪽, ?, !, 7]\n",
       "9326             [천재, 의, 사, 시, 건방, 1]\n",
       "9327         [전지, 적, 루이, &, 후, 이, 시점]\n",
       "Name: BName, Length: 9328, dtype: object"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "0             [외국어]\n",
       "1       [종교, /, 역학]\n",
       "2       [종교, /, 역학]\n",
       "3          [사회, 과학]\n",
       "4       [종교, /, 역학]\n",
       "           ...     \n",
       "9323           [만화]\n",
       "9324           [만화]\n",
       "9325           [만화]\n",
       "9326          [어린이]\n",
       "9327          [에세이]\n",
       "Name: Category, Length: 9328, dtype: object"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "book_name, category = bookinfo.BName, bookinfo.Category\n",
    "book_name = book_name.apply(tokenizer_basic)\n",
    "category = category.apply(tokenizer_basic)\n",
    "\n",
    "display(book_name)\n",
    "display(category)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "78746"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import itertools\n",
    "tokens = np.array(list(itertools.chain(*book_name.values,*category.values)))\n",
    "len(tokens)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(array(['!', '$', '%', ..., '老子', '漏泄', '／'], dtype='<U14'),\n",
       " array([190,   1,  14, ...,   1,   1,   2]))"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "8384"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "corpus = np.unique(tokens,return_counts=True)\n",
    "display(corpus)\n",
    "display(len(corpus[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>!</td>\n",
       "      <td>190</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>$</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>%</td>\n",
       "      <td>14</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>&amp;</td>\n",
       "      <td>44</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>&amp;#</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8379</th>\n",
       "      <td>힙합</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8380</th>\n",
       "      <td>洛陽</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8381</th>\n",
       "      <td>老子</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8382</th>\n",
       "      <td>漏泄</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8383</th>\n",
       "      <td>／</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>8384 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     token counts\n",
       "0        !    190\n",
       "1        $      1\n",
       "2        %     14\n",
       "3        &     44\n",
       "4       &#      1\n",
       "...    ...    ...\n",
       "8379    힙합      2\n",
       "8380    洛陽      1\n",
       "8381    老子      1\n",
       "8382    漏泄      1\n",
       "8383     ／      2\n",
       "\n",
       "[8384 rows x 2 columns]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus = pd.DataFrame(corpus).T\n",
    "df_corpus = df_corpus.rename(columns={0:'token',1:'counts'})\n",
    "df_corpus"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 특수문자, 숫자, 한자 분리 - 이진탐색을 수동으로 진행함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>!</td>\n",
       "      <td>190</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>$</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>%</td>\n",
       "      <td>14</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>&amp;</td>\n",
       "      <td>44</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>&amp;#</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>'</td>\n",
       "      <td>22</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>(</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>)</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>*</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>+</td>\n",
       "      <td>179</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>10</th>\n",
       "      <td>++</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>11</th>\n",
       "      <td>,</td>\n",
       "      <td>381</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>12</th>\n",
       "      <td>-</td>\n",
       "      <td>441</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>13</th>\n",
       "      <td>.</td>\n",
       "      <td>230</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>14</th>\n",
       "      <td>..</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>15</th>\n",
       "      <td>/</td>\n",
       "      <td>5597</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>16</th>\n",
       "      <td>0</td>\n",
       "      <td>42</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>17</th>\n",
       "      <td>000</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>18</th>\n",
       "      <td>01</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>19</th>\n",
       "      <td>02</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   token counts\n",
       "0      !    190\n",
       "1      $      1\n",
       "2      %     14\n",
       "3      &     44\n",
       "4     &#      1\n",
       "5      '     22\n",
       "6      (      6\n",
       "7      )      5\n",
       "8      *      2\n",
       "9      +    179\n",
       "10    ++      4\n",
       "11     ,    381\n",
       "12     -    441\n",
       "13     .    230\n",
       "14    ..      5\n",
       "15     /   5597\n",
       "16     0     42\n",
       "17   000      6\n",
       "18    01      2\n",
       "19    02      2"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[:20]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>20</th>\n",
       "      <td>07</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>21</th>\n",
       "      <td>08</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>22</th>\n",
       "      <td>1</td>\n",
       "      <td>757</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>23</th>\n",
       "      <td>10</td>\n",
       "      <td>117</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>100</td>\n",
       "      <td>69</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>25</th>\n",
       "      <td>1000</td>\n",
       "      <td>64</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>26</th>\n",
       "      <td>1001</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>27</th>\n",
       "      <td>1004</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>28</th>\n",
       "      <td>1006</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>101</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>30</th>\n",
       "      <td>1010</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>1026</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>32</th>\n",
       "      <td>104</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>33</th>\n",
       "      <td>107</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>34</th>\n",
       "      <td>108</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>35</th>\n",
       "      <td>11</td>\n",
       "      <td>38</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>36</th>\n",
       "      <td>110</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>37</th>\n",
       "      <td>1100</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>38</th>\n",
       "      <td>111</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>39</th>\n",
       "      <td>115</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   token counts\n",
       "20    07      1\n",
       "21    08      1\n",
       "22     1    757\n",
       "23    10    117\n",
       "24   100     69\n",
       "25  1000     64\n",
       "26  1001      1\n",
       "27  1004      1\n",
       "28  1006      1\n",
       "29   101      8\n",
       "30  1010      1\n",
       "31  1026      1\n",
       "32   104      2\n",
       "33   107      1\n",
       "34   108      1\n",
       "35    11     38\n",
       "36   110      2\n",
       "37  1100      1\n",
       "38   111      2\n",
       "39   115      1"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[20:40]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>40</th>\n",
       "      <td>118</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>41</th>\n",
       "      <td>119</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>42</th>\n",
       "      <td>12</td>\n",
       "      <td>47</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43</th>\n",
       "      <td>120</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>44</th>\n",
       "      <td>1200</td>\n",
       "      <td>11</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>230</th>\n",
       "      <td>97</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>231</th>\n",
       "      <td>98</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>232</th>\n",
       "      <td>99</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>233</th>\n",
       "      <td>999</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>234</th>\n",
       "      <td>:</td>\n",
       "      <td>287</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>195 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "    token counts\n",
       "40    118      2\n",
       "41    119      4\n",
       "42     12     47\n",
       "43    120      4\n",
       "44   1200     11\n",
       "..    ...    ...\n",
       "230    97      2\n",
       "231    98      1\n",
       "232    99      6\n",
       "233   999      2\n",
       "234     :    287\n",
       "\n",
       "[195 rows x 2 columns]"
      ]
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[40:235]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>234</th>\n",
       "      <td>:</td>\n",
       "      <td>287</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>235</th>\n",
       "      <td>;</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>236</th>\n",
       "      <td>&lt;</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>237</th>\n",
       "      <td>=</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>238</th>\n",
       "      <td>&gt;</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>239</th>\n",
       "      <td>?</td>\n",
       "      <td>110</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>240</th>\n",
       "      <td>@</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    token counts\n",
       "234     :    287\n",
       "235     ;      2\n",
       "236     <      1\n",
       "237     =      1\n",
       "238     >      1\n",
       "239     ?    110\n",
       "240     @      4"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[234:241]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>241</th>\n",
       "      <td>A</td>\n",
       "      <td>7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>242</th>\n",
       "      <td>AA</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>243</th>\n",
       "      <td>ABCD</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>244</th>\n",
       "      <td>ACL</td>\n",
       "      <td>27</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>245</th>\n",
       "      <td>ADHD</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>879</th>\n",
       "      <td>workbook</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>880</th>\n",
       "      <td>x</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>881</th>\n",
       "      <td>xFF</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>882</th>\n",
       "      <td>you</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>883</th>\n",
       "      <td>|</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>643 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "        token counts\n",
       "241         A      7\n",
       "242        AA      1\n",
       "243      ABCD      1\n",
       "244       ACL     27\n",
       "245      ADHD      2\n",
       "..        ...    ...\n",
       "879  workbook      1\n",
       "880         x      3\n",
       "881       xFF      1\n",
       "882       you      1\n",
       "883         |      1\n",
       "\n",
       "[643 rows x 2 columns]"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[241:884]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>883</th>\n",
       "      <td>|</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>884</th>\n",
       "      <td>~</td>\n",
       "      <td>49</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>885</th>\n",
       "      <td>~!</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>886</th>\n",
       "      <td>·</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>887</th>\n",
       "      <td>×</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>888</th>\n",
       "      <td>…</td>\n",
       "      <td>4</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>889</th>\n",
       "      <td>Ⅱ</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>890</th>\n",
       "      <td>Ⅲ</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>891</th>\n",
       "      <td>Ⅴ</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>892</th>\n",
       "      <td>Ⅵ</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>893</th>\n",
       "      <td>ⓔ</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>894</th>\n",
       "      <td>★</td>\n",
       "      <td>15</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>895</th>\n",
       "      <td>☆</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>896</th>\n",
       "      <td>「</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>897</th>\n",
       "      <td>」</td>\n",
       "      <td>3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>898</th>\n",
       "      <td>ㆍ동형</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>899</th>\n",
       "      <td>上</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    token counts\n",
       "883     |      1\n",
       "884     ~     49\n",
       "885    ~!      1\n",
       "886     ·      6\n",
       "887     ×      1\n",
       "888     …      4\n",
       "889     Ⅱ      1\n",
       "890     Ⅲ      1\n",
       "891     Ⅴ      1\n",
       "892     Ⅵ      1\n",
       "893     ⓔ      1\n",
       "894     ★     15\n",
       "895     ☆      6\n",
       "896     「      3\n",
       "897     」      3\n",
       "898   ㆍ동형      1\n",
       "899     上      2"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[883:900]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>899</th>\n",
       "      <td>上</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>900</th>\n",
       "      <td>代</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>901</th>\n",
       "      <td>伽藍</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>902</th>\n",
       "      <td>傳</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>903</th>\n",
       "      <td>分</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>904</th>\n",
       "      <td>反</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>905</th>\n",
       "      <td>商道</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>906</th>\n",
       "      <td>國王</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>907</th>\n",
       "      <td>大</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>908</th>\n",
       "      <td>天氣</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>909</th>\n",
       "      <td>宮</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>910</th>\n",
       "      <td>小說</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>911</th>\n",
       "      <td>愛</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>912</th>\n",
       "      <td>新</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>913</th>\n",
       "      <td>新月</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>914</th>\n",
       "      <td>日</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>915</th>\n",
       "      <td>漢字</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>916</th>\n",
       "      <td>生</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>917</th>\n",
       "      <td>知</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>918</th>\n",
       "      <td>神</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>919</th>\n",
       "      <td>神話</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>920</th>\n",
       "      <td>美</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>921</th>\n",
       "      <td>翼</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>922</th>\n",
       "      <td>記</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>923</th>\n",
       "      <td>詩</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>924</th>\n",
       "      <td>辛</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>925</th>\n",
       "      <td>農</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>926</th>\n",
       "      <td>通</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>927</th>\n",
       "      <td>集</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>928</th>\n",
       "      <td>音樂</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>929</th>\n",
       "      <td>食</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>930</th>\n",
       "      <td>가</td>\n",
       "      <td>354</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    token counts\n",
       "899     上      2\n",
       "900     代      1\n",
       "901    伽藍      1\n",
       "902     傳      1\n",
       "903     分      1\n",
       "904     反      1\n",
       "905    商道      6\n",
       "906    國王      2\n",
       "907     大      1\n",
       "908    天氣      1\n",
       "909     宮      2\n",
       "910    小說      1\n",
       "911     愛      1\n",
       "912     新      8\n",
       "913    新月      1\n",
       "914     日      2\n",
       "915    漢字      1\n",
       "916     生      2\n",
       "917     知      1\n",
       "918     神      1\n",
       "919    神話      1\n",
       "920     美      2\n",
       "921     翼      1\n",
       "922     記      1\n",
       "923     詩      2\n",
       "924     辛      2\n",
       "925     農      1\n",
       "926     通      2\n",
       "927     集      1\n",
       "928    音樂      1\n",
       "929     食      1\n",
       "930     가    354"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[899:931]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>931</th>\n",
       "      <td>가가</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>932</th>\n",
       "      <td>가가미</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>933</th>\n",
       "      <td>가게</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>934</th>\n",
       "      <td>가격</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>935</th>\n",
       "      <td>가계</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>...</th>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8376</th>\n",
       "      <td>힘든</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8377</th>\n",
       "      <td>힘들</td>\n",
       "      <td>5</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8378</th>\n",
       "      <td>힙</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8379</th>\n",
       "      <td>힙합</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8380</th>\n",
       "      <td>洛陽</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>7450 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "     token counts\n",
       "931     가가      1\n",
       "932    가가미      1\n",
       "933     가게      1\n",
       "934     가격      2\n",
       "935     가계      1\n",
       "...    ...    ...\n",
       "8376    힘든      1\n",
       "8377    힘들      5\n",
       "8378     힙      1\n",
       "8379    힙합      2\n",
       "8380    洛陽      1\n",
       "\n",
       "[7450 rows x 2 columns]"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[931:8381]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>8380</th>\n",
       "      <td>洛陽</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8381</th>\n",
       "      <td>老子</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8382</th>\n",
       "      <td>漏泄</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8383</th>\n",
       "      <td>／</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     token counts\n",
       "8380    洛陽      1\n",
       "8381    老子      1\n",
       "8382    漏泄      1\n",
       "8383     ／      2"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_corpus.iloc[8380:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 특이 케이스 확인"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "667                           [Tangerine, TOEIC, Part, Ⅴ]\n",
       "724                           [tangerine, TOEIC, Part, Ⅵ]\n",
       "1547                          [tangerine, TOEIC, Part, Ⅱ]\n",
       "1548                          [tangerine, TOEIC, Part, Ⅲ]\n",
       "3609                             [운수, 좋, 은, 날, 「, 현진건, 」]\n",
       "3882                                              [역사, ⓔ]\n",
       "5707                                   [몬스, ☆, 패닉, NG, 2]\n",
       "5809                                   [플레잉, ☆, 보이, 부, 1]\n",
       "5811                                        [스타, ☆, 플라이트]\n",
       "5939    [큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능력, 검정,...\n",
       "5947    [큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능력, 검정,...\n",
       "5960    [큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능력, 검정,...\n",
       "5998                                   [플레잉, ☆, 보이, 부, 2]\n",
       "6816                                   [플레잉, ☆, 보이, 부, 3]\n",
       "7149    [2021, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 기출, 500,...\n",
       "7207    [2021, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능...\n",
       "7208    [2021, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능...\n",
       "7277    [2021, ., 2022, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사,...\n",
       "7577                                   [플레잉, ☆, 보이, 부, 4]\n",
       "7750                     [나, 의, 「, 소세키, 」, 와, 「, 류노스케, 」]\n",
       "7896    [2022, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능...\n",
       "7897    [2022, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능...\n",
       "7922    [2022, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 기출, 500,...\n",
       "8008               [2022, 민준호, 독학, 행정법, 진도, 별, ㆍ동형, 모의고사]\n",
       "8015    [큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 시대, 별, 기출, 문제집...\n",
       "8207    [2022, ., 2023, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사,...\n",
       "8676    [2024, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능...\n",
       "8677    [2024, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 한, 국사, 능...\n",
       "8716    [2024, 큰, 별, 쌤, 최태성, 의, 별, ★, 별한, 국사, 기출, 500,...\n",
       "Name: BName, dtype: object"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "targets = [\n",
    "'Ⅱ',\n",
    "'Ⅲ',\n",
    "'Ⅴ',\n",
    "'Ⅵ',\n",
    "'ⓔ',\n",
    "'★',\n",
    "'☆',\n",
    "'「',\n",
    "'」',\n",
    "'ㆍ동형']\n",
    "detect_target = lambda x : len(set(x).intersection(set(targets))) > 0\n",
    "cond = book_name.apply(detect_target)\n",
    "book_name[cond]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Rank</th>\n",
       "      <th>BName</th>\n",
       "      <th>BName_sub</th>\n",
       "      <th>ItemId</th>\n",
       "      <th>Author</th>\n",
       "      <th>Author_mul</th>\n",
       "      <th>Publshr</th>\n",
       "      <th>Pdate</th>\n",
       "      <th>RglPrice</th>\n",
       "      <th>SlsPrice</th>\n",
       "      <th>SalesPoint</th>\n",
       "      <th>Category</th>\n",
       "      <th>Sorce</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3609</th>\n",
       "      <td>685.0</td>\n",
       "      <td>운수 좋은 날 「현진건」</td>\n",
       "      <td>NaN</td>\n",
       "      <td>15225976</td>\n",
       "      <td>현진건</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2012-02-13</td>\n",
       "      <td>7000</td>\n",
       "      <td>6300</td>\n",
       "      <td>6742.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7750</th>\n",
       "      <td>825.0</td>\n",
       "      <td>나의 「소세키」와 「류노스케」</td>\n",
       "      <td>NaN</td>\n",
       "      <td>272574967</td>\n",
       "      <td>우치다 햣켄</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2021-06-08</td>\n",
       "      <td>16500</td>\n",
       "      <td>14850</td>\n",
       "      <td>107.0</td>\n",
       "      <td>인문학</td>\n",
       "      <td>2021년6월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8008</th>\n",
       "      <td>764.0</td>\n",
       "      <td>2022 민준호 독학 행정법 진도별ㆍ동형 모의고사</td>\n",
       "      <td>NaN</td>\n",
       "      <td>288295319</td>\n",
       "      <td>민준호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2022-02-15</td>\n",
       "      <td>20000</td>\n",
       "      <td>18000</td>\n",
       "      <td>541.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2022년5월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8716</th>\n",
       "      <td>31.0</td>\n",
       "      <td>2024 큰별쌤 최태성의 별★별한국사 기출 500제 한국사능력검정시험 심화</td>\n",
       "      <td>(1, 2, 3급)</td>\n",
       "      <td>332133818</td>\n",
       "      <td>최태성</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2024-01-17</td>\n",
       "      <td>19500</td>\n",
       "      <td>17550</td>\n",
       "      <td>65893.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Rank                                      BName   BName_sub     ItemId  \\\n",
       "3609  685.0                              운수 좋은 날 「현진건」         NaN   15225976   \n",
       "7750  825.0                           나의 「소세키」와 「류노스케」         NaN  272574967   \n",
       "8008  764.0                2022 민준호 독학 행정법 진도별ㆍ동형 모의고사         NaN  288295319   \n",
       "8716   31.0  2024 큰별쌤 최태성의 별★별한국사 기출 500제 한국사능력검정시험 심화  (1, 2, 3급)  332133818   \n",
       "\n",
       "      Author  Author_mul Publshr       Pdate  RglPrice  SlsPrice  SalesPoint  \\\n",
       "3609     현진건        True  기타 출판사  2012-02-13      7000      6300      6742.0   \n",
       "7750  우치다 햣켄        True  기타 출판사  2021-06-08     16500     14850       107.0   \n",
       "8008     민준호       False  기타 출판사  2022-02-15     20000     18000       541.0   \n",
       "8716     최태성       False  기타 출판사  2024-01-17     19500     17550     65893.0   \n",
       "\n",
       "     Category      Sorce  \n",
       "3609  소설/시/희곡  2024년7월2주  \n",
       "7750      인문학  2021년6월1주  \n",
       "8008  수험서/자격증  2022년5월2주  \n",
       "8716  수험서/자격증  2024년7월2주  "
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bookinfo.loc[[3609,7750,8008,8716]]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 7705 : 백슬래시 모양의 특수문자. 크롤링해도 똑같은 상황 발생할 것으로 추정\n",
    "    - 별도 전처리 필요 or 사전 등록\n",
    "- 'C++'의 경우 token을 나누지 않는 것이 더 낫지 않나?\n",
    "- () 분리 문제: 괄호 안에 괄호가 있는 경우 제대로 정리가 되지 않은 상황 확인\n",
    "- 숫자 : 숫자 단위간에 ,로 구분된 경우 어떻게 하면 좋을지\n",
    "    - 일괄적으로 숫자 사이의 ','는 없애자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "391                              [New, 비주얼, C, ++, 6, 입문]\n",
       "675                         [Beginning, Visual, C, ++, 6]\n",
       "731                                           [아웃사이더, 02]\n",
       "739                                             [구운몽, 01]\n",
       "1095                                     [C, ++, 기초, 플러스]\n",
       "1129                          [Visual, C, ++, 6, 완벽, 가이드]\n",
       "1805                          [베트남, 10, ,, 000, 일, 의, 전쟁]\n",
       "1826    [3, ,, 000, 만, 원, 으로, 시작, 하, 는, 부동산, 투자, 101, 가지]\n",
       "1999                        [2, ,, 000, 원, 으로, 밥상, 차리, 기]\n",
       "2097                       [5, ,, 000, 원, 으로, 손님상, 차리, 기]\n",
       "2135                  [1, ,, 000, 원, 으로, 국, ,, 찌개, 만들, 기]\n",
       "2998                                               [1026]\n",
       "3226    [ETS, TOEIC, Listening, Prep, Book, (, 교재, +, ...\n",
       "3227    [ETS, TOEIC, Reading, Prep, Book, (, 교재, +, 해설...\n",
       "3608                           [일본어, 상용한자, 기초, 마스터, 1006]\n",
       "5359    [시, 나공, TOEIC, New, 실전, 모의고사, 특별, 판, (, 신, 토익,...\n",
       "6220                               [과, 호흡, (, 애니메이션, DVD]\n",
       "7679    [인사, 반파, 자구, 계통, 박스, 세트, -, 전, 3, 권, (, 스티커, +...\n",
       "7705     [세, 명, 의, 삶, &#, xFF, 3, C, ;, Q, ., E, ., D, .]\n",
       "7965                         [전지, 적, 독자, 시점, Part, 1, 01]\n",
       "7966                         [전지, 적, 독자, 시점, Part, 1, 02]\n",
       "8513    [악당, 의, 아빠, 를, 꼬, 셔라, 3, (, 캐릭터, 책갈피, 1, 종, +,...\n",
       "8643                 [1, :, 100, ,, 000, 도로, 지도, 지도, 대사전]\n",
       "Name: BName, dtype: object"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "targets = ['&#','(',')','++','000','01','02','1026','1006']\n",
    "detect_target = lambda x : len(set(x).intersection(set(targets))) > 0\n",
    "cond = book_name.apply(detect_target)\n",
    "book_name[cond]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'10000원 어치를 10.00% 세일하여 9000원에 100220349302개'"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "pat = r'\\d\\,\\d'\n",
    "sentence = '10,000원 어치를 10.00% 세일하여 9,000원에 100,220,349,302개'\n",
    "\n",
    "def erase_num_comma(text):\n",
    "    idx_list = sorted([m.start()+1 for m in re.finditer(pat,text)])\n",
    "    temp = list(text)\n",
    "    for i in idx_list[::-1]:\n",
    "        temp.pop(i)\n",
    "    return ''.join(temp)\n",
    "\n",
    "erase_num_comma(sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Rank</th>\n",
       "      <th>BName</th>\n",
       "      <th>BName_sub</th>\n",
       "      <th>ItemId</th>\n",
       "      <th>Author</th>\n",
       "      <th>Author_mul</th>\n",
       "      <th>Publshr</th>\n",
       "      <th>Pdate</th>\n",
       "      <th>RglPrice</th>\n",
       "      <th>SlsPrice</th>\n",
       "      <th>SalesPoint</th>\n",
       "      <th>Category</th>\n",
       "      <th>Sorce</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>3226</th>\n",
       "      <td>916.0</td>\n",
       "      <td>ETS TOEIC Listening Prep Book (교재 + 해설집 + 무료 동...</td>\n",
       "      <td>(ETS X-File 빈출표현 수록)</td>\n",
       "      <td>11822711</td>\n",
       "      <td>ETS</td>\n",
       "      <td>False</td>\n",
       "      <td>와이비엠</td>\n",
       "      <td>2011-06-10</td>\n",
       "      <td>19800</td>\n",
       "      <td>17820</td>\n",
       "      <td>4903.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3227</th>\n",
       "      <td>101.0</td>\n",
       "      <td>ETS TOEIC Reading Prep Book (교재 + 해설집 + 무료 동영상...</td>\n",
       "      <td>(ETS X-File 빈출어휘 수록)</td>\n",
       "      <td>11822739</td>\n",
       "      <td>ETS</td>\n",
       "      <td>False</td>\n",
       "      <td>와이비엠</td>\n",
       "      <td>2011-06-10</td>\n",
       "      <td>19800</td>\n",
       "      <td>17820</td>\n",
       "      <td>4554.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2011년12월5주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5359</th>\n",
       "      <td>802.0</td>\n",
       "      <td>시나공 TOEIC New 실전 모의고사 특별판 (신토익 반영 4회분 문제집 + 자세...</td>\n",
       "      <td>(新), (新)</td>\n",
       "      <td>83578927</td>\n",
       "      <td>백형식</td>\n",
       "      <td>False</td>\n",
       "      <td>길벗이지톡</td>\n",
       "      <td>2016-05-09</td>\n",
       "      <td>17800</td>\n",
       "      <td>16020</td>\n",
       "      <td>831.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2016년7월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6220</th>\n",
       "      <td>486.0</td>\n",
       "      <td>과호흡 (애니메이션 DVD</td>\n",
       "      <td>(외전 포함))</td>\n",
       "      <td>168491261</td>\n",
       "      <td>뿡빵뀨</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2018-10-05</td>\n",
       "      <td>26800</td>\n",
       "      <td>24120</td>\n",
       "      <td>8396.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2019년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7679</th>\n",
       "      <td>181.0</td>\n",
       "      <td>인사반파자구계통 박스 세트 - 전3권 (스티커 + 엽서 세트 + 마스킹테이프 + L...</td>\n",
       "      <td>(4종)</td>\n",
       "      <td>271933844</td>\n",
       "      <td>묵향동후</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2021-05-31</td>\n",
       "      <td>69800</td>\n",
       "      <td>62820</td>\n",
       "      <td>2289.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2021년6월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7705</th>\n",
       "      <td>730.0</td>\n",
       "      <td>세 명의 삶 &amp;#xFF3C; Q. E. D.</td>\n",
       "      <td>NaN</td>\n",
       "      <td>269949898</td>\n",
       "      <td>거트루드 스타인</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2021-06-01</td>\n",
       "      <td>16000</td>\n",
       "      <td>14400</td>\n",
       "      <td>547.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2021년6월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8513</th>\n",
       "      <td>759.0</td>\n",
       "      <td>악당의 아빠를 꼬셔라 3 (캐릭터 책갈피 1종 + 투명 포토카드 2종 + DIY 편...</td>\n",
       "      <td>(패브릭 포스터)</td>\n",
       "      <td>291737282</td>\n",
       "      <td>비아</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2022-05-27</td>\n",
       "      <td>35000</td>\n",
       "      <td>31500</td>\n",
       "      <td>360.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2022년5월2주</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Rank                                              BName  \\\n",
       "3226  916.0  ETS TOEIC Listening Prep Book (교재 + 해설집 + 무료 동...   \n",
       "3227  101.0  ETS TOEIC Reading Prep Book (교재 + 해설집 + 무료 동영상...   \n",
       "5359  802.0  시나공 TOEIC New 실전 모의고사 특별판 (신토익 반영 4회분 문제집 + 자세...   \n",
       "6220  486.0                                     과호흡 (애니메이션 DVD   \n",
       "7679  181.0  인사반파자구계통 박스 세트 - 전3권 (스티커 + 엽서 세트 + 마스킹테이프 + L...   \n",
       "7705  730.0                           세 명의 삶 &#xFF3C; Q. E. D.   \n",
       "8513  759.0  악당의 아빠를 꼬셔라 3 (캐릭터 책갈피 1종 + 투명 포토카드 2종 + DIY 편...   \n",
       "\n",
       "                 BName_sub     ItemId    Author  Author_mul Publshr  \\\n",
       "3226  (ETS X-File 빈출표현 수록)   11822711       ETS       False    와이비엠   \n",
       "3227  (ETS X-File 빈출어휘 수록)   11822739       ETS       False    와이비엠   \n",
       "5359              (新), (新)   83578927       백형식       False   길벗이지톡   \n",
       "6220              (외전 포함))  168491261       뿡빵뀨       False  기타 출판사   \n",
       "7679                  (4종)  271933844      묵향동후       False  기타 출판사   \n",
       "7705                   NaN  269949898  거트루드 스타인        True  기타 출판사   \n",
       "8513             (패브릭 포스터)  291737282        비아        True  기타 출판사   \n",
       "\n",
       "           Pdate  RglPrice  SlsPrice  SalesPoint Category       Sorce  \n",
       "3226  2011-06-10     19800     17820      4903.0      외국어   2013년4월4주  \n",
       "3227  2011-06-10     19800     17820      4554.0      외국어  2011년12월5주  \n",
       "5359  2016-05-09     17800     16020       831.0      외국어   2016년7월3주  \n",
       "6220  2018-10-05     26800     24120      8396.0       만화   2019년1월3주  \n",
       "7679  2021-05-31     69800     62820      2289.0  소설/시/희곡   2021년6월1주  \n",
       "7705  2021-06-01     16000     14400       547.0  소설/시/희곡   2021년6월1주  \n",
       "8513  2022-05-27     35000     31500       360.0       만화   2022년5월2주  "
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bookinfo.loc[[3226,3227,5359,6220,7679,7705,8513]]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Rank</th>\n",
       "      <th>BName</th>\n",
       "      <th>BName_sub</th>\n",
       "      <th>ItemId</th>\n",
       "      <th>Author</th>\n",
       "      <th>Author_mul</th>\n",
       "      <th>Publshr</th>\n",
       "      <th>Pdate</th>\n",
       "      <th>RglPrice</th>\n",
       "      <th>SlsPrice</th>\n",
       "      <th>SalesPoint</th>\n",
       "      <th>Category</th>\n",
       "      <th>Sorce</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>8008</th>\n",
       "      <td>764.0</td>\n",
       "      <td>2022 민준호 독학 행정법 진도별ㆍ동형 모의고사</td>\n",
       "      <td>NaN</td>\n",
       "      <td>288295319</td>\n",
       "      <td>민준호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2022-02-15</td>\n",
       "      <td>20000</td>\n",
       "      <td>18000</td>\n",
       "      <td>541.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2022년5월2주</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Rank                        BName BName_sub     ItemId Author  \\\n",
       "8008  764.0  2022 민준호 독학 행정법 진도별ㆍ동형 모의고사       NaN  288295319    민준호   \n",
       "\n",
       "      Author_mul Publshr       Pdate  RglPrice  SlsPrice  SalesPoint Category  \\\n",
       "8008       False  기타 출판사  2022-02-15     20000     18000       541.0  수험서/자격증   \n",
       "\n",
       "          Sorce  \n",
       "8008  2022년5월2주  "
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cond = bookinfo.BName.apply(lambda x : 'ㆍ' in x)\n",
    "bookinfo[cond]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "patterns=dict()\n",
    "patterns['['] = r'\\[+[^\\[\\]]+\\]+'\n",
    "patterns['{'] = r'\\{+[^\\{\\}]+\\}+'\n",
    "patterns['('] = r'\\(+[^\\(\\)]+\\)+'\n",
    "\n",
    "def re_iter_to_rslt(re_iter):\n",
    "    return {\n",
    "        m.start() : m.group()\n",
    "        for m in re_iter\n",
    "    }\n",
    "    \n",
    "def find_patterns(patterns,sentence):\n",
    "    return {\n",
    "        key : re_iter_to_rslt(re.finditer(pat,sentence.strip()))\n",
    "        for key,pat in patterns.items()\n",
    "    }"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'[': {}, '{': {}, '(': {6: '(하세요))'}}"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '안녕 (하이(하세요))'\n",
    "find_patterns(patterns,sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "{'[': {}, '{': {}, '(': {3: '(하이(하세요))'}}"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/plain": [
       "{'[': {},\n",
       " '{': {},\n",
       " '(': {14: '(캐릭터 책갈피 1종 + 투명 포토카드 2종 + DIY 편지지 책자 + 컵홀더 2종 + 테이블 매트(패브릭 포스터) + 종이 코스터 2종 + 주접 대사 스티커 3종 + 박스 포함 한정판)'}}"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "sentence2= '악당의 아빠를 꼬셔라 3 (캐릭터 책갈피 1종 + 투명 포토카드 2종 + DIY 편지지 책자 + 컵홀더 2종 + 테이블 매트(패브릭 포스터) + 종이 코스터 2종 + 주접 대사 스티커 3종 + 박스 포함 한정판)'\n",
    "patterns2=dict()\n",
    "patterns2['['] = r'\\[.+\\]'\n",
    "patterns2['{'] = r'\\{.+\\}'\n",
    "patterns2['('] = r'\\(.+\\)'\n",
    "display(find_patterns(patterns2,sentence))\n",
    "display(find_patterns(patterns2,sentence2))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 고민해봤는데 전처리 복잡하게 하지 말고, 괄호 겹치는 상태로 그냥 넣어버려도 될 듯\n",
    "- pattern만 바꿔서 다시 파일 처리 필요"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 한자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>899</th>\n",
       "      <td>上</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>900</th>\n",
       "      <td>代</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>901</th>\n",
       "      <td>伽藍</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>902</th>\n",
       "      <td>傳</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>903</th>\n",
       "      <td>分</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>904</th>\n",
       "      <td>反</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>905</th>\n",
       "      <td>商道</td>\n",
       "      <td>6</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>906</th>\n",
       "      <td>國王</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>907</th>\n",
       "      <td>大</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>908</th>\n",
       "      <td>天氣</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>909</th>\n",
       "      <td>宮</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>910</th>\n",
       "      <td>小說</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>911</th>\n",
       "      <td>愛</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>912</th>\n",
       "      <td>新</td>\n",
       "      <td>8</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>913</th>\n",
       "      <td>新月</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>914</th>\n",
       "      <td>日</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>915</th>\n",
       "      <td>漢字</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>916</th>\n",
       "      <td>生</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>917</th>\n",
       "      <td>知</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>918</th>\n",
       "      <td>神</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>919</th>\n",
       "      <td>神話</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>920</th>\n",
       "      <td>美</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>921</th>\n",
       "      <td>翼</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>922</th>\n",
       "      <td>記</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>923</th>\n",
       "      <td>詩</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>924</th>\n",
       "      <td>辛</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>925</th>\n",
       "      <td>農</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>926</th>\n",
       "      <td>通</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>927</th>\n",
       "      <td>集</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>928</th>\n",
       "      <td>音樂</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>929</th>\n",
       "      <td>食</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "    token counts\n",
       "899     上      2\n",
       "900     代      1\n",
       "901    伽藍      1\n",
       "902     傳      1\n",
       "903     分      1\n",
       "904     反      1\n",
       "905    商道      6\n",
       "906    國王      2\n",
       "907     大      1\n",
       "908    天氣      1\n",
       "909     宮      2\n",
       "910    小說      1\n",
       "911     愛      1\n",
       "912     新      8\n",
       "913    新月      1\n",
       "914     日      2\n",
       "915    漢字      1\n",
       "916     生      2\n",
       "917     知      1\n",
       "918     神      1\n",
       "919    神話      1\n",
       "920     美      2\n",
       "921     翼      1\n",
       "922     記      1\n",
       "923     詩      2\n",
       "924     辛      2\n",
       "925     農      1\n",
       "926     通      2\n",
       "927     集      1\n",
       "928    音樂      1\n",
       "929     食      1"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token</th>\n",
       "      <th>counts</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>8380</th>\n",
       "      <td>洛陽</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8381</th>\n",
       "      <td>老子</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8382</th>\n",
       "      <td>漏泄</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "     token counts\n",
       "8380    洛陽      1\n",
       "8381    老子      1\n",
       "8382    漏泄      1"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "display(df_corpus.iloc[899:930])\n",
    "display(df_corpus.iloc[8380:8383])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "440                           [21, 세기, 희망, 은, 農, 에, 있, 다]\n",
       "767                                               [商道, 1]\n",
       "768                                               [商道, 2]\n",
       "769                                               [商道, 3]\n",
       "770                                               [商道, 4]\n",
       "771                                               [商道, 5]\n",
       "865                                        [知, 의, 편집, 공학]\n",
       "966                                               [老子, 翼]\n",
       "1035                                                  [美]\n",
       "1090                                          [洛陽, 伽藍, 記]\n",
       "1211                                 [商道, -, 전, 5, 권, 세트]\n",
       "1591                                       [예수, 는, 神話, 다]\n",
       "1636                                             [新, 군주론]\n",
       "1776                                    [디지털, 카메라, 新, 입문]\n",
       "1953                                         [십, 시, 일, 反]\n",
       "2385                        [辛, 워드, 프로세서, 1, 급, 필기, 기출문제]\n",
       "2392                        [辛, 워드, 프로세서, 2, 급, 필기, 기출문제]\n",
       "2514                                            [궁, 宮, 8]\n",
       "2566                               [오주석, 의, 한국, 의, 美, 특강]\n",
       "2588                                  [9, 급, 新月, 행정법, 총론]\n",
       "2790                            [그림, 으로, 읽, 는, 生, 生, 심리학]\n",
       "3048              [新, 일본어, 능력, 시험, 한, 권, 으로, 끝내, 기, N, 3]\n",
       "3072                      [新, HSK, 한, 권, 으로, 끝내, 기, 4, 급]\n",
       "3286                    [통, 通, 박사, 조병호, 의, 성경, 과, 고대, 전쟁]\n",
       "3361                    [통, 通, 박사, 조병호, 의, 성경, 과, 고대, 정치]\n",
       "3475                      [新, HSK, 한, 권, 으로, 끝내, 기, 3, 급]\n",
       "3513                                [십, 대, 마음, 10, 大, 공감]\n",
       "3556                                           [궁, 宮, 27]\n",
       "3702                                         [1, 日, 1, 食]\n",
       "3715                                           [장사, 의, 神]\n",
       "4058                                           [북풍, -, 上]\n",
       "4157    [2014, 국민, 건강보험공단, 직무, 종합, 수행, 능력, 평가, 150, 分,...\n",
       "4311                                        [新, 차트, 의, 맥]\n",
       "4438                               [내, 가, 30, 代, 가, 됐, 다]\n",
       "4621                                       [2016, 國王, 漢字]\n",
       "4745                            [2016, 해동, 한, 국사, 天氣, 漏泄]\n",
       "4774                         [초판본, 하늘, 과, 바람, 과, 별, 과, 詩]\n",
       "4822                       [하늘, 과, 바람, 과, 별, 과, 詩, 필사, 책]\n",
       "5775                           [2017, 國王, 국어, -, 전, 2, 권]\n",
       "5890       [2016, 新, 직업, 상, 담사, 2, 급, 1, 차, 필기, 기출문제, 해설]\n",
       "5945                             [新, 버전, 일본어, 한자, 암기, 박사]\n",
       "5992                  [하루, 만, 에, 끝내, 는, 1, 日, 히라가나, 가타카나]\n",
       "8225                                       [컬러, 愛, 물들, 다]\n",
       "8788                              [패밀리, 레스토랑, 가, 자, ., 上]\n",
       "8884                                         [미, 오, 기, 傳]\n",
       "9008                               [음악, 소설, 집, 音樂, 小說, 集]\n",
       "Name: BName, dtype: object"
      ]
     },
     "execution_count": 31,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\n",
    "targets = list(df_corpus.loc[899:929,'token'].values)+list(df_corpus.loc[8380:8382,'token'].values)\n",
    "detect_target = lambda x : len(set(x).intersection(set(targets))) > 0\n",
    "cond = book_name.apply(detect_target)\n",
    "book_name[cond]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Rank</th>\n",
       "      <th>BName</th>\n",
       "      <th>BName_sub</th>\n",
       "      <th>ItemId</th>\n",
       "      <th>Author</th>\n",
       "      <th>Author_mul</th>\n",
       "      <th>Publshr</th>\n",
       "      <th>Pdate</th>\n",
       "      <th>RglPrice</th>\n",
       "      <th>SlsPrice</th>\n",
       "      <th>SalesPoint</th>\n",
       "      <th>Category</th>\n",
       "      <th>Sorce</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>440</th>\n",
       "      <td>930.0</td>\n",
       "      <td>21세기 희망은 農에 있다</td>\n",
       "      <td>NaN</td>\n",
       "      <td>221123</td>\n",
       "      <td>정경식</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-02-07</td>\n",
       "      <td>8000</td>\n",
       "      <td>7200</td>\n",
       "      <td>101.0</td>\n",
       "      <td>과학</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>767</th>\n",
       "      <td>23.0</td>\n",
       "      <td>商道 1</td>\n",
       "      <td>NaN</td>\n",
       "      <td>254107</td>\n",
       "      <td>최인호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-11-01</td>\n",
       "      <td>7500</td>\n",
       "      <td>6750</td>\n",
       "      <td>2551.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>768</th>\n",
       "      <td>43.0</td>\n",
       "      <td>商道 2</td>\n",
       "      <td>NaN</td>\n",
       "      <td>254111</td>\n",
       "      <td>최인호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-11-01</td>\n",
       "      <td>7500</td>\n",
       "      <td>6750</td>\n",
       "      <td>2681.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>769</th>\n",
       "      <td>38.0</td>\n",
       "      <td>商道 3</td>\n",
       "      <td>NaN</td>\n",
       "      <td>254113</td>\n",
       "      <td>최인호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-11-01</td>\n",
       "      <td>7500</td>\n",
       "      <td>6750</td>\n",
       "      <td>2951.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>770</th>\n",
       "      <td>33.0</td>\n",
       "      <td>商道 4</td>\n",
       "      <td>NaN</td>\n",
       "      <td>254114</td>\n",
       "      <td>최인호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-11-01</td>\n",
       "      <td>7500</td>\n",
       "      <td>6750</td>\n",
       "      <td>3074.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>771</th>\n",
       "      <td>37.0</td>\n",
       "      <td>商道 5</td>\n",
       "      <td>NaN</td>\n",
       "      <td>254117</td>\n",
       "      <td>최인호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-11-01</td>\n",
       "      <td>7500</td>\n",
       "      <td>6750</td>\n",
       "      <td>3086.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>865</th>\n",
       "      <td>453.0</td>\n",
       "      <td>知의 편집공학</td>\n",
       "      <td>NaN</td>\n",
       "      <td>257871</td>\n",
       "      <td>마쓰오카 세이고</td>\n",
       "      <td>True</td>\n",
       "      <td>넥서스</td>\n",
       "      <td>2000-11-30</td>\n",
       "      <td>12900</td>\n",
       "      <td>11610</td>\n",
       "      <td>256.0</td>\n",
       "      <td>사회과학</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>966</th>\n",
       "      <td>449.0</td>\n",
       "      <td>老子翼</td>\n",
       "      <td>NaN</td>\n",
       "      <td>259510</td>\n",
       "      <td>초횡약후</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-12-18</td>\n",
       "      <td>12800</td>\n",
       "      <td>11520</td>\n",
       "      <td>93.0</td>\n",
       "      <td>인문학</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1035</th>\n",
       "      <td>488.0</td>\n",
       "      <td>美</td>\n",
       "      <td>NaN</td>\n",
       "      <td>261214</td>\n",
       "      <td>마르시아스 심 외</td>\n",
       "      <td>False</td>\n",
       "      <td>현대문학</td>\n",
       "      <td>2001-01-01</td>\n",
       "      <td>8000</td>\n",
       "      <td>7200</td>\n",
       "      <td>235.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1090</th>\n",
       "      <td>604.0</td>\n",
       "      <td>洛陽伽藍記</td>\n",
       "      <td>(낙양가람기)</td>\n",
       "      <td>261789</td>\n",
       "      <td>양현지</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2001-01-10</td>\n",
       "      <td>12000</td>\n",
       "      <td>10800</td>\n",
       "      <td>237.0</td>\n",
       "      <td>역사</td>\n",
       "      <td>2001년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1211</th>\n",
       "      <td>640.0</td>\n",
       "      <td>商道 - 전5권 세트</td>\n",
       "      <td>NaN</td>\n",
       "      <td>286457</td>\n",
       "      <td>최인호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2001-07-10</td>\n",
       "      <td>37500</td>\n",
       "      <td>33750</td>\n",
       "      <td>3872.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2002년8월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1591</th>\n",
       "      <td>146.0</td>\n",
       "      <td>예수는 神話다</td>\n",
       "      <td>NaN</td>\n",
       "      <td>363217</td>\n",
       "      <td>티모시 프리크 &amp; 피터 갠디</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2002-06-28</td>\n",
       "      <td>12000</td>\n",
       "      <td>10800</td>\n",
       "      <td>631.0</td>\n",
       "      <td>종교/역학</td>\n",
       "      <td>2002년8월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1636</th>\n",
       "      <td>336.0</td>\n",
       "      <td>新군주론</td>\n",
       "      <td>NaN</td>\n",
       "      <td>366326</td>\n",
       "      <td>딕 모리스</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2002-07-10</td>\n",
       "      <td>10000</td>\n",
       "      <td>9500</td>\n",
       "      <td>306.0</td>\n",
       "      <td>사회과학</td>\n",
       "      <td>2002년8월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1776</th>\n",
       "      <td>259.0</td>\n",
       "      <td>디지털 카메라 新입문</td>\n",
       "      <td>NaN</td>\n",
       "      <td>369644</td>\n",
       "      <td>곽동수.정윤희</td>\n",
       "      <td>False</td>\n",
       "      <td>영진.com(영진닷컴)</td>\n",
       "      <td>2002-08-05</td>\n",
       "      <td>14800</td>\n",
       "      <td>13320</td>\n",
       "      <td>557.0</td>\n",
       "      <td>컴퓨터/모바일</td>\n",
       "      <td>2002년8월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1953</th>\n",
       "      <td>763.0</td>\n",
       "      <td>십시일反</td>\n",
       "      <td>NaN</td>\n",
       "      <td>427677</td>\n",
       "      <td>박재동 외</td>\n",
       "      <td>False</td>\n",
       "      <td>창비</td>\n",
       "      <td>2003-08-05</td>\n",
       "      <td>13000</td>\n",
       "      <td>11700</td>\n",
       "      <td>14105.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2385</th>\n",
       "      <td>417.0</td>\n",
       "      <td>辛 워드프로세서 1급 필기 기출문제</td>\n",
       "      <td>NaN</td>\n",
       "      <td>457563</td>\n",
       "      <td>T&amp;T교육교재개발팀</td>\n",
       "      <td>False</td>\n",
       "      <td>영진.com(영진닷컴)</td>\n",
       "      <td>2005-01-05</td>\n",
       "      <td>6000</td>\n",
       "      <td>5400</td>\n",
       "      <td>396.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2392</th>\n",
       "      <td>784.0</td>\n",
       "      <td>辛 워드프로세서 2급 필기 기출문제</td>\n",
       "      <td>NaN</td>\n",
       "      <td>533590</td>\n",
       "      <td>T&amp;T교육교재개발팀</td>\n",
       "      <td>False</td>\n",
       "      <td>영진.com(영진닷컴)</td>\n",
       "      <td>2005-01-05</td>\n",
       "      <td>6000</td>\n",
       "      <td>5400</td>\n",
       "      <td>126.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2514</th>\n",
       "      <td>27.0</td>\n",
       "      <td>궁宮 8</td>\n",
       "      <td>NaN</td>\n",
       "      <td>540397</td>\n",
       "      <td>박소희</td>\n",
       "      <td>False</td>\n",
       "      <td>서울미디어코믹스(서울문화사)</td>\n",
       "      <td>2005-01-28</td>\n",
       "      <td>4500</td>\n",
       "      <td>4050</td>\n",
       "      <td>1973.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2566</th>\n",
       "      <td>729.0</td>\n",
       "      <td>오주석의 한국의 美 특강</td>\n",
       "      <td>NaN</td>\n",
       "      <td>397183</td>\n",
       "      <td>오주석</td>\n",
       "      <td>False</td>\n",
       "      <td>솔출판사</td>\n",
       "      <td>2005-05-25</td>\n",
       "      <td>25000</td>\n",
       "      <td>22500</td>\n",
       "      <td>14487.0</td>\n",
       "      <td>예술/대중문화</td>\n",
       "      <td>2011년12월5주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2588</th>\n",
       "      <td>123.0</td>\n",
       "      <td>9급 新月 행정법 총론</td>\n",
       "      <td>NaN</td>\n",
       "      <td>423558</td>\n",
       "      <td>홍성운</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2005-07-20</td>\n",
       "      <td>30000</td>\n",
       "      <td>27000</td>\n",
       "      <td>1838.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2005년2월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2790</th>\n",
       "      <td>682.0</td>\n",
       "      <td>그림으로 읽는 生生 심리학</td>\n",
       "      <td>NaN</td>\n",
       "      <td>2062214</td>\n",
       "      <td>이소라</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2008-04-18</td>\n",
       "      <td>11000</td>\n",
       "      <td>9900</td>\n",
       "      <td>3333.0</td>\n",
       "      <td>인문학</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3048</th>\n",
       "      <td>519.0</td>\n",
       "      <td>新일본어 능력시험 한권으로 끝내기 N3</td>\n",
       "      <td>(교재 + 모의테스트 문제집 + 스피드 체크북 + MP3 CD 1장)</td>\n",
       "      <td>7179985</td>\n",
       "      <td>이치우. 기타지마 치즈코</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2010-06-18</td>\n",
       "      <td>25000</td>\n",
       "      <td>22500</td>\n",
       "      <td>4097.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3072</th>\n",
       "      <td>531.0</td>\n",
       "      <td>新 HSK 한권으로 끝내기 4급</td>\n",
       "      <td>(본책 + 해설서 + 단어장 + MP3 CD 1장)</td>\n",
       "      <td>7614646</td>\n",
       "      <td>남미숙</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2010-08-23</td>\n",
       "      <td>25000</td>\n",
       "      <td>22500</td>\n",
       "      <td>7552.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2016년7월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3286</th>\n",
       "      <td>702.0</td>\n",
       "      <td>통通박사 조병호의 성경과 고대전쟁</td>\n",
       "      <td>NaN</td>\n",
       "      <td>12931143</td>\n",
       "      <td>조병호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2011-09-01</td>\n",
       "      <td>17000</td>\n",
       "      <td>15300</td>\n",
       "      <td>2119.0</td>\n",
       "      <td>종교/역학</td>\n",
       "      <td>2011년12월5주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3361</th>\n",
       "      <td>541.0</td>\n",
       "      <td>통通박사 조병호의 성경과 고대정치</td>\n",
       "      <td>NaN</td>\n",
       "      <td>13607941</td>\n",
       "      <td>조병호</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2011-11-07</td>\n",
       "      <td>17000</td>\n",
       "      <td>15300</td>\n",
       "      <td>1296.0</td>\n",
       "      <td>종교/역학</td>\n",
       "      <td>2011년12월5주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3475</th>\n",
       "      <td>645.0</td>\n",
       "      <td>新 HSK 한권으로 끝내기 3급</td>\n",
       "      <td>(본책 + 해설서 + 단어장 + MP3 CD 1장)</td>\n",
       "      <td>14248154</td>\n",
       "      <td>남미숙</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2011-12-12</td>\n",
       "      <td>25000</td>\n",
       "      <td>22500</td>\n",
       "      <td>6286.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2016년7월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3513</th>\n",
       "      <td>347.0</td>\n",
       "      <td>십대마음 10大공감</td>\n",
       "      <td>NaN</td>\n",
       "      <td>14171963</td>\n",
       "      <td>김미경.이수정.지현남</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2011-12-20</td>\n",
       "      <td>12000</td>\n",
       "      <td>10800</td>\n",
       "      <td>548.0</td>\n",
       "      <td>사회과학</td>\n",
       "      <td>2011년12월5주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3556</th>\n",
       "      <td>113.0</td>\n",
       "      <td>궁宮 27</td>\n",
       "      <td>NaN</td>\n",
       "      <td>14424116</td>\n",
       "      <td>박소희</td>\n",
       "      <td>False</td>\n",
       "      <td>서울미디어코믹스(서울문화사)</td>\n",
       "      <td>2011-12-27</td>\n",
       "      <td>5000</td>\n",
       "      <td>4500</td>\n",
       "      <td>1310.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2011년12월5주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3702</th>\n",
       "      <td>76.0</td>\n",
       "      <td>1日1食</td>\n",
       "      <td>NaN</td>\n",
       "      <td>19469138</td>\n",
       "      <td>나구모 요시노리</td>\n",
       "      <td>True</td>\n",
       "      <td>위즈덤하우스</td>\n",
       "      <td>2012-09-06</td>\n",
       "      <td>16800</td>\n",
       "      <td>15120</td>\n",
       "      <td>9443.0</td>\n",
       "      <td>건강/취미</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3715</th>\n",
       "      <td>420.0</td>\n",
       "      <td>장사의 神</td>\n",
       "      <td>NaN</td>\n",
       "      <td>19921778</td>\n",
       "      <td>우노 다카시</td>\n",
       "      <td>True</td>\n",
       "      <td>쌤앤파커스</td>\n",
       "      <td>2012-09-27</td>\n",
       "      <td>14000</td>\n",
       "      <td>12600</td>\n",
       "      <td>10617.0</td>\n",
       "      <td>경제경영</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4058</th>\n",
       "      <td>184.0</td>\n",
       "      <td>북풍 - 上</td>\n",
       "      <td>NaN</td>\n",
       "      <td>25191809</td>\n",
       "      <td>최은경</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2013-04-03</td>\n",
       "      <td>9000</td>\n",
       "      <td>8100</td>\n",
       "      <td>524.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4157</th>\n",
       "      <td>861.0</td>\n",
       "      <td>2014 국민건강보험공단 직무종합수행능력평가 150分 모의시험</td>\n",
       "      <td>(8절)</td>\n",
       "      <td>25491051</td>\n",
       "      <td>직무종합수행능력평가연구소</td>\n",
       "      <td>False</td>\n",
       "      <td>시대고시기획</td>\n",
       "      <td>2013-04-15</td>\n",
       "      <td>18000</td>\n",
       "      <td>16200</td>\n",
       "      <td>68.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2013년4월4주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4311</th>\n",
       "      <td>844.0</td>\n",
       "      <td>新 차트의 맥</td>\n",
       "      <td>(스프링)</td>\n",
       "      <td>35740534</td>\n",
       "      <td>민경인</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2014-01-22</td>\n",
       "      <td>27000</td>\n",
       "      <td>24300</td>\n",
       "      <td>2928.0</td>\n",
       "      <td>경제경영</td>\n",
       "      <td>2021년6월1주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4438</th>\n",
       "      <td>727.0</td>\n",
       "      <td>내가 30代가 됐다</td>\n",
       "      <td>NaN</td>\n",
       "      <td>75975529</td>\n",
       "      <td>이랑</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2015-04-13</td>\n",
       "      <td>8000</td>\n",
       "      <td>7200</td>\n",
       "      <td>4190.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2019년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4621</th>\n",
       "      <td>246.0</td>\n",
       "      <td>2016 國王漢字</td>\n",
       "      <td>NaN</td>\n",
       "      <td>69577190</td>\n",
       "      <td>김병태</td>\n",
       "      <td>False</td>\n",
       "      <td>에스티앤북스(ST&amp;BOOKS)</td>\n",
       "      <td>2015-11-20</td>\n",
       "      <td>15000</td>\n",
       "      <td>13500</td>\n",
       "      <td>493.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2016년4월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4745</th>\n",
       "      <td>138.0</td>\n",
       "      <td>2016 해동한국사 天氣漏泄</td>\n",
       "      <td>NaN</td>\n",
       "      <td>74665261</td>\n",
       "      <td>신영식</td>\n",
       "      <td>False</td>\n",
       "      <td>에스티앤북스(ST&amp;BOOKS)</td>\n",
       "      <td>2016-01-20</td>\n",
       "      <td>17000</td>\n",
       "      <td>15300</td>\n",
       "      <td>864.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2016년4월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4774</th>\n",
       "      <td>138.0</td>\n",
       "      <td>초판본 하늘과 바람과 별과 詩</td>\n",
       "      <td>NaN</td>\n",
       "      <td>72369420</td>\n",
       "      <td>윤동주</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2016-01-30</td>\n",
       "      <td>9800</td>\n",
       "      <td>8820</td>\n",
       "      <td>54069.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2016년7월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4822</th>\n",
       "      <td>757.0</td>\n",
       "      <td>하늘과 바람과 별과 詩 필사책</td>\n",
       "      <td>NaN</td>\n",
       "      <td>76551487</td>\n",
       "      <td>윤동주</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2016-02-17</td>\n",
       "      <td>8800</td>\n",
       "      <td>7920</td>\n",
       "      <td>2313.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2016년4월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5775</th>\n",
       "      <td>434.0</td>\n",
       "      <td>2017 國王 국어 - 전2권</td>\n",
       "      <td>NaN</td>\n",
       "      <td>87016298</td>\n",
       "      <td>김병태</td>\n",
       "      <td>False</td>\n",
       "      <td>에스티앤북스(ST&amp;BOOKS)</td>\n",
       "      <td>2016-07-10</td>\n",
       "      <td>49000</td>\n",
       "      <td>49000</td>\n",
       "      <td>551.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2016년7월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5890</th>\n",
       "      <td>817.0</td>\n",
       "      <td>2016 新 직업상담사 2급 1차 필기 기출문제해설</td>\n",
       "      <td>NaN</td>\n",
       "      <td>68916873</td>\n",
       "      <td>직업상담연구소.이용석</td>\n",
       "      <td>False</td>\n",
       "      <td>시대고시기획</td>\n",
       "      <td>2016-08-10</td>\n",
       "      <td>27000</td>\n",
       "      <td>24300</td>\n",
       "      <td>402.0</td>\n",
       "      <td>수험서/자격증</td>\n",
       "      <td>2016년4월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5945</th>\n",
       "      <td>692.0</td>\n",
       "      <td>新버전 일본어 한자암기박사</td>\n",
       "      <td>(읽으면 저절로 외워지는 기적의 암기공식)</td>\n",
       "      <td>90306367</td>\n",
       "      <td>박원길.박정서</td>\n",
       "      <td>False</td>\n",
       "      <td>시대고시기획</td>\n",
       "      <td>2017-02-10</td>\n",
       "      <td>17000</td>\n",
       "      <td>15300</td>\n",
       "      <td>4183.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2019년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5992</th>\n",
       "      <td>695.0</td>\n",
       "      <td>하루만에 끝내는 1日 히라가나 가타카나</td>\n",
       "      <td>NaN</td>\n",
       "      <td>116361846</td>\n",
       "      <td>김주안</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2017-08-30</td>\n",
       "      <td>7500</td>\n",
       "      <td>6750</td>\n",
       "      <td>3202.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2019년1월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8225</th>\n",
       "      <td>459.0</td>\n",
       "      <td>컬러愛 물들다</td>\n",
       "      <td>NaN</td>\n",
       "      <td>292249021</td>\n",
       "      <td>밥 햄블리</td>\n",
       "      <td>True</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2022-04-11</td>\n",
       "      <td>16800</td>\n",
       "      <td>15120</td>\n",
       "      <td>958.0</td>\n",
       "      <td>자기계발</td>\n",
       "      <td>2022년5월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8788</th>\n",
       "      <td>539.0</td>\n",
       "      <td>패밀리 레스토랑 가자. 上</td>\n",
       "      <td>NaN</td>\n",
       "      <td>337054427</td>\n",
       "      <td>와야마 야마</td>\n",
       "      <td>True</td>\n",
       "      <td>문학동네</td>\n",
       "      <td>2024-04-01</td>\n",
       "      <td>8500</td>\n",
       "      <td>7650</td>\n",
       "      <td>51125.0</td>\n",
       "      <td>만화</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8884</th>\n",
       "      <td>380.0</td>\n",
       "      <td>미오기傳</td>\n",
       "      <td>NaN</td>\n",
       "      <td>339338469</td>\n",
       "      <td>김미옥</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2024-05-14</td>\n",
       "      <td>18000</td>\n",
       "      <td>16200</td>\n",
       "      <td>16015.0</td>\n",
       "      <td>에세이</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9008</th>\n",
       "      <td>8.0</td>\n",
       "      <td>음악소설집 音樂小說集</td>\n",
       "      <td>NaN</td>\n",
       "      <td>341306474</td>\n",
       "      <td>김애란 외</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2024-06-13</td>\n",
       "      <td>18000</td>\n",
       "      <td>16200</td>\n",
       "      <td>40410.0</td>\n",
       "      <td>소설/시/희곡</td>\n",
       "      <td>2024년7월2주</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "       Rank                               BName  \\\n",
       "440   930.0                      21세기 희망은 農에 있다   \n",
       "767    23.0                                商道 1   \n",
       "768    43.0                                商道 2   \n",
       "769    38.0                                商道 3   \n",
       "770    33.0                                商道 4   \n",
       "771    37.0                                商道 5   \n",
       "865   453.0                             知의 편집공학   \n",
       "966   449.0                                 老子翼   \n",
       "1035  488.0                                   美   \n",
       "1090  604.0                               洛陽伽藍記   \n",
       "1211  640.0                         商道 - 전5권 세트   \n",
       "1591  146.0                             예수는 神話다   \n",
       "1636  336.0                                新군주론   \n",
       "1776  259.0                         디지털 카메라 新입문   \n",
       "1953  763.0                                십시일反   \n",
       "2385  417.0                 辛 워드프로세서 1급 필기 기출문제   \n",
       "2392  784.0                 辛 워드프로세서 2급 필기 기출문제   \n",
       "2514   27.0                                궁宮 8   \n",
       "2566  729.0                       오주석의 한국의 美 특강   \n",
       "2588  123.0                        9급 新月 행정법 총론   \n",
       "2790  682.0                      그림으로 읽는 生生 심리학   \n",
       "3048  519.0               新일본어 능력시험 한권으로 끝내기 N3   \n",
       "3072  531.0                   新 HSK 한권으로 끝내기 4급   \n",
       "3286  702.0                  통通박사 조병호의 성경과 고대전쟁   \n",
       "3361  541.0                  통通박사 조병호의 성경과 고대정치   \n",
       "3475  645.0                   新 HSK 한권으로 끝내기 3급   \n",
       "3513  347.0                          십대마음 10大공감   \n",
       "3556  113.0                               궁宮 27   \n",
       "3702   76.0                                1日1食   \n",
       "3715  420.0                               장사의 神   \n",
       "4058  184.0                              북풍 - 上   \n",
       "4157  861.0  2014 국민건강보험공단 직무종합수행능력평가 150分 모의시험   \n",
       "4311  844.0                             新 차트의 맥   \n",
       "4438  727.0                          내가 30代가 됐다   \n",
       "4621  246.0                           2016 國王漢字   \n",
       "4745  138.0                     2016 해동한국사 天氣漏泄   \n",
       "4774  138.0                    초판본 하늘과 바람과 별과 詩   \n",
       "4822  757.0                    하늘과 바람과 별과 詩 필사책   \n",
       "5775  434.0                    2017 國王 국어 - 전2권   \n",
       "5890  817.0        2016 新 직업상담사 2급 1차 필기 기출문제해설   \n",
       "5945  692.0                      新버전 일본어 한자암기박사   \n",
       "5992  695.0               하루만에 끝내는 1日 히라가나 가타카나   \n",
       "8225  459.0                             컬러愛 물들다   \n",
       "8788  539.0                      패밀리 레스토랑 가자. 上   \n",
       "8884  380.0                                미오기傳   \n",
       "9008    8.0                         음악소설집 音樂小說集   \n",
       "\n",
       "                                   BName_sub     ItemId           Author  \\\n",
       "440                                      NaN     221123              정경식   \n",
       "767                                      NaN     254107              최인호   \n",
       "768                                      NaN     254111              최인호   \n",
       "769                                      NaN     254113              최인호   \n",
       "770                                      NaN     254114              최인호   \n",
       "771                                      NaN     254117              최인호   \n",
       "865                                      NaN     257871         마쓰오카 세이고   \n",
       "966                                      NaN     259510             초횡약후   \n",
       "1035                                     NaN     261214        마르시아스 심 외   \n",
       "1090                                 (낙양가람기)     261789              양현지   \n",
       "1211                                     NaN     286457              최인호   \n",
       "1591                                     NaN     363217  티모시 프리크 & 피터 갠디   \n",
       "1636                                     NaN     366326            딕 모리스   \n",
       "1776                                     NaN     369644          곽동수.정윤희   \n",
       "1953                                     NaN     427677            박재동 외   \n",
       "2385                                     NaN     457563       T&T교육교재개발팀   \n",
       "2392                                     NaN     533590       T&T교육교재개발팀   \n",
       "2514                                     NaN     540397              박소희   \n",
       "2566                                     NaN     397183              오주석   \n",
       "2588                                     NaN     423558              홍성운   \n",
       "2790                                     NaN    2062214              이소라   \n",
       "3048  (교재 + 모의테스트 문제집 + 스피드 체크북 + MP3 CD 1장)    7179985    이치우. 기타지마 치즈코   \n",
       "3072            (본책 + 해설서 + 단어장 + MP3 CD 1장)    7614646              남미숙   \n",
       "3286                                     NaN   12931143              조병호   \n",
       "3361                                     NaN   13607941              조병호   \n",
       "3475            (본책 + 해설서 + 단어장 + MP3 CD 1장)   14248154              남미숙   \n",
       "3513                                     NaN   14171963      김미경.이수정.지현남   \n",
       "3556                                     NaN   14424116              박소희   \n",
       "3702                                     NaN   19469138         나구모 요시노리   \n",
       "3715                                     NaN   19921778           우노 다카시   \n",
       "4058                                     NaN   25191809              최은경   \n",
       "4157                                    (8절)   25491051    직무종합수행능력평가연구소   \n",
       "4311                                   (스프링)   35740534              민경인   \n",
       "4438                                     NaN   75975529               이랑   \n",
       "4621                                     NaN   69577190              김병태   \n",
       "4745                                     NaN   74665261              신영식   \n",
       "4774                                     NaN   72369420              윤동주   \n",
       "4822                                     NaN   76551487              윤동주   \n",
       "5775                                     NaN   87016298              김병태   \n",
       "5890                                     NaN   68916873      직업상담연구소.이용석   \n",
       "5945                 (읽으면 저절로 외워지는 기적의 암기공식)   90306367          박원길.박정서   \n",
       "5992                                     NaN  116361846              김주안   \n",
       "8225                                     NaN  292249021            밥 햄블리   \n",
       "8788                                     NaN  337054427           와야마 야마   \n",
       "8884                                     NaN  339338469              김미옥   \n",
       "9008                                     NaN  341306474            김애란 외   \n",
       "\n",
       "      Author_mul           Publshr       Pdate  RglPrice  SlsPrice  \\\n",
       "440         True            기타 출판사  2000-02-07      8000      7200   \n",
       "767        False            기타 출판사  2000-11-01      7500      6750   \n",
       "768        False            기타 출판사  2000-11-01      7500      6750   \n",
       "769        False            기타 출판사  2000-11-01      7500      6750   \n",
       "770        False            기타 출판사  2000-11-01      7500      6750   \n",
       "771        False            기타 출판사  2000-11-01      7500      6750   \n",
       "865         True               넥서스  2000-11-30     12900     11610   \n",
       "966         True            기타 출판사  2000-12-18     12800     11520   \n",
       "1035       False              현대문학  2001-01-01      8000      7200   \n",
       "1090        True            기타 출판사  2001-01-10     12000     10800   \n",
       "1211       False            기타 출판사  2001-07-10     37500     33750   \n",
       "1591        True            기타 출판사  2002-06-28     12000     10800   \n",
       "1636        True            기타 출판사  2002-07-10     10000      9500   \n",
       "1776       False      영진.com(영진닷컴)  2002-08-05     14800     13320   \n",
       "1953       False                창비  2003-08-05     13000     11700   \n",
       "2385       False      영진.com(영진닷컴)  2005-01-05      6000      5400   \n",
       "2392       False      영진.com(영진닷컴)  2005-01-05      6000      5400   \n",
       "2514       False   서울미디어코믹스(서울문화사)  2005-01-28      4500      4050   \n",
       "2566       False              솔출판사  2005-05-25     25000     22500   \n",
       "2588       False            기타 출판사  2005-07-20     30000     27000   \n",
       "2790       False            기타 출판사  2008-04-18     11000      9900   \n",
       "3048       False            기타 출판사  2010-06-18     25000     22500   \n",
       "3072       False            기타 출판사  2010-08-23     25000     22500   \n",
       "3286       False            기타 출판사  2011-09-01     17000     15300   \n",
       "3361       False            기타 출판사  2011-11-07     17000     15300   \n",
       "3475       False            기타 출판사  2011-12-12     25000     22500   \n",
       "3513       False            기타 출판사  2011-12-20     12000     10800   \n",
       "3556       False   서울미디어코믹스(서울문화사)  2011-12-27      5000      4500   \n",
       "3702        True            위즈덤하우스  2012-09-06     16800     15120   \n",
       "3715        True             쌤앤파커스  2012-09-27     14000     12600   \n",
       "4058       False            기타 출판사  2013-04-03      9000      8100   \n",
       "4157       False            시대고시기획  2013-04-15     18000     16200   \n",
       "4311       False            기타 출판사  2014-01-22     27000     24300   \n",
       "4438       False            기타 출판사  2015-04-13      8000      7200   \n",
       "4621       False  에스티앤북스(ST&BOOKS)  2015-11-20     15000     13500   \n",
       "4745       False  에스티앤북스(ST&BOOKS)  2016-01-20     17000     15300   \n",
       "4774       False            기타 출판사  2016-01-30      9800      8820   \n",
       "4822       False            기타 출판사  2016-02-17      8800      7920   \n",
       "5775       False  에스티앤북스(ST&BOOKS)  2016-07-10     49000     49000   \n",
       "5890       False            시대고시기획  2016-08-10     27000     24300   \n",
       "5945       False            시대고시기획  2017-02-10     17000     15300   \n",
       "5992       False            기타 출판사  2017-08-30      7500      6750   \n",
       "8225        True            기타 출판사  2022-04-11     16800     15120   \n",
       "8788        True              문학동네  2024-04-01      8500      7650   \n",
       "8884       False            기타 출판사  2024-05-14     18000     16200   \n",
       "9008       False            기타 출판사  2024-06-13     18000     16200   \n",
       "\n",
       "      SalesPoint Category       Sorce  \n",
       "440        101.0       과학   2001년1월3주  \n",
       "767       2551.0  소설/시/희곡   2001년1월3주  \n",
       "768       2681.0  소설/시/희곡   2001년1월3주  \n",
       "769       2951.0  소설/시/희곡   2001년1월3주  \n",
       "770       3074.0  소설/시/희곡   2001년1월3주  \n",
       "771       3086.0  소설/시/희곡   2001년1월3주  \n",
       "865        256.0     사회과학   2001년1월3주  \n",
       "966         93.0      인문학   2001년1월3주  \n",
       "1035       235.0  소설/시/희곡   2001년1월3주  \n",
       "1090       237.0       역사   2001년1월3주  \n",
       "1211      3872.0  소설/시/희곡   2002년8월3주  \n",
       "1591       631.0    종교/역학   2002년8월3주  \n",
       "1636       306.0     사회과학   2002년8월3주  \n",
       "1776       557.0  컴퓨터/모바일   2002년8월3주  \n",
       "1953     14105.0       만화   2013년4월4주  \n",
       "2385       396.0  수험서/자격증   2005년2월1주  \n",
       "2392       126.0  수험서/자격증   2005년2월1주  \n",
       "2514      1973.0       만화   2005년2월1주  \n",
       "2566     14487.0  예술/대중문화  2011년12월5주  \n",
       "2588      1838.0  수험서/자격증   2005년2월1주  \n",
       "2790      3333.0      인문학   2013년4월4주  \n",
       "3048      4097.0      외국어   2013년4월4주  \n",
       "3072      7552.0      외국어   2016년7월3주  \n",
       "3286      2119.0    종교/역학  2011년12월5주  \n",
       "3361      1296.0    종교/역학  2011년12월5주  \n",
       "3475      6286.0      외국어   2016년7월3주  \n",
       "3513       548.0     사회과학  2011년12월5주  \n",
       "3556      1310.0       만화  2011년12월5주  \n",
       "3702      9443.0    건강/취미   2013년4월4주  \n",
       "3715     10617.0     경제경영   2013년4월4주  \n",
       "4058       524.0  소설/시/희곡   2013년4월4주  \n",
       "4157        68.0  수험서/자격증   2013년4월4주  \n",
       "4311      2928.0     경제경영   2021년6월1주  \n",
       "4438      4190.0       만화   2019년1월3주  \n",
       "4621       493.0  수험서/자격증   2016년4월3주  \n",
       "4745       864.0  수험서/자격증   2016년4월3주  \n",
       "4774     54069.0  소설/시/희곡   2016년7월3주  \n",
       "4822      2313.0  소설/시/희곡   2016년4월3주  \n",
       "5775       551.0  수험서/자격증   2016년7월3주  \n",
       "5890       402.0  수험서/자격증   2016년4월3주  \n",
       "5945      4183.0      외국어   2019년1월3주  \n",
       "5992      3202.0      외국어   2019년1월3주  \n",
       "8225       958.0     자기계발   2022년5월2주  \n",
       "8788     51125.0       만화   2024년7월2주  \n",
       "8884     16015.0      에세이   2024년7월2주  \n",
       "9008     40410.0  소설/시/희곡   2024년7월2주  "
      ]
     },
     "execution_count": 32,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bookinfo[cond]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 한자 처리 : 만약 한자와 똑같은 발음의 한글이 앞 혹은 뒤에 반복된 경우 제거, 이외의 경우는 번역\n",
    "    - 괄호 안에 내용이 있는 경우도 포함\n",
    "    - ```pip install git+https://github.com/suminb/hanja.git``` : 간체, 일본어 한자까지 지원한다고 함"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [],
   "source": [
    "import hanja\n",
    "\n",
    "custom_hanja ={\n",
    "    '洛' : '락'\n",
    "}\n",
    "\n",
    "def is_hanja_custom(chr):\n",
    "    return hanja.is_hanja(chr) or chr in custom_hanja\n",
    "\n",
    "def split_hanja_custom(text):\n",
    "    \"\"\"주어진 문장을 한자로 된 구역과 그 이외의 문자로 된 구역으로 분리\"\"\"\n",
    "    # TODO: Can we make this a bit prettier?\n",
    "    if len(text) == 0:\n",
    "        yield text\n",
    "    else:\n",
    "        ch = text[0]\n",
    "        bucket = [ch]\n",
    "        prev_state = is_hanja_custom(ch)\n",
    "\n",
    "        for ch in text[1:]:\n",
    "            state = is_hanja_custom(ch)\n",
    "\n",
    "            if prev_state != state:\n",
    "                yield \"\".join(bucket)\n",
    "                bucket = [ch]\n",
    "            else:\n",
    "                bucket.append(ch)\n",
    "\n",
    "            prev_state = state\n",
    "\n",
    "        yield \"\".join(bucket)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['낙양가람기    (', '洛陽伽藍記', ') ']\n"
     ]
    }
   ],
   "source": [
    "sentence = '낙양가람기    (洛陽伽藍記) '\n",
    "print(list(split_hanja_custom(sentence)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['洛陽伽藍記', ' (낙양 가람기) ']\n",
      "['洛', '陽伽藍記', ' (낙양 가람기) ']\n"
     ]
    }
   ],
   "source": [
    "sentence = '洛陽伽藍記 (낙양 가람기) '\n",
    "print(list(split_hanja_custom(sentence)))\n",
    "print(list(hanja.split_hanja(sentence)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['洛', '陽伽藍記', ' (낙양 가람기) ']"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '洛陽伽藍記 (낙양 가람기) '\n",
    "list(hanja.split_hanja(sentence))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'洛양가람기'"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "hanja.translate('洛陽伽藍記','substitution')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "import hanja\n",
    "import re\n",
    "\n",
    "parens = [\n",
    "    ('',''),\n",
    "    ('(',')'),\n",
    "    ('{','}'),\n",
    "    ('[',']'),\n",
    "    ('（','）'),\n",
    "    ('［','］'),\n",
    "    ('｛','｝'),\n",
    "    ('<','>'),\n",
    "    ('〈','〉'),\n",
    "    ('《','》'),\n",
    "    ('「','」'),\n",
    "    ('『','』'),\n",
    "    ('〔','〕'),\n",
    "    ('【','】'),\n",
    "]\n",
    "\n",
    "erase_space = lambda x: re.sub(r'\\s+','',x)\n",
    "\n",
    "def check_adj(word,target,sign:bool):\n",
    "    #sign : position of word < position of target\n",
    "    if len(target) > len(word) : return False\n",
    "    if sign : sliced = word[len(word)-len(target):]\n",
    "    else : sliced = word[:len(target)]\n",
    "    if sliced == target : \n",
    "        return True\n",
    "    return False\n",
    "\n",
    "def is_hanja_words(segment):\n",
    "    check = list(map(hanja.is_hanja,list(segment)))\n",
    "    return all(check)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [],
   "source": [
    "## TODO\n",
    "# 1. 일부가 사전에 없어서 등의 이유로 독음이 1~2글자 차이나게 있는 경우\n",
    "#    cf. 낙양유람기(물이름 낙이 hanja에 없음), 항복, 필사즉생\n",
    "# 2. 괄호가 여러개 겹쳐져 있는 케이스까지 커버\n",
    "\n",
    "def translate_hanja(sentence):\n",
    "    #masking\n",
    "    temp = erase_space(sentence)\n",
    "    segs = list(split_hanja_custom(temp))\n",
    "    ishanja = list(map(is_hanja_words,segs))\n",
    "    for idx,(chr,flag) in enumerate(zip(segs,ishanja)):\n",
    "        if not flag : continue\n",
    "        sound = hanja.translate(chr,'substitution')\n",
    "        #한자 뒤에 '(독음)'의 형태로 있는지 확인\n",
    "        if idx < len(segs)-1:\n",
    "            check_list = list(map(lambda x : x[0]+sound+x[1],parens))\n",
    "            for ele in check_list:\n",
    "                flag2 = check_adj(segs[idx+1],ele,idx+1<idx)\n",
    "                if flag2 : segs[idx+1] = ' '*len(ele) + segs[idx+1][len(ele):]\n",
    "            segs[idx] = sound\n",
    "        #독음 뒤에 '(한자)'의 형태로 있는지 확인\n",
    "        if 1 <= idx: \n",
    "            for par in parens:\n",
    "                if not check_adj(segs[idx-1],sound+par[0],idx-1<idx) : continue\n",
    "                if len(par[1]) > 1 and len(segs) < idx+1 : continue\n",
    "                if (len(par[1])==0) or (segs[idx+1][:len(par[1])] == par[1]) :\n",
    "                    segs[idx] = ' '*len(chr)\n",
    "                    if par[0] : segs[idx-1] = segs[idx-1][:-len(par[0])]+' '*len(par[0])\n",
    "                    if par[1] : segs[idx+1] = ' '*len(par[1])+segs[idx+1][len(par[1]):]\n",
    "    masked = ''.join(segs)\n",
    "    #apply mask to original sentence\n",
    "    idx = 0\n",
    "    rslt = list(sentence)\n",
    "    for i,chr in enumerate(list(sentence)):\n",
    "        if re.match(r'\\s',chr) : continue #have to chage condition for all type of spaces\n",
    "        rslt[i] = masked[idx]\n",
    "        idx += 1\n",
    "    return re.sub(r'\\s+',' ',''.join(rslt)).strip()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'2014 국민건강보험공단 직무종합수행능력평가 150분 모의시험'"
      ]
     },
     "execution_count": 54,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '2014 국민건강보험공단 직무종합수행능력평가 150分 모의시험'\n",
    "translate_hanja(sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'한양가람기 를 보면'"
      ]
     },
     "execution_count": 60,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '漢陽伽藍記\t(한양 가람기)를 보면'\n",
    "translate_hanja(sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'한양가람기 에 의하면'"
      ]
     },
     "execution_count": 61,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '한양가람기 (漢陽伽藍記)에 의하면'\n",
    "translate_hanja(sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'한양가람기 를 읽고서'"
      ]
     },
     "execution_count": 62,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '한양가람기漢陽伽藍記를 읽고서'\n",
    "translate_hanja(sentence)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 63,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'통 박사 조병호의 성경과 고대정치'"
      ]
     },
     "execution_count": 63,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentence = '통通박사 조병호의 성경과 고대정치'\n",
    "translate_hanja(sentence)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 한자가 있던 자리에 공백이 들어가게 됐는데, tokenizer할 생각 하면 큰 문제가 아닐 수도 있을 것 같음"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- 사전에 추가해야할 단어 : 'ㆍ'\n",
    "- 다른 단어로 변환 필요 :\n",
    "    - '&#xFF3C;' (```&#xFF3C;```) : '\\\\'\n",
    "        - 이후에도 전처리 과정에서 &#를 detect 먼저 해보는 것 필요\n",
    "    - 로마자 숫자 : 아랍숫자"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 66,
   "metadata": {},
   "outputs": [],
   "source": [
    "roman_number ={\n",
    "   'ⅰ':'1',\n",
    "   'ⅱ':'2',\n",
    "   'ⅲ':'3',\n",
    "   'ⅳ':'4',\n",
    "   'ⅴ':'5',\n",
    "   'ⅵ':'6',\n",
    "   'ⅶ':'7',\n",
    "   'ⅷ':'8',\n",
    "   'ⅸ':'9',\n",
    "   'ⅹ':'10',\n",
    "   'Ⅰ':'1',\n",
    "   'Ⅱ':'2',\n",
    "   'Ⅲ':'3',\n",
    "   'Ⅳ':'4',\n",
    "   'Ⅴ':'5',\n",
    "   'Ⅵ':'6',\n",
    "   'Ⅶ':'7',\n",
    "   'Ⅷ':'8',\n",
    "   'Ⅸ':'9',\n",
    "   'Ⅹ':'10',\n",
    "}\n",
    "\n",
    "special_chr = {\n",
    "  '&#xFF3C;' : '\\\\',\n",
    "}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 70,
   "metadata": {},
   "outputs": [],
   "source": [
    "def replace_by_dict(text,chr_dict):\n",
    "    for key,val in chr_dict.items():\n",
    "        text = text.replace(key,val)\n",
    "    return text"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "metadata": {},
   "outputs": [],
   "source": [
    "bookinfo['BName'] = bookinfo['BName'].apply(lambda x : replace_by_dict(x,roman_number))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 72,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Rank</th>\n",
       "      <th>BName</th>\n",
       "      <th>BName_sub</th>\n",
       "      <th>ItemId</th>\n",
       "      <th>Author</th>\n",
       "      <th>Author_mul</th>\n",
       "      <th>Publshr</th>\n",
       "      <th>Pdate</th>\n",
       "      <th>RglPrice</th>\n",
       "      <th>SlsPrice</th>\n",
       "      <th>SalesPoint</th>\n",
       "      <th>Category</th>\n",
       "      <th>Sorce</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>667</th>\n",
       "      <td>582.0</td>\n",
       "      <td>Tangerine TOEIC Part 5</td>\n",
       "      <td>NaN</td>\n",
       "      <td>247462</td>\n",
       "      <td>최종민</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-09-06</td>\n",
       "      <td>9800</td>\n",
       "      <td>8820</td>\n",
       "      <td>1132.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2002년8월3주</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>724</th>\n",
       "      <td>419.0</td>\n",
       "      <td>tangerine TOEIC Part 6</td>\n",
       "      <td>NaN</td>\n",
       "      <td>251427</td>\n",
       "      <td>최종민</td>\n",
       "      <td>False</td>\n",
       "      <td>기타 출판사</td>\n",
       "      <td>2000-10-11</td>\n",
       "      <td>9800</td>\n",
       "      <td>8820</td>\n",
       "      <td>1031.0</td>\n",
       "      <td>외국어</td>\n",
       "      <td>2002년8월3주</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "      Rank                   BName BName_sub  ItemId Author  Author_mul  \\\n",
       "667  582.0  Tangerine TOEIC Part 5       NaN  247462    최종민       False   \n",
       "724  419.0  tangerine TOEIC Part 6       NaN  251427    최종민       False   \n",
       "\n",
       "    Publshr       Pdate  RglPrice  SlsPrice  SalesPoint Category      Sorce  \n",
       "667  기타 출판사  2000-09-06      9800      8820      1132.0      외국어  2002년8월3주  \n",
       "724  기타 출판사  2000-10-11      9800      8820      1031.0      외국어  2002년8월3주  "
      ]
     },
     "execution_count": 72,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bookinfo.loc[[667,724]]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 73,
   "metadata": {},
   "outputs": [],
   "source": [
    "bookinfo['BName'] = bookinfo['BName'].apply(lambda x : replace_by_dict(x,special_chr))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 74,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "Rank                      730.0\n",
       "BName         세 명의 삶 \\ Q. E. D.\n",
       "BName_sub                   NaN\n",
       "ItemId                269949898\n",
       "Author                 거트루드 스타인\n",
       "Author_mul                 True\n",
       "Publshr                  기타 출판사\n",
       "Pdate                2021-06-01\n",
       "RglPrice                  16000\n",
       "SlsPrice                  14400\n",
       "SalesPoint                547.0\n",
       "Category                소설/시/희곡\n",
       "Sorce                 2021년6월1주\n",
       "Name: 7705, dtype: object"
      ]
     },
     "execution_count": 74,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "bookinfo.loc[7705]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "EST_PRJ",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.12"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}