occupation_metadata_search.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "6414d82d",
   "metadata": {},
   "source": [
    "# quick stocktake of UK LLC occupation data"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "fe891a21",
   "metadata": {},
   "outputs": [],
   "source": [
    "# packages\n",
    "import pandas as pd\n",
    "from sqlalchemy import create_engine\n",
    "from sqlalchemy import exc\n",
    "from sqlalchemy.engine import URL\n",
    "from IPython.display import display, Markdown"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "d82406d8",
   "metadata": {},
   "outputs": [],
   "source": [
    "# DB connection info\n",
    "def connect():\n",
    "    '''\n",
    "    Connect to the database with sql alchemy, system ODBC connection.\n",
    "    Returns:\n",
    "        engine (sqlalchemy object): engine for database operations\n",
    "    '''\n",
    "    connection_string = (\n",
    "    r\"DSN=LLC_DB\"\n",
    "    )\n",
    "    connection_url = URL.create(\n",
    "        \"mssql+pyodbc\",\n",
    "        query={\"odbc_connect\": connection_string}\n",
    "    )\n",
    "    engine = create_engine(connection_url, isolation_level=\"AUTOCOMMIT\")\n",
    "    return engine"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "538a4d68",
   "metadata": {},
   "outputs": [],
   "source": [
    "# connect to DB\n",
    "cnxn = connect()\n",
    "# query to pull all labs\n",
    "sel_q = 'select * from DESCS.all_descriptions'\n",
    "# read all labels\n",
    "all_labs = pd.read_sql(sel_q, cnxn)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "03433256",
   "metadata": {},
   "outputs": [],
   "source": [
    "# occupation keywords define\n",
    "occ_key = ['soc', 'soc2', 'sic', 'sic2', 'occupation', 'job']\n",
    "# process list into format convenient fo search\n",
    "occ_pat = ['\\\\b' + i + '\\\\b' for i in occ_key]\n",
    "occ_pat = '|'.join(occ_pat)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "ef1e399c",
   "metadata": {},
   "outputs": [],
   "source": [
    "# search\n",
    "all_labs['occ_flag'] = all_labs['variable_label'].str.contains(occ_pat, case = False)\n",
    "# filter the matches\n",
    "occ_labs = all_labs.loc[all_labs['occ_flag'] == True]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "2d19a449",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "\n",
      "A value is trying to be set on a copy of a slice from a DataFrame.\n",
      "Try using .loc[row_indexer,col_indexer] = value instead\n",
      "\n",
      "See the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n"
     ]
    }
   ],
   "source": [
    "# remove duplicate versions\n",
    "occ_labs['table_name1'] = occ_labs['table_name'].str.split('_v000').str[0]\n",
    "# drop unreq vars\n",
    "occ_labs = occ_labs.drop(columns = ['avail_from_dt', 'table_name', 'occ_flag'], axis = 1)\n",
    "# rename \n",
    "occ_labs = occ_labs.rename(columns = {'table_name1' : 'table_name',\n",
    "                                     'TABLE_SCHEMA' : 'data_source'})\n",
    "# remove dups\n",
    "occ_labs = occ_labs.drop_duplicates()\n",
    "# sort\n",
    "occ_labs = occ_labs.sort_values(by = ['data_source', 'table_name', 'variable_name'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "6f31b3c1",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "╒════════════════╤══════════════════╕\n",
      "│ data_source    │   variable_count │\n",
      "╞════════════════╪══════════════════╡\n",
      "│ ALSPAC         │               16 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ BCS70          │              422 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ BIB            │               26 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ ELSA           │              145 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ EPICN          │                9 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ EXCEED         │                9 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ FENLAND        │               12 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ GENSCOT        │               16 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ GLAD           │                1 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ MCS            │              706 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ NCDS58         │             1416 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │              474 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ NICOLA         │               23 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ NIHRBIO_COPING │                1 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ NSHD46         │               23 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ SABRE          │               27 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ TWINSUK        │               23 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ UKHLS          │             2432 │\n",
      "├────────────────┼──────────────────┤\n",
      "│ nhsd           │                9 │\n",
      "╘════════════════╧══════════════════╛\n"
     ]
    }
   ],
   "source": [
    "# group by study\n",
    "study_group = occ_labs.groupby(by = 'data_source').size().reset_index(name = 'variable_count')\n",
    "# display the dataframe\n",
    "print(study_group.to_markdown(index=False, tablefmt=\"fancy_grid\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1e2f0a3b",
   "metadata": {},
   "source": [
    "**Table 1** Number of variables per **data source** with match on occupation keywords"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "baaa00f3",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "╒════════════════╤══════════════════════════════╤══════════════════╕\n",
      "│ data_source    │ table_name                   │   variable_count │\n",
      "╞════════════════╪══════════════════════════════╪══════════════════╡\n",
      "│ ALSPAC         │ custom_occupationm           │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ custom_occupationy           │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave0m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave0y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave1m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave1y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave2m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave2y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave3m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave3y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave4m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave4y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave5m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave5y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave6m                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ALSPAC         │ wave6y                       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ COVID_w1                     │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ COVID_w2                     │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ COVID_w3                     │               43 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ basic_demographic            │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs10                        │               28 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs10_employment             │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs2                         │                6 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs3                         │               17 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs4                         │               68 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs5                         │               37 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs6                         │               45 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs7                         │               29 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs7_derived_follow_up       │               29 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs8                         │               22 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs9                         │               74 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BCS70          │ bcs9_employment              │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BIB            │ CV19adult_P1                 │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BIB            │ CV19adult_P3                 │                7 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BIB            │ CV19adult_P3a                │                7 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BIB            │ CV_W1                        │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BIB            │ CV_W2                        │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ BIB            │ SOCIODEMO                    │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ elsa_covid_w1_eul            │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ elsa_covid_w2_eul            │               18 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ wave_9_elsa_data_eul_dhdi    │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ wave_9_elsa_data_eul_ho1     │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ wave_9_elsa_data_eul_spsc    │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ wave_9_elsa_data_eul_wp      │              111 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ ELSA           │ wave_9_ifs_derived_variables │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ FU1                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ FU2                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ FU3                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ FU4                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ FU5                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ FU7                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ HLEQ1                        │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EPICN          │ HLQ                          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EXCEED         │ DemographicCore              │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EXCEED         │ covid19_q2                   │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EXCEED         │ covid19survey                │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ EXCEED         │ occupation                   │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ FENLAND        │ P1                           │               12 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ GENSCOT        │ COVIDLIFE1                   │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ GENSCOT        │ COVIDLIFE2                   │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ GENSCOT        │ COVIDLIFE3                   │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ GENSCOT        │ OCCUPATION                   │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ GLAD           │ FILE2                        │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_CM_w1                  │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_CM_w2                  │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_CM_w3                  │               43 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_parent_w1              │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_parent_w2              │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_parent_w3              │               43 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_w1                     │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_w2                     │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ COVID_w3                     │               43 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ MCS_basic_demographic_cm     │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ basic_demographic_cm         │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ basic_demographic_parent     │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs1_parent_derived          │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs1_parent_interview        │               26 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs1_proxy_partner_interview │                7 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs2_parent_interview        │               79 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs2_proxy_partner_interview │                6 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs3_parent_derived          │                8 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs3_proxy_partner_interview │                8 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs4_cm_aspirations          │               16 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs4_parent_derived          │                8 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs4_parent_interview        │               70 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs4_proxy_partner_interview │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs5_cm_interview            │               15 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs5_parent_cm_interview     │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs5_parent_derived          │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs5_parent_interview        │               52 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs5_proxy_partner_interview │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs6_cm_interview            │               13 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs6_parent_cm_interview     │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs6_parent_derived          │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs6_parent_interview        │               46 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs6_proxy_partner_interview │                7 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs7_cm_interview            │               49 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs7_parent_cm_interview     │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ MCS            │ mcs7_parent_interview        │               75 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ COVID_w1                     │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ COVID_w2                     │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ COVID_w3                     │               43 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ basic_demographic            │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds0123                     │               51 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds4                        │              203 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds5                        │              521 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds5_partner                │              348 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds6                        │               45 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds6_biomedical             │               14 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds7                        │               25 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds8                        │              111 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds9                        │               35 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NCDS58         │ ncds9_employment             │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ COVID_w1                     │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ COVID_w2                     │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ COVID_w3                     │               43 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ basic_demographic_data       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns1                          │               14 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns1_family_background        │               11 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns1_parental_attitudes       │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns2                          │               14 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns2_family_background        │               28 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns2_parental_attitudes       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns3                          │               13 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns3_family_background        │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns3_parental_attitudes       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns4                          │               29 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns4_family_background        │               64 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns4_parental_attitudes       │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns5                          │               42 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns5_family_background        │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns6                          │               68 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns7                          │               82 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NEXTSTEP       │ ns8                          │               38 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NICOLA         │ Covid_19Questionnaire        │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NICOLA         │ Wave1CAPI                    │               18 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NICOLA         │ Wave1SCQ                     │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NIHRBIO_COPING │ Bioresource                  │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NSHD46         │ COVIDW1WEBPOSTAL             │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NSHD46         │ COVIDW2WEBPOSTAL             │               13 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NSHD46         │ COVIDW3WEB                   │                8 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ NSHD46         │ SOCIODEMOGRAPHICS            │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ SABRE          │ COVID_WAVE2No                │                9 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ SABRE          │ COVID_WAVE2YES               │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ SABRE          │ COVID_WAVE3                  │                9 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ SABRE          │ Covidwave1                   │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ TWINSUK        │ COPE1                        │                6 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ TWINSUK        │ COPE2                        │                6 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ TWINSUK        │ COPE3                        │                4 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ TWINSUK        │ COPE4                        │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ TWINSUK        │ COPE5                        │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ TWINSUK        │ COPE6                        │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ a_indresp                    │               76 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ b_indresp                    │              179 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ c_indresp                    │              160 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ ca_indresp_w                 │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ cb_indresp_w                 │                8 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ cc_indresp_w                 │               85 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ cd_indresp_w                 │                6 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ ce_indresp_w                 │               85 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ cf_indresp_w                 │                7 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ cg_indresp_w                 │               90 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ ch_indresp_w                 │               16 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ ci_indresp_w                 │               94 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ d_indresp                    │              167 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ e_indresp                    │              147 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ f_indresp                    │              190 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ g_indresp                    │              163 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ h_indresp                    │              198 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ i_indresp                    │              201 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ j_indresp                    │              186 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ k_indresp                    │              170 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ l_indresp                    │              197 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ xbaseline                    │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ UKHLS          │ xsample                      │                5 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ nhsd           │ CSDS_care_activities         │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ nhsd           │ CSDS_group_sessions          │                1 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ nhsd           │ MHSDS_MHS901StaffDetails     │                2 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ nhsd           │ MORTALITY                    │                3 │\n",
      "├────────────────┼──────────────────────────────┼──────────────────┤\n",
      "│ nhsd           │ NPEX                         │                2 │\n",
      "╘════════════════╧══════════════════════════════╧══════════════════╛\n"
     ]
    }
   ],
   "source": [
    "# group by study + table_name\n",
    "table_group = occ_labs.groupby(by = ['data_source', 'table_name']).size().reset_index(name = 'variable_count')\n",
    "# display the dataframe\n",
    "print(table_group.to_markdown(index=False, tablefmt=\"fancy_grid\"))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8636e28e",
   "metadata": {},
   "source": [
    "**Table 2** Number of variables per **dataset** with match on occupation keywords"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "59f14eb6",
   "metadata": {},
   "outputs": [],
   "source": [
    "# save out the full dataset\n",
    "# occ_labs.to_csv('S:/UKLLC - UKLLC Databank/misc/occupation_data/stocktake.csv', index = False)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.5"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}