file_fix_sandbox.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 76,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import xmlschema\n",
    "import glob\n",
    "import difflib\n",
    "\n",
    "mae_schema = xmlschema.XMLSchema('./mae_schema.xsd')\n",
    "\n",
    "gs_dict = mae_schema.to_dict(\"./gold_anots/1_37.txt.gs.xml\")\n",
    "app_dict = mae_schema.to_dict(\"./app_anots/1_37.txt.xml\")\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "gs_text = gs_dict['TEXT']\n",
    "app_text = app_dict['TEXT']\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 84,
   "metadata": {},
   "outputs": [],
   "source": [
    "# version 1 - cleanup some whitespaces and use difflib\n",
    "# version 2 - cleanup all whitespaces\n",
    "\n",
    "def clean_up_text(text):\n",
    "    text = re.sub(re.compile('\\.'), '', text)\n",
    "    text = re.sub(re.compile('\\n\\n+'), '\\n', text)\n",
    "    text = re.sub(re.compile('\\n'), ' ', text)\n",
    "    text = re.sub(re.compile('\\s\\s+'), ' ', text)\n",
    "#     text = re.sub(re.compile('\\s'), '', text)\n",
    "#     text = re.sub(re.compile('\\.|,'), '', text)\n",
    "    return text.strip()\n",
    "    \n",
    "gs_clean = clean_up_text(gs_text)\n",
    "app_clean = clean_up_text(app_text)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 57,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "osiąganiutychcelówSenatUniwersytetuWarszawskiegostanowiconastępuje:DZIAŁIUNIWERSYTETWARSZAWSKIPOSTANOWIENIAOGÓLNE§1Siedzibaipodstawaprawnadziałalności1UniwersytetWarszawskizwanydalej„Uniwersytetem”jes\n",
      "osiąganiutychcelówSenatUniwersytetuWarszawskiegostanowiconastępuje:DZIAŁIUNIWERSYTETWARSZAWSKIPOSTANOWIENIAOGÓLNE§1Siedzibaipodstawaprawnadziałalności1UniwersytetWarszawskizwanydalej„Uniwersytetem”jes\n",
      "25754 25754\n"
     ]
    }
   ],
   "source": [
    "cherry_pick = 420\n",
    "print(gs_clean[cherry_pick:cherry_pick+200])\n",
    "print(app_clean[cherry_pick:cherry_pick+200])\n",
    "\n",
    "print(len(gs_clean), len(app_clean))\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 86,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "106_117.txt.xml 8548 vs 8552\n",
      "1148 +  \n",
      "1732 +  \n",
      "4111 +  \n",
      "4318 +  \n",
      "§ 106 Pracownicy niebędący nauczycielami akademickimi 1 Grupy stanowisk pracowników niebędących nauc\n",
      "§ 106 Pracownicy niebędący nauczycielami akademickimi 1 Grupy stanowisk pracowników niebędących nauc\n",
      "118_128.txt.xml 7885 vs 7887\n",
      "324 +  \n",
      "3109 +  \n",
      "§ 118 Warunki zatrudnienia na stanowisku profesora wizytującego Na stanowisku profesora wizytującego\n",
      "§ 118 Warunki zatrudnienia na stanowisku profesora wizytującego Na stanowisku profesora wizytującego\n",
      "129_138.txt.xml 6008 vs 6009\n",
      "2421 +  \n",
      "5954 -  \n",
      "5956 +  \n",
      "§ 129 Konflikt interesów 1 Pracownicy Uniwersytetu zobowiązani są unikać sytuacji prowadzących do ko\n",
      "§ 129 Konflikt interesów 1 Pracownicy Uniwersytetu zobowiązani są unikać sytuacji prowadzących do ko\n",
      "139_151.txt.xml 8150 vs 8148\n",
      "3792 -  \n",
      "3794 +  \n",
      "7013 -  \n",
      "7251 -  \n",
      "DZIAŁ VI STUDIA, STUDENCI I DOKTORANCI § 139 Rodzaje i miejsce kształcenia na Uniwersytecie 1 Uniwer\n",
      "DZIAŁ VI STUDIA, STUDENCI I DOKTORANCI § 139 Rodzaje i miejsce kształcenia na Uniwersytecie 1 Uniwer\n",
      "152_159.txt.xml 7126 vs 7133\n",
      "834 +  \n",
      "863 +  \n",
      "969 +  \n",
      "1085 +  \n",
      "1403 +  \n",
      "2023 +  \n",
      "4594 +  \n",
      "DZIAŁ VII GOSPODARKA I ADMINISTRACJA UNIWERSYTETU Rozdział 1 GOSPODARKA I MIENIE UNIWERSYTETU § 152 \n",
      "DZIAŁ VII GOSPODARKA I ADMINISTRACJA UNIWERSYTETU Rozdział 1 GOSPODARKA I MIENIE UNIWERSYTETU § 152 \n",
      "1_37.txt.xml 30073 vs 30085\n",
      "558 +  \n",
      "2625 -  \n",
      "2627 +  \n",
      "2655 -  \n",
      "2657 +  \n",
      "5812 +  \n",
      "6205 +  \n",
      "15402 +  \n",
      "18730 +  \n",
      "18790 +  \n",
      "19834 +  \n",
      "20134 +  \n",
      "20460 +  \n",
      "23296 +  \n",
      "23362 +  \n",
      "25591 +  \n",
      "STATUT UNIWERSYTETU WARSZAWSKIEGO Mając na względzie misję Uniwersytetu Warszawskiego, dążąc do umoc\n",
      "STATUT UNIWERSYTETU WARSZAWSKIEGO Mając na względzie misję Uniwersytetu Warszawskiego, dążąc do umoc\n",
      "37_38.txt.xml 2049 vs 2052\n",
      "1248 +  \n",
      "1507 +  \n",
      "1939 +  \n",
      "§ 37 Senat 1 Członkiem Senatu może być osoba spełniająca warunki wskazane w art 29 ust 4 Ustawy 2 Ka\n",
      "§ 37 Senat 1 Członkiem Senatu może być osoba spełniająca warunki wskazane w art 29 ust 4 Ustawy 2 Ka\n",
      "39_43.txt.xml 5409 vs 5409\n",
      "§ 39 Wybór członków Senatu 1 Przedstawicieli pracowników Uniwersytetu, o których mowa w § 38 ust 1 p\n",
      "§ 39 Wybór członków Senatu 1 Przedstawicieli pracowników Uniwersytetu, o których mowa w § 38 ust 1 p\n",
      "44_55.txt.xml 7299 vs 7297\n",
      "1531 -  \n",
      "1533 +  \n",
      "4499 -  \n",
      "4600 -  \n",
      "5066 -  \n",
      "5081 +  \n",
      "5168 -  \n",
      "5183 +  \n",
      "§ 44 Prawo Senatu i komisji senackich do informacji Senat i komisje Senatu mają prawo do uzyskiwania\n",
      "§ 44 Prawo Senatu i komisji senackich do informacji Senat i komisje Senatu mają prawo do uzyskiwania\n",
      "56_60.txt.xml 9315 vs 9318\n",
      "53 - N\n",
      "54 - A\n",
      "55 + n\n",
      "56 + a\n",
      "57 + n\n",
      "528 -  \n",
      "588 -  \n",
      "4303 +  \n",
      "4950 +  \n",
      "6193 +  \n",
      "6870 +  \n",
      "Rozdział 3 FUNKCJE KIEROWNICZE I PODMIOTY KOLEGIALNE NA UNIWERSYTECIE § 56 Rodzaje funkcji kierownic\n",
      "Rozdział 3 FUNKCJE KIEROWNICZE I PODMIOTY KOLEGIALNE nan UNIWERSYTECIE § 56 Rodzaje funkcji kierowni\n",
      "61_64.txt.xml 6040 vs 6043\n",
      "412 +  \n",
      "496 +  \n",
      "948 +  \n",
      "§ 61 Rada wydziału 1 W skład rady wydziału wchodzą: 1) dziekan jako przewodniczący z zastrzeżeniem u\n",
      "§ 61 Rada wydziału 1 W skład rady wydziału wchodzą: 1) dziekan jako przewodniczący z zastrzeżeniem u\n",
      "65_89.txt.xml 20878 vs 20884\n",
      "6511 +  \n",
      "6725 +  \n",
      "8499 +  \n",
      "11511 -  \n",
      "11513 +  \n",
      "12273 - N\n",
      "12274 - A\n",
      "12275 + n\n",
      "12276 + a\n",
      "12277 + n\n",
      "17510 +  \n",
      "18582 +  \n",
      "19475 -  \n",
      "19477 +  \n",
      "§ 65 Dyrektor kolegium 1 Kierownikiem kolegium studiów jest dyrektor kolegium 2 Dyrektora kolegium p\n",
      "§ 65 Dyrektor kolegium 1 Kierownikiem kolegium studiów jest dyrektor kolegium 2 Dyrektora kolegium p\n",
      "90_105.txt.xml 7348 vs 7351\n",
      "6618 +  \n",
      "6630 +  \n",
      "6731 +  \n",
      "§ 90 Wybór członków UKW Członków UKW wybiera się bezwzględną większością głosów § 91 Wybory uzupełni\n",
      "§ 90 Wybór członków UKW Członków UKW wybiera się bezwzględną większością głosów § 91 Wybory uzupełni\n"
     ]
    }
   ],
   "source": [
    "for filepath in glob.glob('./app_anots/*'):\n",
    "    filename = filepath.split('\\\\')[-1]\n",
    "    gs_dict = mae_schema.to_dict(f\"./gold_anots/{filename.replace('txt','txt.gs')}\")\n",
    "    app_dict = mae_schema.to_dict(f\"./app_anots/{filename}\")\n",
    "    print(filename, len(clean_up_text(gs_dict['TEXT'])), 'vs', len(clean_up_text(app_dict['TEXT'])))\n",
    "    for i, s in enumerate(difflib.ndiff(clean_up_text(gs_dict['TEXT']), clean_up_text(app_dict['TEXT']))):\n",
    "        if s[0] != ' ':\n",
    "            print(i, s)\n",
    "    print(clean_up_text(gs_dict['TEXT'])[:100])\n",
    "    print( clean_up_text(app_dict['TEXT'])[:100])\n",
    "    # assert(clean_up_text(gs_dict['TEXT']) == clean_up_text(app_dict['TEXT']))\n"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}