LFD: Unterschied zwischen den Versionen

Aus Admin Kuhn GmbH
Zur Navigation springen Zur Suche springen
Keine Bearbeitungszusammenfassung
Keine Bearbeitungszusammenfassung
Zeile 1: Zeile 1:
{{Alert|Am besten wäre es wohl, das Skript "Migrate2Unicode.sh" ohne Schalter "-f" zu starten und mit Ausnahme der Standard-Formulare alle Formulare mit Hilfe von "iconv" händisch umzuwandeln.}}
{{Info|Siehe auch den allgemeinen Artikel [[Wörterbuchneuaufbau]]}}


Bei Verwendung des Schalters "-f" werden die Katalog-Formulare im Verzeichnis "$CATSERVERSPOOL/forms" automatisch durch das Skript "Migrate2Unicode.sh" zu UTF-8 umgewandelt.
Aufgrund von Änderungen in der Art der Invertierung müssen das "Titel-Wörterbuch" sowie das "Fremddatenpool-Wörterbuch" für jede Datenbank vollständig neu aufgebaut werden.


Dabei werden jedoch die bereits in UTF-8 vorliegenden Formulare "STANDARD.*" ebenfalls nochmals zu UTF-8 umgewandelt, was zu korrupten Zeichen führt.
{| class=wiki
! Bibliothek !! Datenbank !! Dauer
|-
| [[Stadtbücherei Kaufbeuren]] || sisis || 16 Minuten
|-
| [[Stadtbücherei Pulheim]] || sisis || ... Minuten.
|-
| [[Fouqué-Bibliothek der Stadt Brandenburg an der Havel]] || sisis || 60 Minuten
|-
| [[Stadtbücherei Lampertheim]] || sisis || 10 Minuten
|-
| [[Bayerischer Landtag]] || sisis || 5 Minuten
|-
| [[Kantonsbibliothek Uri]] || kkb || 2 Minuten
|-
| [[Kantonsbibliothek Uri]] || sisis || 12 Minuten
|-
| [[Helmholtz-Zentrum Berlin]] || sisis || 11 Minuten
|-
| [[Hochschule Ostwestfalen-Lippe]] || sisis || 24 Minuten
|}


Wechsel ins Verzeichnis, wo die temporären Dateien sowie die Protokolldateien angelegt werden sollen.


Angezeigt werden die doppelt zu UTF-8 umgewandelten Standardformulare (als UTF-8 ausgeliefert und von "Migrate2Unicode.sh -f" nochmals zu UTF-8 umgewandelt).
$ <b>cd /OCLC/backup/MIGRATION-TEST</b>
bzw.
$ <b>cd /OCLC/backup/MIGRATION-REAL</b>


mik@kuhn:~/Dokumente/Kunden/Wiesbaden-Destatis/AK-0037/Formulare/NEU-TEST$ ls -al
Durchführen des Wörterbuchneuaufbaus.
insgesamt 92
drwxrwxr-x 2 mik mik  4096 Jul  1 11:42 .
drwxrwxr-x 8 mik mik  4096 Jul  1 11:41 ..
-rw-r--r-- 1 mik mik 14881 Jun 25 17:24 STANDARD.Fremdpool
-rw-r--r-- 1 mik mik 11698 Jun 25 17:24 STANDARD.Koerperschaften
-rw-r--r-- 1 mik mik 11460 Jun 25 17:24 STANDARD.Personen
-rw-r--r-- 1 mik mik 12330 Jun 25 17:24 STANDARD.Schlagwort
-rw-r--r-- 1 mik mik 11221 Jun 25 17:24 STANDARD.Systematik
-rw-r--r-- 1 mik mik 15384 Jun 25 17:24 STANDARD.Titel


  for i in $(ls -1); do mv $i $i.doppelt; done
  $ <b>export DBS=syb DATABASE=${DATABASE} && \
    echo "Gesetzte Datenbank ist: ${DATABASE}"</b>
$ <b>mkdir wbneu_${DATABASE} && cd wbneu_${DATABASE}</b>
$ <b>/opt/bin/startwbneu</b>


Umwandeln
        W Ö R T E R B U C H N E U A U F B A U
Datenbank: sisis
Sollen alle Wörterbücher neu aufgebaut werden (A)
oder einzelne Wörterbücher                    (E)
Abbruch                                      (Q) ? <b>e</b>
Soll NUR das Titel-String-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>n</b>
Soll das Titel-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>j</b>
Soll das Personen-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>n</b>
Soll das Körperschaften-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>n</b>
Soll das Schlagwort-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>n</b>
Soll das Systematik-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>n</b>
Soll das Fremddatenpool-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? <b>j</b>
  Bitte warten ...


  for i in *.doppelt; do iconv -f UTF-8 -t ISO-8859-1 $i > $(basename $i .doppelt); done
  Der Platz im akt. Verzeichnis ist ausreichend für die Deskriptoren-Dateien.
Sollen die dsk-Dateien im akt. Verzeichnis angelegt werden (J/N/Q=Abbruch) ?  <b>j</b>


Löschen der ".doppelt"-Dateien.
Der Platz unter /var/tmp ist ausreichend für die temp. Sortier-Dateien.
Sollen die temp. Sortier-Dateien dort angelegt werden (J/N/Q=Abbruch) ? <b>j</b>


  rm *.doppelt
  Nur die in Datei *_felder spezifizierten Felder neu aufbauen
(J/N/Q=Abbruch) ?  <b>n</b>


== Umwandeln von Formularen im Format ISO ins Format UTF-8 ==
Soll das Entladen auf 10 parallele Verzeichnisse verteilt werden
(Achtung: Es wird der doppelte Speicherplatz benötigt)
(J/N/Q=Abbruch) ?  <b>j</b>


Im Formularverzeichnis. Danach haben alle Dateien die Endung ".iso".
Sollen Ladedateien erzeugt werden, anstatt die Deskriptoren direkt zu laden
(J/N/Q=Abbruch) ? <b>j</b>


  for i in $(ls -1); do mv $i $i.iso; done
  Die Konsistenzprüfung ergab, dass für einen korrekten Wörterbuchaufbau \nvorher Daten-Manipulationen
vorgenommen werden müssen,\n so dass es kurzzeitig, d.h. bevor das Wörterbuch aufgebaut ist,\n zu
weiterführenden Inkonsistenzen der Daten kommen kann\n (s. auch die zugehörige Dokumentation).
Sie haben folgende Möglichkeiten:
Testerstellung der Deskriptor-Dateien (keine Veränderung der Datenbank)(T)
Durchführung der Datenmanipulation mit anschl. Wörterbuchneuaufbau    (W)
Testweise erstellte Deskriptoren jetzt laden                          (L)
Abbruch der Bearbeitung                                                (Q) <b>w</b>


Umwandeln.
Folgende Wörterbücher wurden zur Bearbeitung ausgewählt:
Titel-Wörterbuch
Fremddaten-Pool-Wörterbuch
Die Hilfsdateien für die Sortierung werden unter
</var/tmp> abgelegt
Die Deskriptoren-Dateien werden unter </OCLC/backup/MIGRATION-REAL/wbneu> abgelegt
Datenmanipulation vor Wörterbuchneuaufbau wird durchgeführt
Die Deskriptoren-Dateien werden ***PARALLEL*** entladen
Das/die gewählte(n) Wörterbuch/Wörterbücher werden neu aufgebaut
Jetzt im Hintergrund starten (J/N) ? <b>j</b>


  for i in *.iso; do iconv -f ISO-8859-1 -t UTF-8 $i > $(basename $i .iso); done
  $ <b>tail -f nohup.out</b>


Löschen der ".iso"-Dateien.
== Fehler ==


rm *.iso
* [https://issues.oclcpica.org/browse/SRP-17346 SRP-17346 Datumsfelder -> falsche Treffermengen]

Version vom 28. August 2013, 21:34 Uhr

Siehe auch den allgemeinen Artikel Wörterbuchneuaufbau

Aufgrund von Änderungen in der Art der Invertierung müssen das "Titel-Wörterbuch" sowie das "Fremddatenpool-Wörterbuch" für jede Datenbank vollständig neu aufgebaut werden.

Bibliothek Datenbank Dauer
Stadtbücherei Kaufbeuren sisis 16 Minuten
Stadtbücherei Pulheim sisis ... Minuten.
Fouqué-Bibliothek der Stadt Brandenburg an der Havel sisis 60 Minuten
Stadtbücherei Lampertheim sisis 10 Minuten
Bayerischer Landtag sisis 5 Minuten
Kantonsbibliothek Uri kkb 2 Minuten
Kantonsbibliothek Uri sisis 12 Minuten
Helmholtz-Zentrum Berlin sisis 11 Minuten
Hochschule Ostwestfalen-Lippe sisis 24 Minuten

Wechsel ins Verzeichnis, wo die temporären Dateien sowie die Protokolldateien angelegt werden sollen. 

$ cd /OCLC/backup/MIGRATION-TEST
bzw.
$ cd /OCLC/backup/MIGRATION-REAL

Durchführen des Wörterbuchneuaufbaus. 

$ export DBS=syb DATABASE=${DATABASE} && \
    echo "Gesetzte Datenbank ist: ${DATABASE}"
$ mkdir wbneu_${DATABASE} && cd wbneu_${DATABASE}
$ /opt/bin/startwbneu

        W Ö R T E R B U C H N E U A U F B A U

Datenbank: sisis

Sollen alle Wörterbücher neu aufgebaut werden (A)
oder einzelne Wörterbücher                    (E)
Abbruch                                       (Q) ? e

Soll NUR das Titel-String-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? n
Soll das Titel-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? j
Soll das Personen-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? n
Soll das Körperschaften-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? n
Soll das Schlagwort-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? n
Soll das Systematik-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? n
Soll das Fremddatenpool-Wörterbuch erzeugt werden (J/N/Abbruch=Q) ? j

 Bitte warten ...

Der Platz im akt. Verzeichnis ist ausreichend für die Deskriptoren-Dateien.
Sollen die dsk-Dateien im akt. Verzeichnis angelegt werden (J/N/Q=Abbruch) ?  j

Der Platz unter /var/tmp ist ausreichend für die temp. Sortier-Dateien.
Sollen die temp. Sortier-Dateien dort angelegt werden (J/N/Q=Abbruch) ? j

Nur die in Datei *_felder spezifizierten Felder neu aufbauen
(J/N/Q=Abbruch) ?  n

Soll das Entladen auf 10 parallele Verzeichnisse verteilt werden
(Achtung: Es wird der doppelte Speicherplatz benötigt)
(J/N/Q=Abbruch) ?  j

Sollen Ladedateien erzeugt werden, anstatt die Deskriptoren direkt zu laden
(J/N/Q=Abbruch) ? j

Die Konsistenzprüfung ergab, dass für einen korrekten Wörterbuchaufbau \nvorher Daten-Manipulationen
vorgenommen werden müssen,\n so dass es kurzzeitig, d.h. bevor das Wörterbuch aufgebaut ist,\n zu
weiterführenden Inkonsistenzen der Daten kommen kann\n (s. auch die zugehörige Dokumentation).

Sie haben folgende Möglichkeiten:
Testerstellung der Deskriptor-Dateien (keine Veränderung der Datenbank)(T)
Durchführung der Datenmanipulation mit anschl. Wörterbuchneuaufbau     (W)
Testweise erstellte Deskriptoren jetzt laden                           (L)
Abbruch der Bearbeitung                                                (Q) w

Folgende Wörterbücher wurden zur Bearbeitung ausgewählt:
Titel-Wörterbuch
Fremddaten-Pool-Wörterbuch
Die Hilfsdateien für die Sortierung werden unter
 abgelegt
Die Deskriptoren-Dateien werden unter </OCLC/backup/MIGRATION-REAL/wbneu> abgelegt
Datenmanipulation vor Wörterbuchneuaufbau wird durchgeführt

Die Deskriptoren-Dateien werden ***PARALLEL*** entladen

Das/die gewählte(n) Wörterbuch/Wörterbücher werden neu aufgebaut

Jetzt im Hintergrund starten (J/N) ? j

$ tail -f nohup.out

Fehler

Von «https://adminkuhn.ch/adminkuhn/index.php?title=LFD&oldid=2210»