AK Importkonverter Overdrive: Unterschied zwischen den Versionen

Aus Admin Kuhn GmbH
Wechseln zu: Navigation, Suche
(Funktionsbeschreibung)
(Einige Bildschirmkopien)
(10 dazwischenliegende Versionen desselben Benutzers werden nicht angezeigt)
Zeile 1: Zeile 1:
 
[[image:AK_ImportkonverterOverdrive01.png|thumb|right|Die Startseite von <span class="plainlinks">[https://swiss.overdrive.com/ Ebooks Switzerland]</span> unter Teilnahme der Bibliotheken Schaffhausen]]
 
[[image:AK_ImportkonverterOverdrive01.png|thumb|right|Die Startseite von <span class="plainlinks">[https://swiss.overdrive.com/ Ebooks Switzerland]</span> unter Teilnahme der Bibliotheken Schaffhausen]]
Die US-amerikanische Firma <b><span class="plainlinks">[https://en.wikipedia.org/wiki/OverDrive,_Inc Overdrive Inc.]</span></b> wurde 1986 in Cleveland (Ohio) gegründet und hat sich auf den Vetrieb von E-Medien an Bibliotheken spezialisiert. Ihr Katalog umfasst über zwei Millionen Titel (hauptsächlich englisch-, aber auch deutschsprachige) von über 5'000 Verlegern und bietet so das grösste solche Angebot weltweit. Die Firma bedient dabei aktuell über 27'000 Bibliotheken und Schulen.  
+
Die US-amerikanische Firma <b><span class="plainlinks">[https://en.wikipedia.org/wiki/OverDrive,_Inc Overdrive Inc.]</span></b> wurde 1986 in Cleveland (Ohio) gegründet und hat sich auf den Vetrieb von E-Medien an Bibliotheken spezialisiert. Ihr Katalog umfasst über zwei Millionen Titel (hauptsächlich englischsprachige) von über 5'000 Verlegern und bietet so das grösste solche Angebot weltweit. Die Firma bedient dabei aktuell über 27'000 Bibliotheken und Schulen.  
  
Die <b><span class="plainlinks">[http://www.bibliotheken-schaffhausen.ch/ Bibliotheken Schaffhausen]</span></b> arbeiten mit dem Bibliothekssystem [[SISIS-Sunrise]] mit Touchpoint als OPAC und haben bis November 2016 bereits rund 550 E-Medien über Overdrive lizenziert. Diese Medien sind über den Link <span class="plainlinks">[https://swiss.overdrive.com/ Ebooks Switzerland]</span> zugänglich. Über die [[Anmeldeschnittstelle Overdrive]] können sich Bibliotheksbenutzer am OPAC und gleichzeitig bei Ebooks Switzerland authentifizieren.
+
Die <b><span class="plainlinks">[http://www.bibliotheken-schaffhausen.ch/ Bibliotheken Schaffhausen]</span></b> arbeiten mit dem Bibliothekssystem [[SISIS-Sunrise]] (mit Touchpoint als OPAC) und haben bis November 2016 bereits 1'140 E-Medien über Overdrive lizenziert. Diese Medien sind über das Overdrive-Portal <span class="plainlinks">[https://swiss.overdrive.com/ Ebooks Switzerland]</span> zugänglich. Über die [[Anmeldeschnittstelle Overdrive]] können sich Bibliotheksbenutzer am OPAC und gleichzeitig bei Ebooks Switzerland authentifizieren.
  
 
[[image:AK_ImportkonverterOverdrive02.png|thumb|right|Beginn eines Datensatzes mit Katalogisaten im Format MARC 21]]
 
[[image:AK_ImportkonverterOverdrive02.png|thumb|right|Beginn eines Datensatzes mit Katalogisaten im Format MARC 21]]
Overdrive liefert über den Dienst "<span class="plainlinks">[http://resources.overdrive.com/library/product-information/marc-express/ MARC Express]</span>" zu jedem lizenzierten Medium einen Katalogdatensatz im Datenformat <span class="plainlinks">[https://de.wikipedia.org/wiki/Machine-Readable_Cataloging MARC 21]</span> - da SISIS-Sunrise als Datenformat SISIS-MAB (eine Abart von <span class="plainlinks">[https://de.wikipedia.org/wiki/Maschinelles_Austauschformat_f%C3%BCr_Bibliotheken MAB 2]</span>) verwendet, wird zur Umwandlung von MARC 21 zu MAB2 also ein Konverter benötigt, bevor die Daten in die SISIS-Sunrise-Datenbank geladen und anschliessend im OPAC angezeigt werden können. Der bei SISIS-Sunrise mitgelieferte Konverter "Marc21ToSisisTitel" ist leider fehlerhaft, er liefert ungenügende Ergebnisse und seine Funktionsweise ist nicht dokumentiert, zudem können damit auch keine Exemplardaten erzeugt werden.
+
Overdrive liefert über den Dienst "<span class="plainlinks">[http://resources.overdrive.com/library/product-information/marc-express/ MARC Express]</span>" zu jedem lizenzierten Medium einen <b>Katalogdatensatz im Datenformat <span class="plainlinks">[https://de.wikipedia.org/wiki/Machine-Readable_Cataloging MARC 21]</span></b> - da SISIS-Sunrise als internes Datenformat eine hier "SISIS-MAB" genannte Abart von <span class="plainlinks">[https://de.wikipedia.org/wiki/Maschinelles_Austauschformat_f%C3%BCr_Bibliotheken MAB 2]</span> verwendet, wird zur Umwandlung von MARC zu MAB also ein Konverter benötigt, bevor die Daten in die SISIS-Sunrise-Datenbank geladen und anschliessend im OPAC angezeigt werden können. Der in SISIS-Sunrise enthaltene Konverter "Marc21ToSisisTitel" ist leider fehlerhaft, er liefert ungenügende Ergebnisse und seine Funktionsweise ist nicht dokumentiert, zudem können damit auch keine Exemplardaten erzeugt werden.
  
Um hier möglichst schnell zu einem hundertprozentig zufriedenstellenden Ergebnis zu gelangen, wurde zur Formatumwandlung in gemeinsamer Arbeit das Produkt <b>AK Importkonverter Overdrive</b> entwickelt. Die Umwandlung findet dabei nicht wie bei SISIS-Sunrise üblich über eine Datei mit undokumentierten Konverterfunktionen statt, welche in die Datenbank geladen werden muss, sondern über ein Bash-Skript. Die von Overdrive bereitgestellten MARC 21-Katalogdaten können per FTP auf den Bibliotheksrechner in ein lokales Arbeitsverzeichnis kopiert und dort direkt von diesem Skript verarbeitet werden.
+
Um hier möglichst schnell zu einem hundertprozentig zufriedenstellenden Ergebnis zu gelangen, wurde zur Formatumwandlung das Produkt <b>AK Importkonverter Overdrive</b> entwickelt. Die Umwandlung findet dabei nicht wie bei SISIS-Sunrise üblich über eine Datei mit undokumentierten Konverterfunktionen statt, welche in die Datenbank geladen werden muss, sondern über ein Bash-Skript. Die von Overdrive bereitgestellten MARC 21-Katalogdaten können per FTP auf den Bibliotheksrechner kopiert und dort direkt von diesem Skript verarbeitet werden.
  
 
=== Funktionsbeschreibung ===
 
=== Funktionsbeschreibung ===
  
Der im folgenden ausführlich beschriebene Vorgang erfolgt nach Skriptaufruf vollautomatisch und dauert für 500 Datensätze etwa eine Minute. Anders als in SISIS-Sunrise üblich führt das Skript zuerst eine Reihe von <b>Prüfungen</b> durch, bevor die Daten tatsächlich umgewandelt werden. Zu diesen gehören:
+
Der hier beschriebene Vorgang erfolgt nach Skriptaufruf vollautomatisch und dauert für 500 Datensätze etwa eine Minute. Anders als die herkömmlichen SISIS-Sunrise-Konverter führt das Skript zuerst eine Reihe von <b>Prüfungen</b> durch, bevor die Daten tatsächlich umgewandelt werden. Zu diesen gehören:
  
 
[[image:AK_ImportkonverterOverdrive03.png|thumb|right|Bildschirmausgabe des Importkonverters]]
 
[[image:AK_ImportkonverterOverdrive03.png|thumb|right|Bildschirmausgabe des Importkonverters]]
Zeile 19: Zeile 19:
 
* Entsprechen die Namen der im Arbeitsverzeichnis vorhandenen Overdrive-Dateien den üblichen Namenskonventionen?
 
* Entsprechen die Namen der im Arbeitsverzeichnis vorhandenen Overdrive-Dateien den üblichen Namenskonventionen?
  
Nun findet als erstes eine Umwandlung der in echtem <b>MARC 21</b>-Format vorliegenden <b>Titeldatensätze</b> in eine zeilenorientierte Form von MARC21 statt, welche sich mit Bash-Mitteln leichter verarbeiten lässt. Anhand der zuvor zur Umwandlung definierten MARC-Felder wird geprüft, ob die aktuellen Daten unbekannte neue MARC-Felder enthalten. Beispielsweise liefert Overdrive die Katalogdaten seit dem 23. Juni neu mit MARC-Feld 084 aus - darin enthalten sind <span class="plainlinks">[https://en.wikipedia.org/wiki/Book_Industry_Study_Group BISAC]</span> Subject Codes.
+
Nun findet als erstes eine Umwandlung der in echtem <b>MARC 21</b>-Format vorliegenden <b>Titeldatensätze</b> in eine zeilenorientierte Form statt, welche sich mit Bash-Mitteln leichter verarbeiten lässt. Anhand der zuvor zur Umwandlung definierten MARC-Felder wird geprüft, ob die aktuellen Daten unbekannte neue MARC-Felder enthalten. Beispielsweise liefert Overdrive die Katalogdaten seit dem 23. Juni neu mit dem zusätzlichen MARC-Feld 084 aus - darin enthalten sind <span class="plainlinks">[https://en.wikipedia.org/wiki/Book_Industry_Study_Group BISAC]</span> Subject Codes.
  
 
[[image:AK_ImportkonverterOverdrive04.png|thumb|right|Ein ins Format SISIS-MAB umgewandelter Titeldatensatz samt Exemplardaten]]
 
[[image:AK_ImportkonverterOverdrive04.png|thumb|right|Ein ins Format SISIS-MAB umgewandelter Titeldatensatz samt Exemplardaten]]
Vor der eigentlichen Datenumwandlung werden nun noch alle in den Daten vorgefundenen HTML-<span class="plainlinks">[https://de.wikipedia.org/wiki/Entitäten_in_Auszeichnungssprachen Entitäten]</span> in korrekte UTF-8-Zeichen umgewandelt. Anschliessend erfolgt die Umwandlung der Katalogdaten ins Format <b>SISIS-MAB</b>, wobei für jeden Titeldatensatz auch automatisch <b>Exemplardaten</b> angelegt werden. Während der Umwandlung wird die Anzahl bearbeiteter Datensätze im Terminal sichtbar hochgezählt. Abschliessend wird die erzeugte Ausgabedatei ins bekannte Verzeichnis "/var/spool/sisis/catserver/konvdat/titel" verschoeben, von wo sie über den SISIS-Sunrise IMX-Client problemlos in die gewünschte Datenbank geladen und dort invertiert werden kann.
+
Als nächstes werden alle in den Daten vorgefundenen HTML-<span class="plainlinks">[https://de.wikipedia.org/wiki/Entitäten_in_Auszeichnungssprachen Entitäten]</span> in korrekte UTF-8-Zeichen umgewandelt. Anschliessend erfolgt die Umwandlung der Katalogdaten ins Format <b>SISIS-MAB</b>, wobei für jeden Titeldatensatz auch automatisch <b>Exemplardaten</b> angelegt werden. Während der Umwandlung wird die Anzahl bearbeiteter Datensätze im Terminal sichtbar hochgezählt. Abschliessend wird die erzeugte Ausgabedatei ins bekannte Verzeichnis "/var/spool/sisis/catserver/konvdat/titel" verschoben, von wo sie über den SISIS-Sunrise IMX-Client problemlos in die gewünschte Datenbank geladen und dort invertiert werden kann.
  
Zur Dokumentation des Vorgangs wurde den Bibliotheken Schaffhausen zudem eine illustrierte <b>Anleitung</b> übergeben, welche den konkreten Ablauf beim Herunterladen per FTP, der Umwandlung mittels Importkonverter sowie beim eigentlichen Laden über den IMX-Client beschreibt.
+
Zur Dokumentation des Vorgangs wurde eine illustrierte <b>Anleitung</b> erstellt, welche den konkreten Ablauf beim Herunterladen per FTP, der Umwandlung mittels Importkonverter sowie beim eigentlichen Laden über den IMX-Client beschreibt.
  
 
Allenfalls notwendige <b>Änderungen</b> am Importkonverter Overdrive können ohne zeitraubende Umwege über die OCLC-Fehlermeldedatenbank und Hotfixes oder neue Versionen sofort durch die Admin Kuhn GmbH durchgeführt werden, sodass für die E-Medien von Overdrive immer ganz genau gemäss den Anforderungen der Bibliothek umgewandelte Titel- und Exemplardaten zur Verfügung stehen.
 
Allenfalls notwendige <b>Änderungen</b> am Importkonverter Overdrive können ohne zeitraubende Umwege über die OCLC-Fehlermeldedatenbank und Hotfixes oder neue Versionen sofort durch die Admin Kuhn GmbH durchgeführt werden, sodass für die E-Medien von Overdrive immer ganz genau gemäss den Anforderungen der Bibliothek umgewandelte Titel- und Exemplardaten zur Verfügung stehen.
  
Anders als bei den oftmals in schlechter Qualität vorliegenden Divibib-Daten enthält jeder einzelne Katalogsatz in den Overdrive-Daten eine URL zu einem <b>Coverbild</b>. Leider kann aber weder der SISIS-Sunrise webOPAC noch Touchpoint mit einem einfachen URL umgehen und das zugehörige Bild anzeigen. Stattdessen ist aber denkbar, während der Konvertierung auch gleichzeitig sämtliche Coverbilddateien direkt von Overdrive herunterzuladen, diese in der lokalen Datenbank zu speichern und so garantiert für jedes E-Medium von Overdrive ein Coverbild im OPAC anzuzeigen. Dies wurde aber für die Bibliotheken Schaffhausen noch nicht umgesetzt.
+
Anders als bei den oftmals in schlechter Qualität vorliegenden Divibib-Daten enthält jeder einzelne Katalogsatz in den Overdrive-Daten eine URL zu einem <b>Coverbild</b>. Leider kann aber weder der SISIS-Sunrise webOPAC noch Touchpoint mit einem einfachen URL umgehen und die verlinkte Bilddatei anzeigen. Stattdessen ist aber denkbar, während der Konvertierung auch gleichzeitig sämtliche Coverbilddateien direkt von Overdrive herunterzuladen, diese in der lokalen Datenbank zu speichern und so garantiert für jedes E-Medium von Overdrive ein Coverbild im OPAC anzuzeigen. Dies wurde aber für die Bibliotheken Schaffhausen noch nicht umgesetzt.
  
 
== Einige Bildschirmkopien ==
 
== Einige Bildschirmkopien ==
Zeile 37: Zeile 37:
 
image:AK_ImportkonverterOverdrive03.png|Bildschirmausgabe des Importkonverters
 
image:AK_ImportkonverterOverdrive03.png|Bildschirmausgabe des Importkonverters
 
image:AK_ImportkonverterOverdrive04.png|Ein ins Format SISIS-MAB umgewandelter Titeldatensatz samt Exemplardaten
 
image:AK_ImportkonverterOverdrive04.png|Ein ins Format SISIS-MAB umgewandelter Titeldatensatz samt Exemplardaten
 +
</gallery>
 +
<!--
 
image:AK_ImportkonverterOverdrive05.png|Anzeige eines geladenen Overdrive-Titeldatensatzes im SISIS-Sunrise Katalog-Client
 
image:AK_ImportkonverterOverdrive05.png|Anzeige eines geladenen Overdrive-Titeldatensatzes im SISIS-Sunrise Katalog-Client
 
image:AK_ImportkonverterOverdrive06.png|Anzeige eines Overdrive-Titeldatensatzes in Touchpoint (ohne Coverbild)
 
image:AK_ImportkonverterOverdrive06.png|Anzeige eines Overdrive-Titeldatensatzes in Touchpoint (ohne Coverbild)
</gallery>
+
-->
  
 
== Weblinks ==
 
== Weblinks ==

Version vom 3. Mai 2018, 18:15 Uhr

Die Startseite von Ebooks Switzerland unter Teilnahme der Bibliotheken Schaffhausen

Die US-amerikanische Firma Overdrive Inc. wurde 1986 in Cleveland (Ohio) gegründet und hat sich auf den Vetrieb von E-Medien an Bibliotheken spezialisiert. Ihr Katalog umfasst über zwei Millionen Titel (hauptsächlich englischsprachige) von über 5'000 Verlegern und bietet so das grösste solche Angebot weltweit. Die Firma bedient dabei aktuell über 27'000 Bibliotheken und Schulen.

Die Bibliotheken Schaffhausen arbeiten mit dem Bibliothekssystem SISIS-Sunrise (mit Touchpoint als OPAC) und haben bis November 2016 bereits 1'140 E-Medien über Overdrive lizenziert. Diese Medien sind über das Overdrive-Portal Ebooks Switzerland zugänglich. Über die Anmeldeschnittstelle Overdrive können sich Bibliotheksbenutzer am OPAC und gleichzeitig bei Ebooks Switzerland authentifizieren.

Beginn eines Datensatzes mit Katalogisaten im Format MARC 21

Overdrive liefert über den Dienst "MARC Express" zu jedem lizenzierten Medium einen Katalogdatensatz im Datenformat MARC 21 - da SISIS-Sunrise als internes Datenformat eine hier "SISIS-MAB" genannte Abart von MAB 2 verwendet, wird zur Umwandlung von MARC zu MAB also ein Konverter benötigt, bevor die Daten in die SISIS-Sunrise-Datenbank geladen und anschliessend im OPAC angezeigt werden können. Der in SISIS-Sunrise enthaltene Konverter "Marc21ToSisisTitel" ist leider fehlerhaft, er liefert ungenügende Ergebnisse und seine Funktionsweise ist nicht dokumentiert, zudem können damit auch keine Exemplardaten erzeugt werden.

Um hier möglichst schnell zu einem hundertprozentig zufriedenstellenden Ergebnis zu gelangen, wurde zur Formatumwandlung das Produkt AK Importkonverter Overdrive entwickelt. Die Umwandlung findet dabei nicht wie bei SISIS-Sunrise üblich über eine Datei mit undokumentierten Konverterfunktionen statt, welche in die Datenbank geladen werden muss, sondern über ein Bash-Skript. Die von Overdrive bereitgestellten MARC 21-Katalogdaten können per FTP auf den Bibliotheksrechner kopiert und dort direkt von diesem Skript verarbeitet werden.

Funktionsbeschreibung[Bearbeiten]

Der hier beschriebene Vorgang erfolgt nach Skriptaufruf vollautomatisch und dauert für 500 Datensätze etwa eine Minute. Anders als die herkömmlichen SISIS-Sunrise-Konverter führt das Skript zuerst eine Reihe von Prüfungen durch, bevor die Daten tatsächlich umgewandelt werden. Zu diesen gehören:

Bildschirmausgabe des Importkonverters
  • Hat seit dem letzten Ladevorgang eine Änderung der SISIS-Sunrise Feldstrukturtabelle Bestandsdaten stattgefunden? (dies um sicherzustellen, dass alle erwünschten MAB-Felder durch die entsprechenden Inhalte aus MARC21 gefüllt werden)
  • Steht ein gültiges Präfix - üblicherweise "TEMP" - für die künstlich zu erzeugenden Mediennummern in den Exemplardaten zur Verfügung?
  • Ermittlung der höchsten bisher verwendeten solchen Mediennummer.
  • Entsprechen die Namen der im Arbeitsverzeichnis vorhandenen Overdrive-Dateien den üblichen Namenskonventionen?

Nun findet als erstes eine Umwandlung der in echtem MARC 21-Format vorliegenden Titeldatensätze in eine zeilenorientierte Form statt, welche sich mit Bash-Mitteln leichter verarbeiten lässt. Anhand der zuvor zur Umwandlung definierten MARC-Felder wird geprüft, ob die aktuellen Daten unbekannte neue MARC-Felder enthalten. Beispielsweise liefert Overdrive die Katalogdaten seit dem 23. Juni neu mit dem zusätzlichen MARC-Feld 084 aus - darin enthalten sind BISAC Subject Codes.

Ein ins Format SISIS-MAB umgewandelter Titeldatensatz samt Exemplardaten

Als nächstes werden alle in den Daten vorgefundenen HTML-Entitäten in korrekte UTF-8-Zeichen umgewandelt. Anschliessend erfolgt die Umwandlung der Katalogdaten ins Format SISIS-MAB, wobei für jeden Titeldatensatz auch automatisch Exemplardaten angelegt werden. Während der Umwandlung wird die Anzahl bearbeiteter Datensätze im Terminal sichtbar hochgezählt. Abschliessend wird die erzeugte Ausgabedatei ins bekannte Verzeichnis "/var/spool/sisis/catserver/konvdat/titel" verschoben, von wo sie über den SISIS-Sunrise IMX-Client problemlos in die gewünschte Datenbank geladen und dort invertiert werden kann.

Zur Dokumentation des Vorgangs wurde eine illustrierte Anleitung erstellt, welche den konkreten Ablauf beim Herunterladen per FTP, der Umwandlung mittels Importkonverter sowie beim eigentlichen Laden über den IMX-Client beschreibt.

Allenfalls notwendige Änderungen am Importkonverter Overdrive können ohne zeitraubende Umwege über die OCLC-Fehlermeldedatenbank und Hotfixes oder neue Versionen sofort durch die Admin Kuhn GmbH durchgeführt werden, sodass für die E-Medien von Overdrive immer ganz genau gemäss den Anforderungen der Bibliothek umgewandelte Titel- und Exemplardaten zur Verfügung stehen.

Anders als bei den oftmals in schlechter Qualität vorliegenden Divibib-Daten enthält jeder einzelne Katalogsatz in den Overdrive-Daten eine URL zu einem Coverbild. Leider kann aber weder der SISIS-Sunrise webOPAC noch Touchpoint mit einem einfachen URL umgehen und die verlinkte Bilddatei anzeigen. Stattdessen ist aber denkbar, während der Konvertierung auch gleichzeitig sämtliche Coverbilddateien direkt von Overdrive herunterzuladen, diese in der lokalen Datenbank zu speichern und so garantiert für jedes E-Medium von Overdrive ein Coverbild im OPAC anzuzeigen. Dies wurde aber für die Bibliotheken Schaffhausen noch nicht umgesetzt.

Einige Bildschirmkopien[Bearbeiten]

Weblinks[Bearbeiten]

Herausgeber Sprache Webseitentitel Anmerkungen
country US.gif Wikipedia eng Overdrive, Inc.wbm Enzyklopädischer Artikel
country US.gif Overdrive, Inc. eng Overdrive : access to the most contentwbm Offizielle Homepage
country US.gif Overdrive Resource Center eng MARC Expresswbm Kostenlose MARC-Titeldatensätze
country DE.gif Wikipedia ger Maschinelles Austauschformat für Bibliotheken / MABwbm Enzyklopädischer Artikel
country DE.gif Wikipedia ger Machine Readable Cataloguing / MARCwbm Enzyklopädischer Artikel
country US.gif Library of Congress eng MARC standards : MARC 21 formatswbm Offizielle Dokumentation