metsimporter issueshttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues2022-05-09T18:12:58Zhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/31Vorkonfigurierter Index wird nicht mehr erzeugt (Job Failed #643367)2022-05-09T18:12:58ZChristian MahnkeVorkonfigurierter Index wird nicht mehr erzeugt (Job Failed #643367)Hier ein Beispiel:
Job [#643367](https://gitlab.gwdg.de/subugoe/metsimporter/-/jobs/643367) failed for a590f9d2104f461e4c1b3c5a774b6da520451de5:
Die Jobs aus dem Redis scheinben nicht abgearbeitet zu werden...Hier ein Beispiel:
Job [#643367](https://gitlab.gwdg.de/subugoe/metsimporter/-/jobs/643367) failed for a590f9d2104f461e4c1b3c5a774b6da520451de5:
Die Jobs aus dem Redis scheinben nicht abgearbeitet zu werden...Christian MahnkeChristian Mahnkehttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/30build_search failed2021-08-02T07:41:36ZJoerg-Holger Panzerbuild_search failedwait-for-it.sh löst time-out aus, da curl nicht ausgeführt werden kann. Elasticsearch nicht verfügbar, oder falscher Port.
```
/usr/local/bin/wait-for-it.sh -s -t 120 0.0.0.0:19200 -- curl -X PUT http://0.0.0.0:19200/meta.dz_phys/ -H 'C...wait-for-it.sh löst time-out aus, da curl nicht ausgeführt werden kann. Elasticsearch nicht verfügbar, oder falscher Port.
```
/usr/local/bin/wait-for-it.sh -s -t 120 0.0.0.0:19200 -- curl -X PUT http://0.0.0.0:19200/meta.dz_phys/ -H 'Content-Type: application/json' --data-binary @/mapping_meta.dz_phys.json
113#8 7.212 wait-for-it.sh: waiting 120 seconds for 0.0.0.0:19200
114#8 127.2 wait-for-it.sh: timeout occurred after waiting 120 seconds for 0.0.0.0:19200
```
s. https://gitlab.gwdg.de/subugoe/metsimporter/-/commit/8a95a330293ca26b4a94b432af793190c358acf2
Job [#610602](https://gitlab.gwdg.de/subugoe/metsimporter/-/jobs/610602) failed for 02671c57d5d08c1a4ae2804268bb3d17af8339bf:Christian MahnkeChristian Mahnkehttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/29S3 build failed2022-05-09T18:10:51ZJoerg-Holger PanzerS3 build failedIch habe "--squash" entfernt, dann läuft der Build durch, aber schau noch mal drauf...
s. https://gitlab.gwdg.de/subugoe/metsimporter/-/blob/master/.gitlab-ci.yml#L86Ich habe "--squash" entfernt, dann läuft der Build durch, aber schau noch mal drauf...
s. https://gitlab.gwdg.de/subugoe/metsimporter/-/blob/master/.gitlab-ci.yml#L86Christian MahnkeChristian Mahnkehttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/28PDF Converter Variable CONVERTER_WORK_VERTICLE nicht gesetzt2021-09-03T07:38:48ZChristian MahnkePDF Converter Variable CONVERTER_WORK_VERTICLE nicht gesetztDerzeit ist die Initialisirung des PDF Converters nicht ganz klar. In `docker-compose.local.yaml` wird die Variable `CONVERTER_WORK_VERTICLE` als Argument genutzt aber diese wird nirgendwo gesetzt. <s>Dies ist aufgefallen als ich nach de...Derzeit ist die Initialisirung des PDF Converters nicht ganz klar. In `docker-compose.local.yaml` wird die Variable `CONVERTER_WORK_VERTICLE` als Argument genutzt aber diese wird nirgendwo gesetzt. <s>Dies ist aufgefallen als ich nach dem Port für den Dienst gesucht habe...</s>
Die Kommunikation mit dem Converter wird über Redis geregelt.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/27Collector stürzt auf AWS ab2021-07-30T11:37:02ZChristian MahnkeCollector stürzt auf AWS abFolgende Fehlermeldung tritt auf:
````
time="2021-07-15T15:49:05Z" level=info msg="INFO Waiting for S3 Storage https://s3.eu-central-1.amazonaws.com..."
time="2021-07-15T15:49:05Z" level=info msg="INFO S3 https://s3.eu-central-1.amazona...Folgende Fehlermeldung tritt auf:
````
time="2021-07-15T15:49:05Z" level=info msg="INFO Waiting for S3 Storage https://s3.eu-central-1.amazonaws.com..."
time="2021-07-15T15:49:05Z" level=info msg="INFO S3 https://s3.eu-central-1.amazonaws.com response with status code 200"
time="2021-07-15T15:49:05Z" level=info msg="Request successful, S3 service ready"
panic: runtime error: invalid memory address or nil pointer dereference
[signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x933fea]
goroutine 1 [running]:
main.listMetsInBucket(0xc000290550, 0x5)
/go/src/api/collector.go:495 +0x82a
main.main()
/go/src/api/collector.go:342 +0x4b8
````Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/26Logging2021-07-01T06:34:54ZJoerg-Holger PanzerLoggingImplement/Integrate logging solution. Logging should be usable for all containers and the log should go directly to ES.Implement/Integrate logging solution. Logging should be usable for all containers and the log should go directly to ES.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/25Service Endpunkt zum Erzeugen eines Indexing Jobs2021-09-14T11:33:07ZJoerg-Holger PanzerService Endpunkt zum Erzeugen eines Indexing JobsREST Endpunkt zum erzeugen eines Jobs und starten der Indexierung.REST Endpunkt zum erzeugen eines Jobs und starten der Indexierung.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/24Probleme mit Sonderzeichen in Zitationen (DINO-587)2021-06-01T08:59:27ZJoerg-Holger PanzerProbleme mit Sonderzeichen in Zitationen (DINO-587)In Zitationen werden Sonderzeichen nicht korrekt angezeigt.
Vgl.
```
@Book{ 020406282_0004,
author = { Wießner, Amadeus },
title = { Philipp Melanchthons Verdienste um das Schulwesen; dargestellt vom Pred. Dr. A. Wießner in Belger...In Zitationen werden Sonderzeichen nicht korrekt angezeigt.
Vgl.
```
@Book{ 020406282_0004,
author = { Wießner, Amadeus },
title = { Philipp Melanchthons Verdienste um das Schulwesen; dargestellt vom Pred. Dr. A. Wießner in Belgern },
titlenormalized = { },
url = { https://dev.digizeitschriften.de/id/020406282_0004|LOG_0026 },
language = { ger },
}
```Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/23Im PDF Inhaltsverzeichnis für Strukturelement nachziehen (DINO-275).2021-09-14T11:32:14ZJoerg-Holger PanzerIm PDF Inhaltsverzeichnis für Strukturelement nachziehen (DINO-275).Inhaltsverzeichnis auch für Strukturelement PDFs anbieten.Inhaltsverzeichnis auch für Strukturelement PDFs anbieten.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/22Zitierlinks in TIFY Export Panel einbauen (DINO-454)2021-06-01T06:44:57ZJoerg-Holger PanzerZitierlinks in TIFY Export Panel einbauen (DINO-454)Zitierlinks für Strukturelemente in IIIF Manifest einbauen.Zitierlinks für Strukturelemente in IIIF Manifest einbauen.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/21Anwendungen resilenter gestalten2022-05-09T18:12:31ZChristian MahnkeAnwendungen resilenter gestaltenNicht für Digizeit relevant aber für die Nachnutzung:
Derzeit gibt es in einigen Situationen Segfaults:
* Wenn die Konfiguration fehlerhaft oder unvollständig ist:
```
collector_1 | time="2021-05-20T09:59:29Z" level=info msg="INFO S3 ...Nicht für Digizeit relevant aber für die Nachnutzung:
Derzeit gibt es in einigen Situationen Segfaults:
* Wenn die Konfiguration fehlerhaft oder unvollständig ist:
```
collector_1 | time="2021-05-20T09:59:29Z" level=info msg="INFO S3 http://s3.fs.example.com response with status code 403"
collector_1 | time="2021-05-20T09:59:29Z" level=info msg="Request successful, S3 service ready"
collector_1 | INFO[2021-05-20T09:59:29Z]/go/src/api/collector.go:301 main.main() Collector Service starts processing...
collector_1 | ERRO[2021-05-20T09:59:29Z]/go/src/api/collector.go:507 main.listMetsInBucketV2() failed to list objects for bucket dzeit, due to NoSuchBucket: The specified bucket does not exist
collector_1 | status code: 404, request id: 1680BDFF489682E0, host id:
collector_1 | panic: runtime error: invalid memory address or nil pointer dereference
collector_1 | [signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x922f49]
collector_1 |
collector_1 | goroutine 1 [running]:
collector_1 | main.listMetsInBucketV2(0xc0002bc8b0, 0x5)
collector_1 | /go/src/api/collector.go:550 +0x6a9
collector_1 | main.main()
collector_1 | /go/src/api/collector.go:323 +0x413
```
* (Vermutlich) wenn ein Komponente (wie hier) Storage weg bricht (auch nur kurzzeitig).
Das erfordert bisher einen Neustart - das ist suboptimal und sollte geändert werden.https://gitlab.gwdg.de/subugoe/metsimporter/-/issues/20METS Testdaten bereitstellen2021-05-20T06:34:05ZJoerg-Holger PanzerMETS Testdaten bereitstellenAusschnitt aus internen und externen Anker und Titel Daten bereitstellen.Ausschnitt aus internen und externen Anker und Titel Daten bereitstellen.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/19Search build failed2021-07-01T06:35:55ZJoerg-Holger PanzerSearch build failedIn docker > search > Dockerfile:
```
...
/usr/local/bin/wait-for-it.sh -t 0 localhost:9200 -- curl -X PUT http://localhost:9200/meta.dz_phys/ -H 'Content-Type: application/json' --data-binary @/mapping_meta.dz_phys.json && \
...In docker > search > Dockerfile:
```
...
/usr/local/bin/wait-for-it.sh -t 0 localhost:9200 -- curl -X PUT http://localhost:9200/meta.dz_phys/ -H 'Content-Type: application/json' --data-binary @/mapping_meta.dz_phys.json && \
...
```
Anscheinend wird hier localhost (in: /usr/local/bin/wait-for-it.sh -t 0 localhost:9200) nicht aufgelöst. Wenn das lokal mit IP-Adr ausgeführt wird, dann läuft es durch. Das funktioniert jedoch im Context des GitLab Runners nicht...https://gitlab.gwdg.de/subugoe/metsimporter/-/issues/18Collector panic2021-05-18T13:15:17ZChristian MahnkeCollector panicFür unser Daily gleich:
```
collector_1 | ERRO[2021-05-18T06:14:42Z]/go/src/api/collector.go:485 main.listMetsInBucketV2() failed to list objects for bucket dzeit, due to RequestError: send request failed
collector_1 | caused by: Get ...Für unser Daily gleich:
```
collector_1 | ERRO[2021-05-18T06:14:42Z]/go/src/api/collector.go:485 main.listMetsInBucketV2() failed to list objects for bucket dzeit, due to RequestError: send request failed
collector_1 | caused by: Get "https://dzeit.s3.fs.example.com/?list-type=2&max-keys=250&prefix=mets": dial tcp 172.18.0.3:443: connect: connection refused
redis | 1:M 18 May 2021 06:14:38.280 * monotonic clock: POSIX clock_gettime
redis | 1:M 18 May 2021 06:14:38.281 * Running mode=standalone, port=6379.
redis | 1:M 18 May 2021 06:14:38.281 # Server initialized
redis | 1:M 18 May 2021 06:14:38.281 * DB loaded from append only file: 0.000 seconds
redis | 1:M 18 May 2021 06:14:38.281 * Ready to accept connections
s3_1 | Endpoint: http://172.18.0.3 http://127.0.0.1
s3_1 |
s3_1 | Browser Access:
s3_1 | http://172.18.0.3 http://127.0.0.1
s3_1 |
s3_1 | Object API (Amazon S3 compatible):
s3_1 | Go: https://docs.min.io/docs/golang-client-quickstart-guide
s3_1 | Java: https://docs.min.io/docs/java-client-quickstart-guide
s3_1 | Python: https://docs.min.io/docs/python-client-quickstart-guide
s3_1 | JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
s3_1 | .NET: https://docs.min.io/docs/dotnet-client-quickstart-guide
s3_1 | IAM initialization complete
collector_1 | panic: runtime error: invalid memory address or nil pointer dereference
collector_1 | [signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x921a09]
collector_1 |
collector_1 | goroutine 1 [running]:
collector_1 | main.listMetsInBucketV2(0xc0002ba8f0, 0x5)
collector_1 | /go/src/api/collector.go:528 +0x6a9
collector_1 | main.main()
collector_1 | /go/src/api/collector.go:323 +0x413
indexer_collector_1 exited with code 2
```
Ich kann mir gerade noch keinen Reim drauf machen, können wir gleich drüber sprechen...Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/17IIIF Manifeste überprüfen2021-06-01T06:46:43ZJoerg-Holger PanzerIIIF Manifeste überprüfenIIIF Manifeste werden über den Importer im S3 abgelegt. Manifeste müssen noch geprüft werden (Syntax, Information).IIIF Manifeste werden über den Importer im S3 abgelegt. Manifeste müssen noch geprüft werden (Syntax, Information).Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/16Citations Dokumente mit MET besprechen2022-03-30T10:37:09ZJoerg-Holger PanzerCitations Dokumente mit MET besprechenRIS, Endnote und Bibtext Citationen mit MET (Jürgen Braun) besprechen.
Frage: Syntax, InformationRIS, Endnote und Bibtext Citationen mit MET (Jürgen Braun) besprechen.
Frage: Syntax, InformationJoerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/15Elasticsearch issue2021-05-06T12:39:18ZJoerg-Holger PanzerElasticsearch issueWrite to ES fails: "403 Forbidden: blocked by: [FORBIDDEN/12/index read-only / allow delete..."Write to ES fails: "403 Forbidden: blocked by: [FORBIDDEN/12/index read-only / allow delete..."Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/14Daily 6.5 followup2021-05-07T06:24:14ZChristian MahnkeDaily 6.5 followupIch war mir nicht sicher wie wir das dokumentieren wollen, daher einfach ein Issue als Notizen:
# docker/es6/config/elasticsearch.yml
Die Datei wir gerade nicht ins Image kopiert, die Konfiguration im Vanilla Container sieht allerdings...Ich war mir nicht sicher wie wir das dokumentieren wollen, daher einfach ein Issue als Notizen:
# docker/es6/config/elasticsearch.yml
Die Datei wir gerade nicht ins Image kopiert, die Konfiguration im Vanilla Container sieht allerdings (nur) so aus:
```
cluster.name: "docker-cluster"
network.host: 0.0.0.0
```
Prüfen, ob die Fehler in den Unterschieden bestehen könnten...https://gitlab.gwdg.de/subugoe/metsimporter/-/issues/13`config` nicht gefunden2021-05-06T06:16:54ZChristian Mahnke`config` nicht gefundendocker-compose -f docker-compose.base.yaml -f docker-compose.local.yaml build
```
> [builder 9/11] RUN go build -o goapp: ...docker-compose -f docker-compose.base.yaml -f docker-compose.local.yaml build
```
> [builder 9/11] RUN go build -o goapp:
#15 36.16 # main/index
#15 36.16 index/elasticsearch.go:72:76: undefined: config
#15 36.16 index/elasticsearch.go:73:76: undefined: config
#15 36.16 index/elasticsearch.go:148:27: undefined: config
#15 36.16 index/elasticsearch.go:150:38: undefined: config
#15 36.16 index/elasticsearch.go:152:27: undefined: config
#15 36.16 index/elasticsearch.go:153:34: undefined: config
#15 36.16 index/elasticsearch.go:166:21: undefined: config
#15 36.16 index/elasticsearch.go:364:12: undefined: config
#15 36.16 index/elasticsearch.go:831:107: undefined: config
#15 36.16 index/elasticsearch.go:855:39: undefined: config
#15 36.16 index/elasticsearch.go:855:39: too many errors
```
Der Fehler tritt beim bauen von `indexer` auf - vielleicht wäre es auch hilfreich die Artefakte sinnvoll zu benennen, hier also `indexer` statt `goapp`...Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/12Lizenzen klären2022-05-09T18:08:56ZJoerg-Holger PanzerLizenzen klären