metsimporter issueshttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues2021-04-29T08:49:29Zhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/1Merge Requests2021-04-29T08:49:29ZKristine VoigtMerge RequestsJoerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/2Publisher integrieren2021-05-26T07:02:38ZKristine VoigtPublisher integrierenJoerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/3zitieren auf Artikelebene (DINO-454)2021-06-01T07:15:45ZKristine Voigtzitieren auf Artikelebene (DINO-454)Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/4Datenbestand synchronisieren2021-07-01T07:06:17ZKristine VoigtDatenbestand synchronisierenJoerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/5Integration in `digizeit-server`2021-09-03T07:38:28ZChristian MahnkeIntegration in `digizeit-server`Christian MahnkeChristian Mahnkehttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/6Bereitstellen auf AWS2022-05-09T18:07:05ZChristian MahnkeBereitstellen auf AWSChristian MahnkeChristian Mahnkehttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/7Erzeugung der Citationdaten anpassen2021-05-12T07:15:42ZJoerg-Holger PanzerErzeugung der Citationdaten anpassenDie erzeugung vo bibtex, ris� und endnote basiert noch auf MongoDB. Das muss auf den jeweiligen Index (ES o. Solr) aufsetzen.Die erzeugung vo bibtex, ris� und endnote basiert noch auf MongoDB. Das muss auf den jeweiligen Index (ES o. Solr) aufsetzen.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/8Erzeugung der IIIF Manifeste anpassen2021-05-12T07:16:49ZJoerg-Holger PanzerErzeugung der IIIF Manifeste anpassenDie erzeugung der iiif Manifeste basiert noch auf MongoDB. Das muss auf den jeweiligen Index (ES o. Solr) aufsetzen.Die erzeugung der iiif Manifeste basiert noch auf MongoDB. Das muss auf den jeweiligen Index (ES o. Solr) aufsetzen.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/9Indexing to ES failed2021-04-29T09:29:07ZJoerg-Holger PanzerIndexing to ES failedThe indexer does its job, but writing to ES fails.The indexer does its job, but writing to ES fails.Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/10Improve configuration2021-05-06T07:25:11ZJoerg-Holger PanzerImprove configurationCurrently everything is configured in one big config file (docker-env).
- split config
- by context (GDZ, NLH, DINO)
- by criteria static, variable
- concentrate
- indexer specific
- converter specific
- grouping (which thi...Currently everything is configured in one big config file (docker-env).
- split config
- by context (GDZ, NLH, DINO)
- by criteria static, variable
- concentrate
- indexer specific
- converter specific
- grouping (which things must be together)Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/11Bildreferent in iiif Manifest2021-05-19T07:10:36ZJoerg-Holger PanzerBildreferent in iiif ManifestIn den iiif Manifesten muss die Bildreferenz auf die externen Bilder enthalten sein.
vgl. DINO-479In den iiif Manifesten muss die Bildreferenz auf die externen Bilder enthalten sein.
vgl. DINO-479Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/12Lizenzen klären2022-05-09T18:08:56ZJoerg-Holger PanzerLizenzen klärenhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/13`config` nicht gefunden2021-05-06T06:16:54ZChristian Mahnke`config` nicht gefundendocker-compose -f docker-compose.base.yaml -f docker-compose.local.yaml build
```
> [builder 9/11] RUN go build -o goapp: ...docker-compose -f docker-compose.base.yaml -f docker-compose.local.yaml build
```
> [builder 9/11] RUN go build -o goapp:
#15 36.16 # main/index
#15 36.16 index/elasticsearch.go:72:76: undefined: config
#15 36.16 index/elasticsearch.go:73:76: undefined: config
#15 36.16 index/elasticsearch.go:148:27: undefined: config
#15 36.16 index/elasticsearch.go:150:38: undefined: config
#15 36.16 index/elasticsearch.go:152:27: undefined: config
#15 36.16 index/elasticsearch.go:153:34: undefined: config
#15 36.16 index/elasticsearch.go:166:21: undefined: config
#15 36.16 index/elasticsearch.go:364:12: undefined: config
#15 36.16 index/elasticsearch.go:831:107: undefined: config
#15 36.16 index/elasticsearch.go:855:39: undefined: config
#15 36.16 index/elasticsearch.go:855:39: too many errors
```
Der Fehler tritt beim bauen von `indexer` auf - vielleicht wäre es auch hilfreich die Artefakte sinnvoll zu benennen, hier also `indexer` statt `goapp`...Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/14Daily 6.5 followup2021-05-07T06:24:14ZChristian MahnkeDaily 6.5 followupIch war mir nicht sicher wie wir das dokumentieren wollen, daher einfach ein Issue als Notizen:
# docker/es6/config/elasticsearch.yml
Die Datei wir gerade nicht ins Image kopiert, die Konfiguration im Vanilla Container sieht allerdings...Ich war mir nicht sicher wie wir das dokumentieren wollen, daher einfach ein Issue als Notizen:
# docker/es6/config/elasticsearch.yml
Die Datei wir gerade nicht ins Image kopiert, die Konfiguration im Vanilla Container sieht allerdings (nur) so aus:
```
cluster.name: "docker-cluster"
network.host: 0.0.0.0
```
Prüfen, ob die Fehler in den Unterschieden bestehen könnten...https://gitlab.gwdg.de/subugoe/metsimporter/-/issues/15Elasticsearch issue2021-05-06T12:39:18ZJoerg-Holger PanzerElasticsearch issueWrite to ES fails: "403 Forbidden: blocked by: [FORBIDDEN/12/index read-only / allow delete..."Write to ES fails: "403 Forbidden: blocked by: [FORBIDDEN/12/index read-only / allow delete..."Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/16Citations Dokumente mit MET besprechen2022-03-30T10:37:09ZJoerg-Holger PanzerCitations Dokumente mit MET besprechenRIS, Endnote und Bibtext Citationen mit MET (Jürgen Braun) besprechen.
Frage: Syntax, InformationRIS, Endnote und Bibtext Citationen mit MET (Jürgen Braun) besprechen.
Frage: Syntax, InformationJoerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/17IIIF Manifeste überprüfen2021-06-01T06:46:43ZJoerg-Holger PanzerIIIF Manifeste überprüfenIIIF Manifeste werden über den Importer im S3 abgelegt. Manifeste müssen noch geprüft werden (Syntax, Information).IIIF Manifeste werden über den Importer im S3 abgelegt. Manifeste müssen noch geprüft werden (Syntax, Information).Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/18Collector panic2021-05-18T13:15:17ZChristian MahnkeCollector panicFür unser Daily gleich:
```
collector_1 | ERRO[2021-05-18T06:14:42Z]/go/src/api/collector.go:485 main.listMetsInBucketV2() failed to list objects for bucket dzeit, due to RequestError: send request failed
collector_1 | caused by: Get ...Für unser Daily gleich:
```
collector_1 | ERRO[2021-05-18T06:14:42Z]/go/src/api/collector.go:485 main.listMetsInBucketV2() failed to list objects for bucket dzeit, due to RequestError: send request failed
collector_1 | caused by: Get "https://dzeit.s3.fs.example.com/?list-type=2&max-keys=250&prefix=mets": dial tcp 172.18.0.3:443: connect: connection refused
redis | 1:M 18 May 2021 06:14:38.280 * monotonic clock: POSIX clock_gettime
redis | 1:M 18 May 2021 06:14:38.281 * Running mode=standalone, port=6379.
redis | 1:M 18 May 2021 06:14:38.281 # Server initialized
redis | 1:M 18 May 2021 06:14:38.281 * DB loaded from append only file: 0.000 seconds
redis | 1:M 18 May 2021 06:14:38.281 * Ready to accept connections
s3_1 | Endpoint: http://172.18.0.3 http://127.0.0.1
s3_1 |
s3_1 | Browser Access:
s3_1 | http://172.18.0.3 http://127.0.0.1
s3_1 |
s3_1 | Object API (Amazon S3 compatible):
s3_1 | Go: https://docs.min.io/docs/golang-client-quickstart-guide
s3_1 | Java: https://docs.min.io/docs/java-client-quickstart-guide
s3_1 | Python: https://docs.min.io/docs/python-client-quickstart-guide
s3_1 | JavaScript: https://docs.min.io/docs/javascript-client-quickstart-guide
s3_1 | .NET: https://docs.min.io/docs/dotnet-client-quickstart-guide
s3_1 | IAM initialization complete
collector_1 | panic: runtime error: invalid memory address or nil pointer dereference
collector_1 | [signal SIGSEGV: segmentation violation code=0x1 addr=0x0 pc=0x921a09]
collector_1 |
collector_1 | goroutine 1 [running]:
collector_1 | main.listMetsInBucketV2(0xc0002ba8f0, 0x5)
collector_1 | /go/src/api/collector.go:528 +0x6a9
collector_1 | main.main()
collector_1 | /go/src/api/collector.go:323 +0x413
indexer_collector_1 exited with code 2
```
Ich kann mir gerade noch keinen Reim drauf machen, können wir gleich drüber sprechen...Joerg-Holger PanzerJoerg-Holger Panzerhttps://gitlab.gwdg.de/subugoe/metsimporter/-/issues/19Search build failed2021-07-01T06:35:55ZJoerg-Holger PanzerSearch build failedIn docker > search > Dockerfile:
```
...
/usr/local/bin/wait-for-it.sh -t 0 localhost:9200 -- curl -X PUT http://localhost:9200/meta.dz_phys/ -H 'Content-Type: application/json' --data-binary @/mapping_meta.dz_phys.json && \
...In docker > search > Dockerfile:
```
...
/usr/local/bin/wait-for-it.sh -t 0 localhost:9200 -- curl -X PUT http://localhost:9200/meta.dz_phys/ -H 'Content-Type: application/json' --data-binary @/mapping_meta.dz_phys.json && \
...
```
Anscheinend wird hier localhost (in: /usr/local/bin/wait-for-it.sh -t 0 localhost:9200) nicht aufgelöst. Wenn das lokal mit IP-Adr ausgeführt wird, dann läuft es durch. Das funktioniert jedoch im Context des GitLab Runners nicht...https://gitlab.gwdg.de/subugoe/metsimporter/-/issues/20METS Testdaten bereitstellen2021-05-20T06:34:05ZJoerg-Holger PanzerMETS Testdaten bereitstellenAusschnitt aus internen und externen Anker und Titel Daten bereitstellen.Ausschnitt aus internen und externen Anker und Titel Daten bereitstellen.Joerg-Holger PanzerJoerg-Holger Panzer