Mit welchen Tools könnte ich denn #JSON Dateien mit ~700MB Größe handhabbar machen?
Die Größe ist das Problem, da werden alle Parser, die erst mal ein Modell im Speicher bauen, quasi unbrauchbar.
Sprich: zum Beispiel alle Objekte mit einem definierten Pfad-Muster (vgl XPATH) in einen JSON-Output (Array) filtern?
Nächste Frage: Gibt es irgendwo eine Spec des #Friendica Backup-Formats? 😏
Update: github.com/ICRAR/ijson sieht gut aus… Nachher mal testen.
teilten dies erneut
Frankenmichl
Als Antwort auf Jaddy • • •Jaddy mag das.
Ekki DF4OR [8380@38c3]
Als Antwort auf Jaddy • • •stevE 🌼
Als Antwort auf Jaddy • • •Jaddy mag das.
Klaus Stein
Als Antwort auf Jaddy • • •Kommt drauf an, was genau du damit anstellen willst, aber 700MB klingt für mich jetzt erstmal nicht schrecklich groß.
Es gibt aber durchaus einige json-streaming Parser¹ libs für diverse Sprachen.
__
¹„JSON streaming“ in der Suchmaschine des geringsten Mißtrauens liefert viele Libs und sogar einen Wikipedia-Artikel.
Jaddy
Als Antwort auf Klaus Stein • •@Klaus Stein Der Tipp mit jq war prima. Mac port kennt das auch. Wenn ich die nicht so wirklich konzise Doku gebändigt habe, kriege ich vermutlich auch die richtigen Zaubersprüche formuliert um aus meinem #Friendica Backup die Contacts und Posts und so raus zu ziehen.
Ich habe allerdings auch gemerkt, dass meine Posts nicht im Backup sind. Da werde ich wohl github.com/kensanata/mastodon-… oder etwas vergleichbares nehmen müssen.
Bei meinem gehosteten Friendica komme ich leider nicht an die Datenbank.
Klaus Stein
Als Antwort auf Jaddy • • •Jaddy
Unbekannter Ursprungsbeitrag • •👆 Jetzt hab ich doch einiges gelernt. Zum Beispiel was #jq ist; jqlang.github.io/jq/
Das merk ich mir für andere Zwecke 😊
Eigentlich wollte ich nur meine #friendica Posts archivieren, denn ich schreibe häufiger lange Beiträge, verlinke viel darin, usw. Da ich häufig ähnliche Diskussionen führe, wäre das schon praktisch als Steinbruch, etc. Auch gegen Verlust, falls der Server mal koppheister gehen sollte.
Stellt sich raus: Im Friendica Vollbackup sind die eigenen Posts offenbar nicht drin. JSON streaming bringt mir da also nichts
friendica-archiver und und fediverse-viewer (gitlab.com/mysocialportal/fedi…) sind es nicht geworden. Der Archiver funktioniert, der Viewer nur unter Windows (die M
... mehr anzeigen👆 Jetzt hab ich doch einiges gelernt. Zum Beispiel was #jq ist; jqlang.github.io/jq/
Das merk ich mir für andere Zwecke 😊
Eigentlich wollte ich nur meine #friendica Posts archivieren, denn ich schreibe häufiger lange Beiträge, verlinke viel darin, usw. Da ich häufig ähnliche Diskussionen führe, wäre das schon praktisch als Steinbruch, etc. Auch gegen Verlust, falls der Server mal koppheister gehen sollte.
Stellt sich raus: Im Friendica Vollbackup sind die eigenen Posts offenbar nicht drin. JSON streaming bringt mir da also nichts
friendica-archiver und und fediverse-viewer (gitlab.com/mysocialportal/fedi…) sind es nicht geworden. Der Archiver funktioniert, der Viewer nur unter Windows (die Mac-Version aborted beim Start). Auf Windows ist die Darstellung etwas sparsam. Keine Tastenunterstützung, keine Bilder.
Beste Lösung bisher: mastodon-archive (github.com/kensanata/mastodon-…). Problemlos installiert (pip), archiviert (bis auf Bookmarks; Exception) alle Posts inklusive DMs und mentions in eine JSON-Datei (also theoretisch weiterverwendbar), auch Medien, und kann aus dem Archiv plain text und statisches HTML erzeugen.
Die Identifikation erfolgt einmalig per Token. Gut gelöst für ein Konsolen-Programm (ich werkle auf Mac). Weiterer Vorteil: Python kann ich einigermassen. Dart und Flutter (oben) nicht.
Meow wird auch unterstützt, aber das überzeugt mich irgendwie nicht.
Mein in Zukunft regelmässiges Backup der Friendica-Posts sieht jetzt so aus: