People have been getting pretty annoyed at GoToSocial this weekend (while others are pretty pleased at GoToSocial), based on the fact that we're trying a feature -- currently on main, not yet in a release -- to randomize stats served at endpoints which are forbidden to crawlers according to robots.txt, in order to baffle stats gathered from GtS instances. EDIT: to clarify, the option is turned off by default, so the default gts behavior up to this point still applies unless the admin enables the setting to randomize the stats.

I wrote up some thoughts about it in the issue that was spawned from it: github.com/superseriousbusines…

Here's the full text for folks who would rather not click through to github (I understand):

I understand the concerns about poisoning data sets, given that some people rely on those -- for better or worse -- to make claims about "the fediverse" as a coherent, mappable entity, and to promote it to folks who are invested in things like user counts, activity counts, the network effect, etc.

I think this issue is interesting (and it's had me pondering all weekend) because it highlights some fundamental ideological tensions between different groups of people deploying and using ActivityPub software.

On the one hand you have people who are interested in shining light into every corner of the wider federating network, and making an overview or "map" of it in order to make it knowable, visualize it in charts, and "sell" it to others who don't know about it yet. In other words, this group of folks uses ontological claims about "the fediverse" as a basis for its relevance, so statements like "there is x number of users on this software" / "this instance has x number of users" / "the fediverse has x million users on it, so it's worthy of consideration by outside interests, and by users from other platforms". Such folks are often oriented towards keeping track of growth and activity, I think at least partially because those are drilled into all of us by capitalism as being inherently good things to work towards. Many folks have a dream that everyone should move from other platforms to the fediverse, and take pleasure in pointing at graphs going upwards, which indicate that this dream is on its way to becoming true.

On the other hand you have people who recognize "the fediverse" as a shibboleth, and either don't really care about numbers and statistics, or are actively opposed to the activity of creating a "map" of the federating network, because they recognize (instinctively?) that there's a danger in being seen and known -- mapping a space is, after all, the first step towards taking control over it. These are folks who don't post on public much, they usually don't have huge follower/following counts, and they mostly use their AP instance to hang out and crack jokes with their friends, not to participate in "public square" conversations. Many such folks run allowlist instances to separate themselves entirely from the gaze of the wider network. To such folks, trolling scrapers and crawlers is not a controversial thing to do, because they would prefer to opt-out of being scraped and crawled entirely, and if they can't opt out (because crawlers ignore directives not to crawl), they can at least provide comically ridiculous numbers or no numbers at all. Software like GoToSocial tends to appeal to this latter group of folks because it provides lots of granular privacy controls and makes no bones about being opposed to opt-out discoverability features and that sort of thing.

I think this issue (and the PR that spawned it) reflects a clash in expectations between these two groups about the fundamental nature of what "the fediverse" means, and that is not something that will be resolved in this issue :P

I would like to point out a few things here that informed the creation of the original PR, and led to me opening this followup issue:

1. Statistics gathered from instances self-reporting are already unreliable. People have faked instance stats in the past for fun since prettymuch forever. There is already no way to verify that the number of users or statuses reported by an instance is actually "the truth", and therefore the statistics gathered by crawlers and scrapers are already inherently partial and untrustworthy. In other words, you already cannot make solid ontological claims about the number of instances using AP software to federate, or about the number of users on any given instance. What the original PR did, in my opinion, was simply expose this quite dramatically -- and very effectively! -- by blowing up some graphs on crawler databases.
2. Even if they were completely accurate (again, this is inherently impossible), numbers on graphs steadily increasing is not a reflection of the quality of experience that people might be having on "the fediverse". It is folly to focus on these numbers as a marker of the relevance of the fediverse to people's online social lives, and it plays exactly into the sort of growth-at-all-costs mindset propagated by monolithic social network corporations like facebook, twitter, etc.
3. The feature to randomize statistics is not an attack on anyone or a grab for attention. If we wanted to artificially inflate GoToSocial's relevance in the eyes of the folks watching graphs, we could already do that by faking numbers slightly higher than they actually are, or launching a bunch of dummy instances with bot users on them or something wacky like that. The fact that the numbers are so absolutely ridiculous, and that they change every hour, is a feature meant to prank the concept of accurate statistics itself.
4. As I mentioned here, scrapers and crawlers have been ignoring GoToSocial's polite request for crawlers to not crawl them for years now. The original pull request was extremely effective in getting crawlers to stop, since both fedidb and fediverse.observer have removed GoToSocial from their indexes.

I'm still pondering what the right course of action forward is here -- whether to remove this feature now that it's served its purpose, or whether to change it as suggested above so that admins can choose to just show 0 for everything.

One thing I'm considering is always showing stats linked in ./well-known/nodeinfo as being 0, and allowing that endpoint in robots.txt so that crawlers can still determine which software an instance is running, but keeping the random stats feature on /api/v1|v2/instance, since those are explicitly disallowed and don't even fall under a /.well-known endpoint. If scrapers choose to trust those stats, that should definitely be on them.

Digital-Kolumne

Jeden ersten Montag im Monat erscheint meine Kolumne zu digitalpolitischen Themen in der Tageszeitung Neues Deutschland.

05.02.2025

Soziale Medien: Der Mythos Desinformation
Welche Bedeutung hat das Internet für den Rechtsruck? Forscher*innen kamen jetzt zu dem Ergebnis, dass ein Einfluss von Desinformation über soziale Medien auf die Demokratie nicht nachweisbar ist.

05.01.2025

Vorratsdatenspeicherung: Zwei Schritte vor, einer zurück
Rot-Grün spricht über die Einführung einer Vorratsdatenspeicherung – ein Beispiel für Wahlkampfkommunikation, glaubt Anne Roth.

02.12.2024

Twitter-Exodus: Anderswo ist der Himmel blauer
Millionen Nutzer*innen ziehen von »X« zu Bluesky um. Seit Elon Musk Twitter übernommen und zum Sammelbecken rechter Trolle gemacht hat, gab es immer wieder solche Wellen hin zu anderen Plattformen, aber diese ist anders.

10.11.2024

Elektronische Patientenakte: Mit Risiken verbunden
Ab Januar werden Daten über Krankheiten, Behandlungen und Medikamente für alle in einer digitalen Akte zusammengefasst. Das ist mit einigen Risiken verbunden, meint Anne Roth. Es ist aber möglich zu widersprechen.

07.10.2024

Telegram: Für vertrauliche Chats nicht geeignet
Nach der Verhaftung des Telegram-Gründers Pawel Durow kooperiert der Messenger mit westlichen Sicherheitsbehörden. Aber auch schon vorher war Telegram kein sicherer Kommunikationskanal, warnt Anne Roth.

01.09.2024

Digitale Seifenblasen machen Nazis
Die Digitalisierung soll schuld sein am Aufstieg der Nazis. »nd«-Kolumnistin Anne Roth hält das für eine skurrile These.

04.08.2024

Digitales Pflaster
Wenn die Infrastruktur kaputtgespart ist, nutzt auch der neue Online-Service nichts, weiß Anne Roth.

30.06.2024

Mausgerutscht? Abschiebung!
In Zukunft soll bereits ein Terror verherrlichender »Like« oder Kommentar in sozialen Medien zu Abschiebungen führen. Dabei sollen Ausländerbehörden Entscheidungen treffen, an denen die Plattformen schon scheitern.

02.06.2024

re:publica: Digitalpolitisches Allerlei
Die diesjährige re:publica wollte unter dem Motto »Who cares?« die großen gesellschaftlichen Fragen aufwerfen. Gelungen sei das eher so mittel, meint die nd.Kolumnistin Anne Roth.

06.05.2024

Digitalisierung für alle
Die Digitalisierung wird nicht wieder verschwinden. Und weil es nie eine gute Idee ist, Marktliberalen die Definitionsmacht zu überlassen, brauchen wir eigene, kritische Postionen, kommentiert Anne Roth.

Ihr könnt die Kolumnen kostenlos lesen, aber überlegt bitte, das ND mit einem Abo zu unterstützen, damit es noch lange diese linke Tageszeitung gibt – und ihre Journalist*innen für ihre Arbeit bezahlt werden. Gibt’s schon ab 15 Euro/Monat. Damit bekommt Ihr die Kolumne immer am ersten Montag im Monat in der App nd.digital, sonst erst ein paar Tage später.

Einmal im Monat mache ich mir Gedanken über aktuelle digitalpolitische Entwicklungen und schreibe sie in eine #Kolumne beim @ndaktuell

Jetzt endlich habe ich mein Blog aufgeräumt und eine nagelneue Seite für die Kolumnen eingerichtet, falls Ihr mal was nachschauen wollt:

annalist.noblogs.org/digital-k…

Anne Roth

2025-02-04 19:14:17

Digital-Kolumne

Jeden ersten Montag im Monat erscheint meine Kolumne zu digitalpolitischen Themen in der Tageszeitung Neues Deutschland.

05.02.2025

Soziale Medien: Der Mythos Desinformation
Welche Bedeutung hat das Internet für den Rechtsruck? Forscher*innen kamen jetzt zu dem Ergebnis, dass ein Einfluss von Desinformation über soziale Medien auf die Demokratie nicht nachweisbar ist.

05.01.2025

Vorratsdatenspeicherung: Zwei Schritte vor, einer zurück
Rot-Grün spricht über die Einführung einer Vorratsdatenspeicherung – ein Beispiel für Wahlkampfkommunikation, glaubt Anne Roth.

02.12.2024

Twitter-Exodus: Anderswo ist der Himmel blauer
Millionen Nutzer*innen ziehen von »X« zu Bluesky um. Seit Elon Musk Twitter übernommen und zum Sammelbecken rechter Trolle gemacht hat, gab es immer wieder solche Wellen hin zu anderen Plattformen, aber diese ist anders.

10.11.2024

Elektronische Patientenakte: Mit Risiken verbunden
Ab Januar werden Daten über Krankheiten, Behandlungen und Medikamente für alle in einer digitalen Akte zusammengefasst. Das ist mit einigen Risiken verbunden, meint Anne Roth. Es ist aber möglich zu widersprechen.

07.10.2024

Telegram: Für vertrauliche Chats nicht geeignet
Nach der Verhaftung des Telegram-Gründers Pawel Durow kooperiert der Messenger mit westlichen Sicherheitsbehörden. Aber auch schon vorher war Telegram kein sicherer Kommunikationskanal, warnt Anne Roth.

01.09.2024

Digitale Seifenblasen machen Nazis
Die Digitalisierung soll schuld sein am Aufstieg der Nazis. »nd«-Kolumnistin Anne Roth hält das für eine skurrile These.

04.08.2024

Digitales Pflaster
Wenn die Infrastruktur kaputtgespart ist, nutzt auch der neue Online-Service nichts, weiß Anne Roth.

30.06.2024

Mausgerutscht? Abschiebung!
In Zukunft soll bereits ein Terror verherrlichender »Like« oder Kommentar in sozialen Medien zu Abschiebungen führen. Dabei sollen Ausländerbehörden Entscheidungen treffen, an denen die Plattformen schon scheitern.

02.06.2024

re:publica: Digitalpolitisches Allerlei
Die diesjährige re:publica wollte unter dem Motto »Who cares?« die großen gesellschaftlichen Fragen aufwerfen. Gelungen sei das eher so mittel, meint die nd.Kolumnistin Anne Roth.

06.05.2024

Digitalisierung für alle
Die Digitalisierung wird nicht wieder verschwinden. Und weil es nie eine gute Idee ist, Marktliberalen die Definitionsmacht zu überlassen, brauchen wir eigene, kritische Postionen, kommentiert Anne Roth.

Ihr könnt die Kolumnen kostenlos lesen, aber überlegt bitte, das ND mit einem Abo zu unterstützen, damit es noch lange diese linke Tageszeitung gibt – und ihre Journalist*innen für ihre Arbeit bezahlt werden. Gibt’s schon ab 15 Euro/Monat. Damit bekommt Ihr die Kolumne immer am ersten Montag im Monat in der App nd.digital, sonst erst ein paar Tage später.

Soziale Medien: Der Mythos Desinformation

^{nd-aktuell.de}