Twitter networks – Mechanics

[Deutsch weiter unten]

Recently, I’ve been working on a Twitter-related project with two friends of mine. As there’s nothing to present yet, I won’t go into detail regarding that project. But working on Twitter-related stuff led me to explore the generation, modelling, analysis and visualization of Twitter networks.

Then, some weeks back, Swiss journalist/author/blogger David Bauer started a Google Doc to collect Twitter handles of journalists (read his post here, in German). Two weeks later David Bauer’s list featured 300 accounts from German-speaking, mostly Swiss journalists (as of now there are 360 accounts) – a nice crowdsourcing success!

I think David Bauer had an interesting idea there. And some people even took to simple analyses such as gender proportions of journalists on Twitter (see below – it’s disappointingly biased!).

Now, I wanted to visualize the network of these tweeting journalists. The tools of trade in this case are:

• Python and some custom modules
• Twitter REST API and
• Gephi.

Using the API I could get the User IDs of each journalist (rather than the Twitter handles which can be changed, the User IDs are numerical, stable IDs) and the User IDs of the people who follow them as well as the people they follow. Obviously, as a side-product of this process I also got the current follower numbers for each journalist.

Now, all that was left to do to derive the Twitter network was to find for each pair of journalists, if one of them followed the other or both followed each other or no one followed the other. Using Python with custom modules I could generate this structure and export it to a GraphML file that can be read by Gephi. Using this programme I did some network analysis and created visualizations, check them out in this post.

[German]

In letzter Zeit bin ich daran, mit zwei Freunden eine Art Twitter-Projekt aufzubauen. Es gibt da aber noch nichts zu präsentieren, dieser Post handelt aber von einer Art Spin-Off-Projekt. Ich habe mich nämlich vermehrt für die Erzeugung und Modellierung, Analyse und Visualisierung von Twitter-Netzwerken interessiert und in diesen Bereichen einiges ausprobiert.

Dann hat der Schweizer Journalist/Autor/Blogger David Bauer vor ein paar Wochen ein Google Doc eröffnet, in dem er die Twitter-Handles deutschsprachicher (und mehrheitlich schweizerischen) Journalistinnen und Journalisten per Crowdsourcing sammelt (vgl. auch seinen Post hier). Zwei Wochen später zählte die Liste bereits 300 Einträge, aktuell sind es 360 – also ein schöner Crowdsourcing-Erfolg!

Ich finde David Bauers Idee sehr interessant. Auch andere Leute liessen sich davon begeistern und haben sogar einfache Analysen durchgeführt, zum Beispiel des Geschlechterverhältnisses (welches in enttäuschendem Mass unausgelichen ist):

Ich für meinen Teil wollte das Netzwerk der twitternden Journalistinnen und Journalisten sehen. Die Tools, die ich dazu verwendet habe, sind:

• Python und einige spezielle Module
• die Twitter REST API und
• Gephi für die Visualisierung.

Von der Twitter API konnte ich die User-IDs aller Journalistinnen und Journalisten abrufen (diese numerischen IDs sind – anders als die veränderbaren Twitter-Handles – über die Zeit stabil). Weiter konnte ich die User-IDs der Leute abrufen, die einer Journalistin/einem Journalisten folgen bzw. denen eine Journalistin/ein Journalist folgt. Als ein Nebenprodukt erhielt ich dabei natürlich auch die Anzahl Follower jeder Journalistin und jedes Journalisten.

Als letzter Schritt zur Ableitung des Netzwerks von Journalistinnen und Journalisten musste ich für jedes Paar von Personen auf der Liste herausfinden, ob die eine der anderen folgt, sich beide gegenseitig folgen oder sich beide nicht folgen. Mit Python und einem speziellen Modul konnte ich dann das Netzwerk aufbauen und als eine GraphML-Datei exportieren. Diese wiederum konnte ich in Gephi einlesen, um weitere Analysen durchzuführen und einige Visualisierungen zu erstellen. Die Resultate finden Sie in diesem Post.