#d2m12 Monitoring-Fallstudien im Zentrum der aktuellen Diskussion

Thomas W. Ullrich hat in seinem gestrigen Beitrag zum Thema “Social Media Monitoring” noch einmal die wichtigsten Punkte rund um die Herangehensweise an gutes Social Media Monitoring zusammengefasst und ist dabei auch auf den Punkt der schwierigen Automatisierung der inhaltlichen Auswertung eingegangen.

Als kritisches Element in der Automatisierung ist dabei jeweils die sprachliche Analyse und Tonalistätsbewertung anzusehen. Thomas W. Ullrich sieht hierbei große Unterschiede in den unterschiedlichen, automatisierten Funktionen wie die Sentiment-Analyse oder Machine-Learning-Algorithmen, mit denen Content anhand von Stimmungs-Bewertungs-Filtern als positiv oder negativ bewertet werden. Die Schwierigkeit liegt immer in der Zweideutigkeit von Eigenschaftsworten, die evtl. ironische oder sarkastische Bedeutungen tragen. Weitere Grenzen sieht er auch bei den geschlossenen oder nicht-textbasierten Quellen, die nicht ausgewertet werden können. Neben der Unschärfe in der Interpretation schränkt sich die Validität von automatischen Auswertungen auch in der unzureichenden Abdeckung ein.

 

Beim Digital Marketing & Media SUMMIT werden die Herausforderungen zum “Social Media Monitoring” in zwei Programmpunkten diskutiert. Am 25.09. geht es vor allem um das Issue- und Thementracking. Bei Isabelle Prchlik von Tipp24 geht es dabei auch um die Frage, ob professionelles Monitoring immer nur mit kommerziellen Tools machbar ist. Auch hierzu hat Thomas W. Ullrich ja verschiedene Ausführungen gemacht. Auch das Interview mit Anna-Maria Zahn hatte hierzu ja bereits wichtige Aspekte aufgezeigt.

Im Weiteren diskutieren Marie-Christine Eck und Kristin Hentschel von OTTO auch die unterschiedlichen Anwendungsszenarien – zum Issue-Tracking und zur Marktforschung – und die damit einhergehenden Herausforderungen. Beim Hamburger Social Web Breakfast im Juni hatten wir hierzu ja schon einmal einen Vorgeschmack geben können!

Am 26.09. gibt es dann noch ein zweites Panel mit dem Schwerpunkt beim “Themen- und Influencer-Tracking” mit Vorträgen von Autovision und Social Markets.

Ich bin jedenfalls sehr gespannt, welche Lösungsansätze und Erfahrungen für die systemgestützte Auswertung und Interpretation aufgezeigt werden. Es gibt hierzu ja beiweitem noch keine finale Lösung und daher noch viel zu diskutieren!


  1. socialmediaDACH says:

    Handelt es sich bei der nicht enden wollenden Diskussion um “Auto-Sentiments”, “automatische Tonalitätsanalyse” und was man hierfür sonst noch alles an Begriffen findet nicht ausschließlich um die verbale Aufarbeitung von Träumen der Marketeers ?
    Wir machen nichts anderes als Social Media Monitoring, arbeiten mit allen möglichen Tools von kostenlos bis Hochpreis-Level und können aus unserer Erfahrung zu diesem Thema nur Eines sagen:
    “Auto-Sentiments” etc. gibt es nicht, d.h., kann kein auf dem Markt befindliches Tool. Wenn man eine 100 % verlässliche Sentiment-Auswertung abliefern muss, geht an der redaktionellen Bearbeitung jedes einzelnen Posts kein Weg vorbei. Den Umweg über (auch lernende) Vorfilter kann man sich so lange sparen, wie es keine Technologie gibt, die einem nachweislich auch auf diesem Weg 100 % verlässliche Auswertungen liefert. In dem Moment, in dem man die automatisch generierten Auswertungsergebnisse überprüfen muss, steht das dem Aufwand für die rein redaktionelle Auswertung gleich und ist die Vorfilterung allenfalls von “sportlicher” Bedeutung bzw. verursacht sogar noch zusätzlichen Aufwand.

  2. Ann-Kathrin Tegtmeier

    Ann-Kathrin Tegtmeier Autor says:

    Vollends automatisiert wird es nie funktionieren, da stimme ich zu, doch ein Vorfiltern erleichtert die Quellenabdeckung ungemein bei der unüberschaubaren Masse an Informationen und Meinungen im Web. Eine Auswertung der automatisch generierten Ergebnisse ist mit dem ausschließlich redaktionellen Auswertungsaufwand doch nicht gleichzusetzen. Ich vermute auch, dass wir bei weitem noch nicht so weit sind, Tools in der Hinsicht zu trauen – würde das für die Zukunft aber nicht ausschließen.

    • socialmediaDACH says:

      Die Praxis sieht da leider ein bißchen anders aus: Wenn ich einen Post – ob vorqualifiziert oder nicht – lesen muss, um festzustellen (oder auch “nur” zu überprüfen), wie sein Inhalt zu bewerten ist, dann ist der Aufwand doch schon da. Ich lese auch nicht “anders” oder mit weniger Aufwand, wenn ich weiß, dass er von einer (möglicherweise sogar ganz fortgeschrittenen) Software als positiv, neutral oder negativ eingestuft wurde. Ich kann deshalb auch nicht “weniger” oder schneller lesen. Das Problem entsteht in dem Moment, in dem man als Analyst auch nur ansatzweise Zweifel an der hundertprozentigen Zuverlässigkeit der Software haben muss.
      Ein Thema wird dabei übrigens gerne übersehen: Was ist mit Posts, die sowohl positive, als auch negative Aussagen enthalten ? Also zum Beispiel: “Mit dem Buch greift der Autor ein elementar wichtiges Thema auf und begründet seine Position auch sehr nachvollziehbar, aber leider ist es schlecht geschrieben” ?
      Auch wenn sich die Wissenschaft und die Technologie bei diesem Thema sicherlich weiter entwickeln wird, bleibt uns daher doch auf absehbare Zeit der redaktionelle Aufwand nicht erspart. Vorausgesetzt natürlich, man möchte eine wirklich verlässliche Analyse und nicht bloß hübsche Grafiken.

      • Ann-Kathrin Tegtmeier

        Ann-Kathrin Tegtmeier Autor says:

        Der Aufwand, einen Post zu überprüfen, ist aber bei weitem nicht so groß, wie der Aufwand, den Post überhaupt erst zu finden UND noch zu überprüfen. Grade bei der Quellenabdeckung würde ich mich daher mehr auf ein Tool verlassen als auf die manuelle Suchpräzision meiner Mitarbeiter. Was dabei übersehen wird, ist noch weniger überschaubar als die Verluste bei der automatisierten Suche, würde ich behaupten. Der falsch ausgesiebte Anteil ist vermutlich nicht minimaler als der Anteil, der bei der redaktionellen Suche verloren geht, doch lange nicht so aufwändig. Eine ideale Abdeckung wird sowohl redaktionell als auch auf automatisiertem Weg nie gewährleistet sein können. Dass auch in Zukunft redaktionell nachgeholfen werden muss, habe ich nie bestritten, aber der Aufwand wird künftig durch die Automatisierung vereinfacht.

        • socialmediaDACH says:

          Da liegt wohl ein Missverständnis vor: Wir reden ja nicht einer komplett redaktionellen Auswertung das Wort. Natürlich muss der redaktionellen Sentiment-Analyse eine “keyword-intelligente” automatisierte Auswertung voraus gehen, um den Kreis derjenigen Posts, die der Sentiment-Analyse unterzogen werden sollen, einzugrenzen. (Erst) Wenn das geschehen ist, spielt es für den Aufwand der redaktionellen Auswertung aber überhaupt keine Rolle mehr, wie eine “automatische” Sentiment-Auswertung die betreffenden Posts bewertet hat. Mit anderen Worten: Wieso sollte der Aufwand für die redaktionelle Auswertung geringer sein, wenn vorher ein Tool, auf dessen Korrektheit ich mich gerade nicht verlassen kann, drüber gelaufen ist ?

          • Ann-Kathrin Tegtmeier

            Ann-Kathrin Tegtmeier Autor says:

            Ja, das ist richtig. Ich verstehe, was Sie meinen. Inwieweit sich die Auswertung hinsichtlich der Sentiment-Analyse entwickelt, da will ich nichts Falsches prognostizieren, könnte mir aber eben doch vorstellen, dass vielleicht irgendwann soweit getestet und probiert wurde, dass regelmäßige Stichproben ausreichen könnten. Bis wir aber dieses Ziel erreichen, ist tatsächlich die automatisierte Auswertung nicht weniger zeitaufwändig als die Redaktionelle, da stimme ich zu.