How Switzerland measures Radio and TV listener data: an interview with Martin Weber (Mediapulse)

While in Italy, Audiradio takes over radio listening surveys from TER with a CATI research that largely follows what TER did, in Switzerland radio listenership has been measured for years with a “meter” based on Smart Watch. Providing real-time data, as in the case of the collapse in listenership of stations that have just abandoned FM. But are these data significant? FM-world interviewed those who conduct the research, Mediapulse.

This is the report of the interview with Martin Weber, Sr. Research Manager Radio that took place on January 29, 2025. The response regarding the FM shutdown is at the end, but we invite everyone to read each answer: it’s worth it.

Mediapulse

FM-World (Marco Hugo Barsotti): First of all, a few words about Mediapulse and its role in the Swiss media landscape.

Mediapulse (Martin Weber): As an independent industry organisation, Mediapulse is charged with collecting data on the consumption of radio and TV programmes in Switzerland.

This data is considered official currency and is used by broadcasters and programme makers, the advertising industry, government agencies and for research.

As a company with a strong practical focus, Mediapulse seeks to support the Swiss electronic media and advertising market with research services and data products. Modern systems and constant innovations ensure that changes in the consumption of audiovisual media can also be mapped.

Mediapulse stands for a neutral, independent, transparent and scientific approach to media research and is under the supervision of DETEC (OFCOM). A large part of the market is represented on the Board of Directors of Mediapulse AG and the Board of Trustees of the Mediapulse Foundation.

Mediawatch

FM-World: When did you start monitoring radio (and TV) audience? Was the CATI system ever used in the past?

Mediapulse: Radio usage has been systematically measured in Switzerland since 1975.

Until 2000, measurement was conducted through face-to-face interviews (DAR).

Since 2001, radio consumption has been measured via electronic device. The measurement provider has been GfK throughout these years with their portable personal meter based on audiomatching “Mediawatch”. TV measurement began in 1968. Until 1984 with CATI interviews and since then with a TAM system, installed in panel households.

Methodology

FM-World: On this web page (https://www.mediapulse.ch/fr/produits/radio-data/) you provide a complete description of your methodology that our readers can consult directly, so let me ask only some details. First, how is the data weighted?

Mediapulse: The data record to be analyzed is weighted daily based on universe criteria established by the Federal Statistical Office. Daily, weekly, monthly, and quarterly weightings are applied. Furthermore, the weighting plan for Switzerland includes the following weighting variables: age groups (5), gender (2), recruitment zones (28), subareas (63), WEMF areas (24), linguistic regions and regional newspaper regions (10).

There’s more: your readers can find more detailed information in a downloadable document on our products page, the document is available HERE.

Mediawatch 4

FM-World: Let’s talk about measurement tools and data provision.

Mediapulse: Radio audience research uses GfK’s “Mediawatch 4” radio research system, composed of a new generation of measurement devices and Sound Sampling Units (SSU).

Regarding EvoRep, there isn’t much more to say than what you’ve found on our website. It’s software provided by GfK. As soon as data processing is completed (with a 7-day delay from the measured day) it’s available through EvoRep for analysis. Every participating radio distributor with a Mediapulse contract has access to all data from all participating radio channels.

Gaussian mon amour

FM-World: Since “every day at least 1,533 people wear this measurement device,” can we expect your data to have a margin of error (on the entire population) of about 2.5% in the worst case? Is this correct and does it also apply to local radio stations?

Mediapulse: Since measurement is carried out with a rotating sample (with usage periods of 4 weeks or 6 months) the sample size contributing to an analysis depends on the time period and size of the geographic area observed. The sample size for all of Switzerland for a semester is approximately N = 9,000.

The net sample includes panel members who provide actually valid measurement data.

Of the 2019 people in the gross sample, on average every day at least 1533 people must provide data, equal to 75.9% of the total.

From a gender and age group perspective, the net sample structure of people wearing the watch (the device that listens, like those in the cover photo Editor’s Note) is composed as follows:


Variance

Due to the sample structure with many observation days of the same participants that are not statistically independent, we have developed a custom variance estimation suitable for the data.

This estimate is used to calculate the confidence interval for net coverage. The width of the confidence interval depends on the sample size and also on the level of net coverage.

We can give you some examples with anonymous radio stations with different levels of average daily net coverage for linguistic areas (there are practically no analyses made for all of Switzerland because the market is strongly structured in linguistic areas):

Let’s try to decode the table, keeping as benchmark that of Audiradio which can be found HERE.

Mediapulse uses a 95% confidence interval, so if the survey were repeated infinite times then in 95 cases out of 100 the numbers provided will be between “lower” and “upper”.

Let’s take the two Italian-language stations (E and F). For both, data from a sample of 884 individuals are analyzed. We can state that station E has an estimated number of listeners equal to 14.33% of the Italian linguistic area or better, that we are 95% confident that the number of listeners is between 12.74% and 15.92%.

And since the net reach is equal to 14.33% we get a percentage width of the interval relative to coverage equal to 22% (1.38/14.33*100).

The Italian linguistic area in Switzerland consists of approximately 718,000 individuals (this is not indicated in the table, these are our data) so in the example station E has a number of listeners equal to 718,000*.143 = 102,000 (actually, between 91,186 and 114,162).

As for station F, it has a number of listeners between 5,600 and 12,421 (with a lower confidence interval width, magic of statistics).

Total Audience

FM-world: There is a growing trend to monitor the “total audience” of specific programs and not just “live” (linear) program listeners. So the combination of those who listened on air, on demand and this across all devices. Is this a “currency” that you measure?

Mediapulse: So far, only live radio has been within the scope of radio measurement. In agreement with the Swiss radio market, time-shifted listening (i.e., podcasts) is not planned even for the near future.

Minus 23%, significant data?

FM-World: The website tio.ch reported a 23% drop in radio listeners after the FM shutdown.
However, the article states “According to Miko Marr, research manager at Mediapulse company (which measures radio data): «These short-term figures are not significant». The SSR for its part confirms that the data are not sufficiently reliable from a statistical point of view”.
So we’re not asking for comments on this particular decline, but rather an explanation:
Can you explain why the data are not yet statistically significant and when do you expect them to be?

Mediapulse: Mirko Marr’s statement is not directed at statistical significance, perhaps this was lost in translation.

The statement refers to the fact that values consisting of only 14 days (and not even complete calendar weeks) of measurement do not provide a sufficiently high precision value to base a valid statement of general audience loss.

Mediapulse always recommends considering at least a quarter (or more for smaller analysis regions) for reliable results. This is because measurement is carried out with a rotating sample and therefore sample size accumulates over time.

Conclusions

Before answering the question we all ask ourselves – whether turning off FM is a good idea – we wanted to analyze the research methodologies used in Switzerland. And – with Swiss precision and seriousness – we were advised to wait before drawing conclusions.

But one thing is certain: in two months (at the end of the first quarter) we will again request access to the data in order to tell you about them, here on FM-world.it.

(M.H.B. for FM-world)

Niente CATI: ecco come dal 2001 la Svizzera effettua le ricerche sull’ascolto della Radio

Mentre in Italia, Audiradio parte con una ricerca CATI che ricalca in larga misura quanto faceva TER, in Svizzera da anni gli ascolti si misurano con un “meter” basato su Smart Watch. Fornendo dati in tempo reale, come nel caso del crollo degli ascolti delle emittenti che hanno appena abbandonato l’FM. Ma sono dati significativi? FM-world ha intervistato chi la ricerca la realizza, Mediapulse.

Questo il resoconto dell’intervista a Martin Weber, Sr. Research Manager Radio avvenuta il 29 gennaio 2025. La risposta relativa allo spegnimento FM è alla fine, ma invitiamo tutti alla lettura di ciascuna risposta: ne vale la pena.

Mediapulse

FM-World (Marco Hugo Barsotti):  Innanzitutto, due parole su Mediapulse e il suo ruolo nel panorama mediatico svizzero.

Mediapulse (Martin Weber): Come organizzazione industriale indipendente, Mediapulse è incaricata di raccogliere dati sul consumo di programmi radio e TV in Svizzera.

Questi dati sono considerati valuta ufficiale (“official currency”) e vengono utilizzati da emittenti e produttori di programmi, dall’industria pubblicitaria, dalle agenzie governative e per la ricerca.

Come azienda con un forte focus pratico, Mediapulse cerca di supportare il mercato dei media elettronici e della pubblicità svizzero con servizi di ricerca e prodotti di dati. Sistemi moderni e innovazioni costanti garantiscono che possano essere mappati anche i cambiamenti nel consumo dei media audiovisivi.

Mediapulse rappresenta un approccio neutrale, indipendente, trasparente e scientifico alla ricerca sui media ed è sotto la supervisione del DATEC (UFCOM). Una grande parte del mercato è rappresentata nel Consiglio di Amministrazione di Mediapulse AG e nel Consiglio di Fondazione della Fondazione Mediapulse.

Mediawatch

FM-World: Quando avete iniziato a monitorare l’audience radiofonica (e TV)? Il sistema CATI è mai stato utilizzato in passato?

Mediapulse:  L’utilizzo della radio viene misurato sistematicamente in Svizzera dal 1975.

Fino al 2000 la misurazione è stata condotta tramite interviste faccia a faccia (DAR).

Dal 2001 il consumo radiofonico viene misurato tramite dispositivo elettronico. Il fornitore della misurazione è stato in tutti questi anni GfK con il loro misuratore personale portatile basato su audiomatching “Mediawatch”. Per la misurazione TV è iniziata nel 1968. Fino al 1984 con interviste CATI e da allora con un sistema TAM, installato nelle famiglie del panel.

Metodologia

FM-World: In questa pagina web (https://www.mediapulse.ch/fr/produits/radio-data/) fornite una descrizione completa della vostra metodologia che i nostri lettori possono consultare direttamente, quindi permettetemi di chiedere solo alcuni dettagli. Intanto, come sono ponderati i dati?

Mediapulse: Il record di dati da analizzare viene ponderato giornalmente in base ai criteri relativi all’universo stabiliti dall’Ufficio federale di statistica. Si applicano ponderazioni giornaliere, settimanali,
mensili e trimestrali. Inoltre, il piano di ponderazione per la Svizzera comprende le seguenti variabili di ponderazione: fasce d’età (5), genere (2), zone di reclutamento (28), sottoaree (63), aree WEMF (24), regioni linguistiche e dei giornali regionali (10).

C’è di più: i vostri lettori possono trovare informazioni più dettagliate in un documento scaricabile sulla nostra pagina dei prodotti, il documento è disponibile QUI.

Mediawatch 4

FM-World: Parliamo di strumenti di misurazione e di messa a disposizione dei dati.

Mediapulse:  La ricerca sull’ascolto radiofonico si avvale del sistema di ricerca radiofonica «Mediawatch 4» di GfK, composto da una nuova generazione di dispositivi di misurazione e Sound Sampling Units (SSU).

Per quanto riguarda EvoRep non c’è molto altro da dire rispetto a quello che avete trovato sul nostro sito web. È un software fornito da GfK. Non appena l’elaborazione dei dati è terminata (con un ritardo di 7 giorni rispetto al giorno misurato) è disponibile tramite EvoRep per l’analisi. Ogni distributore radio partecipante con un contratto con Mediapulse ha accesso a tutti i dati di tutti i canali radio partecipanti.

Gaussiana mon amour

FM-World: Dato che “ogni giorno almeno 1.533 persone indossano questo dispositivo di misurazione”, possiamo aspettarci che i vostri dati abbiano un margine di errore (sull’intera popolazione) di circa 2,5% nel caso peggiore. È corretto e si applica anche alle radio locali?

Mediapulse: Poiché la misurazione viene effettuata con un campione rotante (con periodi di utilizzo di 4 settimane o 6 mesi) la dimensione del campione che contribuisce a un’analisi dipende dal periodo di tempo e dalla dimensione dell’area geografica osservata. La dimensione del campione per tutta la Svizzera per un semestre è di circa N = 9.000.

Il campione netto comprende i membri del panel che forniscono dati di misurazione effettivamente validi.

Delle 2019 persone del campione lordo, mediamente ogni giorno devono fornire dati almeno 1533 persone, pari al 75,9% del totale.

Dal punto di vista del genere e delle fasce d’età, la struttura del campione netto delle persone che indossano l’orologio (il dispositivo che ascolta, come quelli nella foto di copertina N.d.R.)  si compone come segue:


Varianza

A causa della struttura del campione con molti giorni di osservazione degli stessi partecipanti che non sono statisticamente indipendenti, abbiamo sviluppato una stima della varianza su misura adatta ai dati.

Questa stima viene utilizzata per calcolare l’intervallo di confidenza per la copertura netta. L’ampiezza dell’intervallo di confidenza dipende dalla dimensione del campione e anche dal livello di copertura netta.

Possiamo darvi alcuni esempi con stazioni radio anonime con diversi livelli di copertura netta giornaliera media per le aree linguistiche (non ci sono praticamente analisi fatte per tutta la Svizzera perché il mercato è fortemente strutturato in aree linguistiche):

Cerchiamo di decodificare la tabella, tenendo come benchmark quella di Audiradio che si può trovare QUI.

Mediapulse usa un intervallo di confidenza del 95%, dunque se la rilevazione venisse ripetuta infinite volte allora in 95 casi su 100 i numeri forniti saranno incompresi tra “lower” e upper”.

Prendiamo le due stazioni in italiano (E e F). Per entrambe sono analizzati i dati di un campione composto da 884 individui. Possiamo affermare che la stazione E ha un numero di ascoltatori stimato pari al 14.33% dell’area linguistica italiana o meglio, che il siamo confidenti al 95% che il numero di ascoltatori sia compreso tra il 12.74% e il 15.92%.

E poiché il net reach è pari al 14.33% otteniamo un ampiezza percentuale dell’intervallo rispetto alla copertura pari al 22% (1.38/14.33*100).

L’area linguistica italiana è composta in Svizzera da circa 718.000 individui (questo nella tabella non è indicato, sono dati nostri) dunque nell’esempio la stazione E ha un numero di ascoltatori pari a 718.000*.143 = 102.000 (anzi, compresi tra 91.186 e 114.162).

In quanto alla stazione F questa ha un numero di ascoltatori compreso tra 5.600 e 12.421 (con un’ampiezza dell’intervallo di confidenza inferiore, magia della statistica).

Total Audience

FM-world:  C’è una crescente tendenza a monitorare l'”audience totale” di programmi specifici e non solo gli ascoltatori di programmi “live” (lineari). Quindi l’insieme di chi ha ascoltato on air, on demand e questo attraverso tutti i devices. È una “currency” che rilevate?

Mediapulse: Finora, solo la radio live è stata nell’ambito della misurazione radiofonica. In accordo con il mercato radiofonico svizzero, l’ascolto in differita (cioè i podcast) non è previsto nemmeno per il prossimo futuro.

Meno 23%, un dato significativo?

FM-World: Il sito web tio.ch ha riportato un calo del 23% degli ascoltatori radio dopo lo spegnimento FM.
Tuttavia, l’articolo afferma “Secondo Miko Marr, responsabile della ricerca presso la società Mediapulse (che misura i dati radiofonici): «Queste cifre a breve termine non sono significative». La SSR per parte sua conferma come i dati non siano sufficientemente affidabili dal punto di vista statistico”.
Non vi chiediamo quindi commenti su questo particolare calo, ma piuttosto una spiegazione:
Potete spiegare perché i dati non sono ancora statisticamente significativi e quando prevedete che lo saranno?

Mediapulse:  La dichiarazione di Mirko Marr non è diretta alla significatività statistica, forse questo è andato perso nella traduzione.

La dichiarazione si riferisce al fatto che i valori costituiti da soli 14 giorni (e nemmeno settimane calendario complete) di misurazione non forniscono un valore di precisione sufficientemente alto per basare una valida dichiarazione di perdita generale di audience.

Mediapulse raccomanda sempre di considerare almeno un trimestre (o più per regioni di analisi più piccole) per risultati affidabili. Ciò è dovuto al fatto che la misurazione viene effettuata con un campione a rotazione e quindi la dimensione del campione si accumula nel tempo.

Conclusioni

Prima di rispondere alla domanda che tutti ci poniamo – se lo spegnimento dell’FM sia una buona idea – abbiamo voluto analizzare le metodologie di ricerca utilizzate in Svizzera. E – con precisione e serietà svizzera – ci è stato consigliato di aspettare a trarre conclusioni.

Ma una cosa è certa: tra due mesi (alla fine del primo trimestre) chiederemo nuovamente di accedere ai dati al fine di raccontarveli, qui su FM-world.it.

(M.H.B. per FM-world)