OS- en Browserstatistieken 2010

Door ACM op donderdag 6 januari 2011 11:53 - Reacties (16)
Categorie: Browsers, Views: 5.655

Na een half jaartje stilte nu toch maar weer een update over wat voor browsers de bezoekers van Tweakers.net tegenwoordig gebruiken.

Het is saai aan het worden, maar Chrome is domweg doorgegroeid ten koste van Internet Explorer en Firefox. Als je de huidige lijnen interpoleert lijkt het erop dat er de komende weken geen enkele browser nog boven de 30% zit, maar dat IE, Firefox en Chrome alledrie tussen de 20 en 30% gaan bewegen.
De rest gebruikt dan vooral Safari, naast de trouwe schare Opera-gebruikers. Voor de rare piek in bezoekers (maar niet in pageviews) in september van Chrome heb ik geen verklaring, wellicht een fuck-up van Google Analytics met hun herkenning van Chrome of domweg met de cijfers.

Hier de ontwikkeling van de weekstatistieken:
Bezoeken per browser per week 2011-01-06
Bij de bezoeken blijft IE in totaal nog wel de grootse, maar zijn IE en Firefox beide duidelijk al langere tijd dalende.

Pageviews per browser per week 2011-01-06
Bij pageviews is Firefox al heel lang de grootste, maar verliest net als IE flink gebruikers aan met name Chrome en in mindere mate Safari. Sterker nog, wij zien door de grote onderlinge verschillen de losse IE-versies als losse browsers. En als je het zo bekijkt is Chrome nu de tweede browser op Tweakers.net.

Bij de Operating Systems beginnen de mobiele devices zichtbaar te worden in de grafiek. Althans, de lijntjes die tegen de X-as geplakt zitten beginnen er een beetje los van te komen. Met respectievelijk 2,18% en 1,47% van de bezoeken zijn Android en iPad nou de grootste twee. Symbian heb ik maar niet opgenomen en iPhone was aan het begin van het jaar de grootste, maar is sinds de introductie van de iPad (en waarschijnlijk de iPhone-app) nauwelijks meer gegroeid. En staat daardoor nu met 1,21% op de derde plek van de mobiele OS-en. In januari 2010 deed de iPhone namelijk al 0,96% van de bezoeken, terwijl Android nog maar op 0,24% zat en de iPad op 0% (die lijn begon pas in April).

Bezoeken per OS per maand 2011-01-06
Zoals te verwachten is Windows Vista nog verder weggezakt. De nieuwe Windows 7-gebruikers komen nog altijd bij zowel XP als Vista-gebruikers vandaan.

Pageviews per OS per maand 2011-01-06

Bij de pageviews doen de mobiele OS-en nog een stuk minder mee. Zoals wel te verwachten was zijn het vooral korte bezoeken.
Met de wildgroei aan Android-tablets en straks een nieuwe iPad zullen in beide grafieken in 2011 de lijntjes voor die twee vast flink door blijven groeien. Wat de iPhone gaat doen is minder duidelijk.

DDoS-stats van 27 december

Door ACM op dinsdag 28 december 2010 12:17 - Reacties (15)
Categorie: Tweakers.net, Views: 5.742

Gisterochtend werden we aangevallen met een DDoS-aanval. Het was zo te zien een vrij standaard aanval, waarbij men probeerde continu nieuwe verbindingen naar onze webservers te openen.
Dat is niettemin een behoorlijk lastige aanvalsvorm om goed af te slaan en zorgde er dan ook voor dat de site in het begin van de aanval toch wat minder goed bereikbaar was.
Gelukkig wist onze, begin dit jaar aangeschafte, ddos-appliance de boel behoorlijk goed tegen te houden, waardoor de overlast toch redelijk beperkt bleef. En die appliance houdt uiteraard ook allerlei statistieken bij, dus bij deze een kort overzichtje :)

Tijdens de piek van de aanval, even voor 12:00 uur, kregen we zo'n 80Mbit aan inkomend verkeer, waar we normaal tussen de 5 en 10Mbit zitten. De piek was overigens wel vrij kort, waarna de aanval gestaag afnam. Onderstaand grafiekje laat dat mooi zien. De pieken rond 11:45u, 14:45u en later zijn onderhoudstaken, die horen niet bij de DDoS.

Riorey Link utilization 2010-12-27

Overigens is de aanval nu nog steeds niet helemaal weg. Aan het begin deden we (naar schatting) richting de 120.000 aanvallende packets per seconde, na een uur zat dat op zo'n 90.000 en nu is dat nog slechts zo'n 1200. Ons normale verkeer bestaat op dit moment uit ongeveer 7000 packets/seconde.

Het aandeel "vervuiling" is daardoor nog steeds wel vrij hoog. Gistermiddag was het ongeveer 90%, nu nog steeds 5% van het totale verkeer en 50% van de "tcp syn's". Het verloop van het totaal kan je vrij goed zien in dit plaatje.

Riorey Packet pollution 2010-12-27

In totaal leverde dat sinds 11:52u gisterochtend 1.442.375.536 tcp/ip-packets onze kant op. Daarvan waren 1.432.525.268 gemarkeerd als onderdeel van de aanval, ruim 99,30% dus. Die packets waren goed voor 96.590.347.964 bytes (net geen 90GB) en ook daarvan was een groot deel aanvallend; 95.909.389.716 bytes oftewel 99,29%.

Aanbevolen producten in de Pricewatch

Door ACM op vrijdag 25 juni 2010 21:25 - Reacties (8)
Categorie: Pricewatch, Views: 5.107

In februari introduceerden we vergelijkbare producten. Door de specificaties van producten in een categorie te vergelijken kunnen we de 'euclidische afstand' tussen producten bepalen.
Vervolgens pakken we daar de beste matches uit en laten hetzelfde algoritme los op de recente bezoekersinteresse in de producten. Het idee daarachter is tenslotte dat bezoekers, die een bepaald type product zoeken, meerdere vergelijkbare producten bezoeken. En in de praktijk klopt dat ook :)

Wel bleek de afgelopen tijd dat er nogal zwaar werd gefocused op onbenullige specificaties. De specificaties die bovendien ook nog het vaakst incompleet of inconsistent ingevuld waren. Daar hebben we de afgelopen tijd nog wat aan getuned. De telefoons zijn daarbij een mooi voorbeeld omdat ze erg veel specificaties en filters kennen. Voorheen zag je allerlei telefoons waarvan het totaal niet duidelijk was waarom ze er nou eigenlijk bij stonden, terwijl belangrijke aspecten - zoals de schermgrootte, het type scherm en het OS - nauwelijks meespeelden. Nu zie je telefoons die echt behoorlijk goed vergelijkbaar zijn. Uiteraard hopen we zo de bezoeker nog beter door het doolhof van de productkeuzes te kunnen helpen.

Hetzelfde algoritme bleek ook toepasbaar op los bezoekersgedrag. Op die manier kunnen we van een individuele bezoeker proberen wat producten aan te bieden waar hij mogelijk interesse in heeft. We weten tenslotte wat hij zoal bekeken heeft en wat anderen, die diezelfde producten ook bekeken, bekeken hebben.
Als je bijvoorbeeld geintereseerd bent in de Samsung Galaxy S, HTC Desire en Google Nexus One. Dan zal het er op de pricewatch-index ongeveer zo uit kunnen zien:
Aanbevolen producten


Ik kan me goed voorstellen dat anderen ook de zilveren Desire, iPhone 4 en HTC Wildfire hebben bekeken en, inderdaad, ik heb ze nog niet bekeken. Uiteraard verschilt het gedrag met andere producten. Het is sowieso maar net hoe populair de producten zijn die je bekijkt en wat voor willekeurig gedrag bezoekers ermee hebben.

Als je bijvoorbeeld een populair fototoestel en een nas-oplossing bekijkt, ziet het er ongeveer zo uit:
Aanbevolen producten, 2e voorbeeld


Mocht je het zelf willen bekijken, hou er dan rekening mee dat er gebruik wordt gemaakt van je sessie. Oftewel, als je veel verschillende producten bekijkt zal er vanzelf een chaos ontstaan die zich vooral richt op de populairste producten (je kan uiteraard een andere browser starten om een schone sessie te krijgen). Verder kijken we voorlopig alleen naar heel recent bezoekgedrag, de afgelopen 24 uur. Hoewel ik wel verwacht dat we dat nog een stukje willen oprekken is het niet bedoeling dat we je met maanden aan bezoekgedrag blijven confronteren. Om die reden krijg je ook geen producten te zien die je reeds zelf bezocht hebt, het bestaan daarvan weet je tenslotte al.
Overigens zit er een vertraging van maximaal 5 minuten in de weergave, het is vrij kostbaar om dit helemaal on-the-fly uit te rekenen, dus een groot deel van het voorwerk wordt elke vijf minuten gecached :)
En als laatste, als je nog niks bezocht hebt, krijg je toch resultaten te zien, dan krijg je domweg populaire producten te zien, net als het blokje op de frontpage. Dit zijn tenslotte de producten waarvan we weten dat veel andere bezoekers er in geinteresseerd waren, dus deze hebben dan de grootste kans om de interesse van de bezoeker te wekken.

Ik hoor graag jullie mening over de werking en verbeterpunten van deze nieuwe functionaliteit. Echter zit ik niet zo te wachten op allerlei discussies over privacy, door de korte periode waarover we de hiervoor gebruikte gegevens bewaren zie ik geen reden je daar heel erg zorgen om te maken. Voorts worden de gegevens anoniem en enkel in massaverwerking gebruikt, de individuele gegevens gebruiken we slechts alleen om het lijstje voor de individu die te pagina bekijkt te genereren. Dus ik hoop dat we dat aspect bij deze kunnen laten voor wat het is :)

T.net Browserstatsistieken 2009-2010

Door ACM op zondag 20 juni 2010 16:42 - Reacties (10)
Categorie: Browsers, Views: 4.237

Zoals beloofd geef ik zo nu en dan wat statistieken van de bezoekers op Tweakers.net. Dit keer weer de browsers. Bij de operating systems is verder weinig echt bijzonders voorgevallen, Windows 7 is ondertussen boven XP uitgegroeid als populairste OS en vooral Vista is verder weggezakt. Ondertussen is Windows 7 goed voor zo'n 1/3e van de bezoeken en 2/5e van de pageviews.

Bij de mobiele browsers is Android een grote groeier geweest het afgelopen half jaar, van alle mobiele bezoekers had in december nog geen 15% Android. Ondertussen is dat gegroeid tot bijna 30% in mei, dit is zo op het oog vrijwel volledig te danken aan meer mobiele bezoekers, het absolute aantal iPhone-gebruikers was namelijk ook gestegen, maar Android steeg simpelweg sneller. T.o.v. het totaal aantal bezoekers hebben we het dan overigens nog steeds over enkele procenten.
Halverwege juni is door de introductie van de iPhone-app het absolute aantal iPhone-bezoekers op de frontpage (en op de mobiele site ook, maar daar gaan deze cijfers niet over) overigens gedaald. Dat heeft zelfs tot gevolg dat ik verwacht dat Android in die statistieken vanaf volgende maand het grootste mobiele platform wordt. Uiteraard is het dan niet meer een hele eerlijke vergelijking, want de iPhone-applicatie is daar dan niet meer bij meegeteld.

Bij de pageviews per browser is er op zich ook weinig voorgevallen. Maar toch is er een klein historisch feitje in de geschiedenis van Tweakers.net bij ontstaan: Internet Explorer is niet meer de grootste browser.
Waar Firefox-gebruikers al sinds halverwege 2008 meer pageviews dan Internet Explorer opleveren, is het nu dus voor het eerst zo dat een volle week lang Firefox de grootste browser op het gebied van bezoekers is. Het is wel ironisch dat dat niet komt doordat Firefox nou zo hard gegroeid is, maar doordat het minder hard gedaald is dan IE. En die daling komt uiteraard vrijwel volledig voor rekening van Chrome, hoewel ook Safari nog een beetje doorgroeide met beide cijfertjes.

Browser bezoeken per week jun 2010
Op het gebied van bezoeken is Firefox nu dus nipt groter. Of Firefox deze winst vast kan houden is natuurlijk maar de vraag, de geschiedenis wijst uit dat IE hardnekkiger is dan Firefox, simpelweg doordat het de standaard browser bij veel bedrijven is.

Browser pageviews per week jun 2010
Bij de pageviews is duidelijk te zien dat de alternatieve browsers - en dan vooral Firefox, Chrome en Opera - nog altijd veel meer pageviews per bezoeker opleveren dan Internet Explorer. Het is zelfs zo 'erg' dat als we de lijntjes van IE8 en Chrome hier doortrekken, we met enkele maanden een nieuwe browser op de 2e plek kunnen verwelkomen.
Een andere goede ontwikkeling, voor ons dan, is dat IE7 net als IE6 flink weggezakt is, vooral de laatste paar weken ging het hard. Wellicht dat veel scholen met IE7 werken? Qua pageviews komt het zelfs in de buurt van de nauwelijks fluctuerende Opera-lijn.
Aan de hand van deze grafiek zullen we ook weinig moeite gaan hebben met het besluit om IE7-support te laten vallen, zodra IE9 uitkomt :)

[edit]
En dan nu met de goede plaatjes :P

Tweakers.net's overcapaciteit

Door ACM op dinsdag 8 juni 2010 22:17 - Reacties (20)
Categorie: Tweakers.net, Views: 5.013

We schaffen geregeld nieuwe hardware aan en de capaciteit daarvan is vaak veel groter dan we nodig hebben. Een goed voorbeeld was onze databaseserver eind vorig jaar.
Dat levert uiteraard wel eens de vraag op waarom we daar dan zoveel geld aan uitgeven, want het kan tenslotte ook goedkoper. "Dat kan toch ook wel met wat minder?" Tuurlijk kan dat. En dat zou ook eigenlijk altijd wel goed moeten gaan.
Nouja, bijna altijd. De backend voor de iPhone-app bevat een component dat weliswaar goed werkte, maar een relatief zware query bevatte. Doordat er vrij veel mensen tegelijk de app uitprobeerden werd die query in twee uur tijd vaker uitgevoerd dan normaal op een hele dag. En dat was daardoor duidelijk zichtbaar op de belasting van de databaseserver, de belasting was een stuk hoger dan normaal.

Artemis cpu-pieken door iphone-app?

Hoewel de hogere cpu-belasting volgens mij niet volledig door de iPhone-app werd veroorzaakt is, en er sowieso altijd een paar pittige pieken in de belasting zitten, is er toch wel een zichtbare overeenkomst tussen het moment dat crisp aangaf het gefixed te hebben (20:42u) en de afname van de cpu-belasting op dat plaatje...

Dus om nogmaals die vraag te beantwoorden; Ja, meestal kan een lichtere machine het prima aan... Maar het is prettig om overcapaciteit te hebben als een bepaalde query of stuk code in de praktijk slechter uit blijkt te pakken dan voorzien en/of de betreffende functionaliteit (ineens) zwaarder belast wordt dan voorzien. Zoals nu dus door de iPhone-app.
Het is overigens ook niet ongebruikelijk (een paar keer per maand!) dat een of andere losgeslagen crawler vele (zware) pagina's in rap tempo achter elkaar opvraagt... Onze firewall pikt die vaak wel op, maar als ik de pieken zie die dat oplevert ben ik toch elke keer ook weer blij met de overcapaciteit die we hebben, anders zouden de reguliere bezoekers er wellicht veel meer van merken dan tot nu toe het geval is.

En bij deze heb ik ook een keer een mooi concreet voorbeeld van onze keuze om overcapaciteit aan te brengen en te houden in ons serverpark :)