Πειραματισμός στην εποχή της ΤΝ: Σήμα, όχι όγκος

Η ΤΝ έκανε τα τεστ φθηνά - όχι την εμπιστοσύνη στα αποτελέσματα. Μια ομάδα που τρέχει 41 τεστ σε ένα τρίμηνο αλλά δύσκολα ονομάζει ένα που άλλαξε μια πραγματική απόφαση, δεν έχει πρόβλημα όγκου. Έχει πρόβλημα μάθησης.

Το ακριβό μέρος έμεινε εκεί που ήταν. Φθηνό έγινε το στήσιμο και η διάθεση ενός τεστ. Ακριβό έμεινε το να ξέρεις αν το αποτέλεσμα σημαίνει κάτι - και το θάρρος να σταματήσεις ένα χαμένο τεστ πριν κάψει τον προϋπολογισμό.

Ξεκινήστε με λιγότερα στοιχήματα. Ένα μοντέλο επιστρέφει 200 ιδέες όταν του ζητηθεί. 200 αταξινόμητες ιδέες δεν είναι στρατηγική. Κάθε ιδέα βαθμολογείται σε τρία ερωτήματα πριν από ένα ζωντανό τεστ:

• Πόσο μεγάλο είναι το πιθανό όφελος; Μετακινεί το αποτέλεσμα έναν αριθμό που αφορά την επιχείρηση ή μόνο μια μέτρηση ματαιοδοξίας;
• Πόσο σίγουροι είμαστε από την αρχή; Υπάρχει τεκμηριωμένη υπόθεση ή μαντεύουμε;
• Πόσο κοστίζει η εκτέλεση; Χρόνος, επισκεψιμότητα και προϋπολογισμός που θα απέδιδαν περισσότερο αλλού.

Η πειθαρχία είναι να αποκλείσεις μια ιδέα που δείχνει καλή, πριν φάει τρεις εβδομάδες.

Ένα καθαρό τεστ απαντά σε ένα ερώτημα. Αλλάζει μία μόνο μεταβλητή, μετρά απέναντι σε πραγματική ομάδα ελέγχου και τρέχει μέχρι προκαθορισμένο μέγεθος δείγματος. Όποιος ορίζει το μέγεθος του δείγματος αφού δει τα δεδομένα, δεν μετρά πια - αναζητά επιβεβαίωση. Η ΤΝ μπορεί να υπολογίσει τη διάρκεια του τεστ, να προσομοιώσει αποτελέσματα και να αναδείξει συγχυτικούς παράγοντες. Την επιλογή της μέτρησης την κάνει πάντα ο άνθρωπος.