Foro

Depende de como definas la hipótesis, pero probablemente no digo eso, no. En ese ejemplo tu muestra es toda la población sobre la que estás haciendo la predicción. La luna, mañana a las 5. La miro, BAM! Empecé diciendo que la hipótesis nula no se puede probar sin estudiar toda la población.

Distinto es hacer hipótesis generales del tipo "(no) existe" más comunes en ciencia básica o como la que propone Midori. Cuántas veces miras, dónde, hasta que dices que algo no existe? Nunca puedes comprobarlo científicamente.

En todo caso estaba editando el otro post para aclarar que hablar de tus ejemplos de trabajo sí parece más off topic así que si quieres lo hacemos por MP o mantenemos la conversación general y en lo que se refiere al post original.

Lurith y Alex, dejen de desvirtuar el tema con su plática filosófica, la persona que creo el Thread, especificamente pidio NO hacer Spam, es un trabajo en el que le estamos echando la mano, no un espacio para debatir.

Y por si no quedó claro su primer mensaje:

Por favor, no hagáis spam. La intención NO es debatir sobre la existencia de la clarividencia.

En el caso de midori, como ya había comentado antes, se podría calcular dentro de un cierto intervalo de confianza y sería un resultado más o menos significativo en función de las condiciones en que lo lleve a cabo (seguramente no mucho). Pero el experimento, a nivel conceptual, está bien planteado. Tiene una hipótesis falsable y una metodología controlable. Ahora lo que necesita es una muestra más grande y controlada de lo que se puede conseguir aquí, una metodología más homogenea (no puede cambiarse de generador aleatorio sin saber como se generan esos números en cada caso) y un estudio sobre cual es su hipótesis nula (porque a priori no es tan fácil saber cual es). Vamos, un montón de trabajo xD Pero  en caso de hacerlo todo, y que el resultado fuese nulo, si podría decir que la clarividencia (al menos en la forma en que la ha definido) no se da, dentro de las condiciones del experimento.

Y ya es mejor que lo dejemos. Aunque yo sigo pensando que esto es relevante. No hemos discutido en ningún momento sobre si existe o no, solo sobre las posibilidades de la metodología propuesta.

Hombre, yo mientras me pongáis datos... no es que me vaya a pronunciar en contra del spam, es solo que es más fácil conseguir los datos así que viajando a través de cientos de páginas de filosofía de la ciencia. XD

Vale, me pongo a ello y en cuanto tenga algo en claro os lo comunico. 

Hola:

Resulta que los resultados siguen una distribución normal, de media=6,64 y DT=3,52. (por Shapiro-Wilk). Con la formulita correspondiente y la distribución t-Student, podemos asumir que a una significación del 5%, (y del 1%, y probablemente más baja aún) que:

LA CLARIVIDENCIA EXISTE

Una media tan alta con una muestra de 48 personas, parece significar que la clarividencia ha tomado parte en el juego, es decir, que adivinabais qué puñetera figura iba a salir antes de que saliera. ¿Quién iba a decirlo? (yo desde luego, no). Supongo que ahora podréis debatir tranquilamente lo sesgado que es el estudio, o lo que prefiráis. 

Asumiendo que existe, me pregunto yo ahora. ¿No os llama la curiosidad? tanto para ahondar y hacer un estudio con más participantes, como para intentar averiguar las causas.

Y también lanzo una pregunta ¿puede ser que realmente, como en el "experimento de la doble rendija" sea el observador el que influya en el resultado?

Resulta que los resultados siguen una distribución normal, de media=6,64 y DT=3,52.

Ese resultado es compatible con el resultado que había obtenido en la página que puso Hugin, eligiendo siempre la misma carta (6.8, DT 2.3). Es básicamente el resultado esperado para la hipótesis nula.

En realidad tus diez muestras no las tome, porque no habia tomado parte la clarividencia sino un metodo

No digo eso. Digo que el resultado (6.6, DT 3.5) es equivalente con el azar puro. En esas 10 muestras era 6.8, DT 2.2. Ahora acabo de hacer una prueba con 50 muestras, eligiendo siempre la carta del medio, y el resultado promedio sigue siendo ~6 (no he calculado la DT).

Pero lo que yo intentaba mostrar era que fuera igual o distinta al 20%, no si era igual o distinta a un método en particular. También podríamos haber estimado la carta más probable de salir teniendo en cuenta una app de 5 cartas de 5 palos, pero eso sería un método y no es lo que pretendía medir. 

Creo que Alex se centra en tecnicismos de estadísticas y matemática pura, eliminando el factor humano.

Creo que a eso se refiere Midori. No ésta cuestionando un método de recogida de datos, sino si las personas humanas pueden influir en hacer que se salga de lo esperado.

No estoy cuestionando el método de recogida de datos, sino la interpretación del resultado. El resultado obtenido es el resultado esperado asumiendo que todo sea azar puro. Eso es un evidente resultado negativo. No es un resultado más alto del esperado para el azar, es justo el esperado.

Si tenemos:

Hipótesis nula (cartas elegidas sin intervención humana) --> 6.8 +- 2.2 aciertos

Test (cartas elegidas por humanos) --> 6.6 +-3.3 aciertos

Lo que tenemos es que el resultado del test es equivalente a la hipótesis nula, y por tanto no hay ninguna evidencia de clarividencia. Para tener una evidencia de clarividencia tendrían que ser dos resultados incompatibles. Con una dispersión de 3.3 en el test, el primer resultado incompatible es ~12. Necesitarías una media de 12+-3 para decir que hay una detección, que aun sería muy poco significativa.

Pero ten en cuenta quese ha hecho sobre una población que no cree o afirma tener esa capacidad extrasensorial. ¿Eso no cuenta para que ese 12 baje?

Es decir si se diera ese 12, +-3 en una población normal, creo que la clarividencia sería algo aceptado como algo normal y este estudio sería absurdo.

Sería como hacer un estudio para saber si la gente mirando el tiempo (clima) puede predecir el del día siguiente. Ahi un 12 +-3 sería de lo más normal.

En resumen, este estudio solo daría evidencia, no de la existencia o no de la clarividencia sino si la clarividencia es algo normal en las personas. Y todos sabemos que no es así.

Si quieres buscar evidencias haz el estudio sobre una población que diga ser sentitiva (y que no sean unos cantamañas). Es decir gente de confianza, no los que salen echando las cartas en la televisión local a las 3 de la madrugada.

La creencia o no sobre las capacidades extrasensoriales es irrelevante para la prueba. En caso de existir, el resultado debería ser independiente de la predisposición de los sujetos. Tampoco es correcto de ningún modo usar eso para bajar la exigencia del test. Independientemente de que se crea o no en la clarividencia, el azar puro es el suelo de la prueba. No se pueden obtener resultados inferiores (de forma consistente). El resultado que Midori ha presentado es compatible con el resultado más negativo posible para la prueba. ¿Que otro resultado esperabas para decir que no hay evidencia? ¿Que fuera peor que el azar? Eso no es posible en una prueba como esta. En rondas individuales si, en el promedio no. 

En resumen, este estudio solo daría evidencia, no de la existencia o no de la clarividencia sino si la clarividencia es algo normal en las personas. Y todos sabemos que no es así.

Un resultado donde la clarividencia existe, pero es rara, debería producir una distribución de este estilo:

Con una acumulación significativa de resultados en la parte de éxito alto (las dos columnas de la derecha en la grafica). Pero para poder decir algo sobre eso necesitas mucha gente y muchas pruebas. No te vale una (o dos) pruebas por sujeto. Necesitas decenas o cientos de pruebas por sujeto (y tomar en consideración todas, no solo las de más exito) para estudiar la distribución de resultados de cada sujeto antes de combinar los resultados de los diferentes sujetos. Luego necesitas seguramente miles de sujetos para que la muestra de población sea razonablemente significativa. El número de pruebas por sujeto, y de sujetos, es necesariamente grande para evitar que aparezcan falsos positivos causados por el azar. Una prueba de este estilo tiene siempre una probabilidad estadística (pequeña, pero está ahí) de que haya 25 aciertos sobre 25 intentos totalmente causados por el azar (por ejemplo haciendo que un ordenador genere las cartas, y otro ordenador las adivine es posible tener pleno de aciertos. Estamos de acuerdo en que un ordenador no puede ser clarividente ¿verdad? xD). Además todas las cartas deben estar generadas de la misma manera. No se deberían mezclar varios generadores de números aleatorios, especialmente sin testear la distribución de resultados de cada uno.

Si quieres buscar evidencias haz el estudio sobre una población que diga ser sentitiva (y que no sean unos cantamañas). Es decir gente de confianza, no los que salen echando las cartas en la televisión local a las 3 de la madrugada.

La muestra de un estudio debería estar lo menos sesgada y ser lo más completa posible. En caso de querer comparar los resultados de quienes dicen serlo, y quienes no creen, tendrías que tener un grupo que dice ser clarividente, un grupo que dice no serlo, y al menos otro grupo que ni siquiera sabe que la prueba tiene nada que ver con la clarividencia. El tercer grupo tendría que pensar que está haciendo una prueba de otra cosa completamente diferente.

Es decir si se diera ese 12, +-3 en una población normal, creo que la clarividencia sería algo aceptado como algo normal y este estudio sería absurdo.

Si existiese evidencia significativa de que una pequeña parte de la población es clarividente, creo que ya lo sabríamos de sobra. Con la cantidad de gente que ha intentado probarlo, es imposible que nadie lo hubiese detectado ya en un estudio serio.

Yo ya comenté que a este "experimento" le falta un grupo control, entre otras cosas, para ser un verdadero experimento. AlexSM estaba asumiendo que la proporción de aciertos al azar era el control implícito, cosa razonable. Entiendo que Midori no consideraba grupo control ninguno, cosa que lo convierte en no se qué, pero no un experimento. Si asumes que la única razón por la que alguien podría coincidir en la predicción es clarividencia, y no simple probabilidad estadística o suerte, entonces desde luego, existe la clarividencia. Más prueba es toda la gente que gana la lotería.

AlexSM ya está diciendo cómo interpretar los resultados. Es un negativo como una casa. Si Midori, o alguien, quiere consejo sobre cómo interpretar este negativo, o crítica constructiva sobre el diseño, estoy encantado de colaborar.

Yo recomiendo en contra de decir que los resultados demuestran que no existe. Ni siquiera que sean evidencia de nada. No lo recomiendo a nadie que no entienda la diferencia entre inducción y deducción, y cuál es el problema de inducción, enunciado por Popper y muchos otros y que define la postura actual en cuanto interpretación de tests. Lo digo solo por ser un blog "de ciencia". A nivel personal o de opiniones, estos resultados negativos le pueden dar más confianza a cualquiera en que la clarividencia no existe.

Si existiese evidencia significativa de que una pequeña parte de la población es clarividente, creo que ya lo sabríamos de sobra. Con la cantidad de gente que ha intentado probarlo, es imposible que nadie lo hubiese detectado ya en un estudio serio.

Ya hay estudios que lo demuestran, algunos incluso serios; echa un vistazo en google scholar. El problema del método hipotético-deductivo y la confianza pura en la estadística es que con suficiente gente probando, algunos van a encontrar resultados estadísticamente significativos que "demuestran científicamente" que existe. En concreto, 1 de cada 20 a un grado de confianza del 95%.

¿Lurith puedes aclarar este párrafo?

Cita:

Me gustaría saber de esos estudios. Como se ha hecho y exactamente a que conclusiones han llegado. Explicado para alguien "que no tiene puntos de habilidad subidos a conocimientos de estadística".

Cita:

Explicalo para alguien que no tiene ni idea de esa terminología.

Ok, intentaré, pero prepárate para ladrillo, que me pillas en días relajados y es un tema difícil de resumir XD

Sin influencia, más alla del azar, es de esperar que alguien acierte al predecir una moneda lanzada un 50% de las veces. Es cara o cruz, uno u otro, así que a veces, por probabilidad estadística, vas a acertar. Este porcentaje tenderá al 50% cuando las repeticiones son suficientes. En conclusión, alguien que acierta lo que va a salir en una moneda una de cada dos veces no es ningún mago ni tiene poderes.

Pero qué pasa con alguien que acierta 51 de 100 veces? Pues lo mismo, las proporciones son tendencias así que 50, 51, 49, 48 es totalmente normal fruto del azar. Esto es asumiendo una distribución normal como casi siempre se hace.

Qué pasa con alguien que acierta 90 de 100 veces? Eso es estadísticamente significativo porque está tan separado de la media que es poco probable que sea azar. Este "poco probable" es muy importante porque situaciones poco probables todavía existen en la naturaleza. Hay gente que le ha tocado la lotería dos veces. Cuando haces un estudio y sale algo increiblemente poco probable, es razonable asumir que no es azar. Ese es el nivel de confianza estadística, tipicamente 95%, o 99%, pero nunca 100%. Lo que quiere decir "en una distribución normal, este resultado se espararía al azar solo un 5(1)% de las veces, así que estamos bastante (95%) seguros de que no es azar.

El problema es que si haces 100 estudios, como se han hecho sobre parapsicología, estadísticamente puedes esperar que 5 de ellos encuentren resultados "tan improbables que solo hay un 5% posibilidad de encontrarlos al azar". Por probabilidad, gente ha encontrado resultados "mágicos", y por supuesto, esos resultados se publican porque son evidencia de algo sorprendente.

Eso significa que, incluso con metodologías impecables y muestras sólidas, hay experimentos que "demuestran" cosas que no existen. Si hay 100 personas en paralelo haciendo el experimento perfecto, un puñado encontrarán evidencia científica de lo incorrecto.

Dicho con un ejemplo, existe la teoría de que haciendo un baile antes de tirar los dados en Umbria, mejoras el resultado de los dados virtuales. Si una multitud de nosotros, independientemente, testamos esa teoría haciendo el baile y luego creando un pj en D&D, alguno de nosotros sacará el pj con todo 18s. Esa persona dirá "funciona", lo compartirá, y nadie puede decir que la evidencia no sea completamente científica y la conclusión correcta (con un 95% de confianza).

Esta es la razón por la que un estudio publicado nunca prueba ninguna ley general. Necesitas paladas de estudios encontrando lo mismo y típicamente décadas para estar razonablemente seguro de algo. Y este "razonablemente seguro" es subjectivo y nunca perfecto, pero es lo que hay. Luego el sesgo en favor de publicar resultados positivos y no negativos solo empeora esto, pero ya es otro tema y me he liado bastante.

Offtopic:

¡¿Pero que hacen publicando detecciones al 95%?! ¿Se han vuelto locas las revistas para aceptarlo? xD

Bueno, se que se hace, supongo que en algunos campos más que en otros. Pero 95% de confianza para el resultado principal del trabajo creo que no es suficiente para decir que se tiene un resultado positivo. Quizá un indicio, o una evidencia leve, pero... buff... es poquito poquito. 

Encima seguro que será un 95% calculado usando alguna regla optimista  xD

No del todo off topic!

En física-ingeniería, que entiendo que es tu contexto, los estándares estadísticos son más altos por buenas razones, pero en las ciencias sociales un 95% es bastante y el tamaño de los efectos es minúsculo. Si aplicaras los estándares de hard sciences a psicología no sabríamos nada del comportamiento humano XD Simplemente el contexto es más caótico y ruidoso, más impredecible que el comportamiento de planetas, materiales, o principios químicos.

En psicología un modelo que explica un 10 o 20% de la varianza te da un premio nobel XD mientras que por supuesto la NASA encuentra ajustes mucho mejores en sus temas. Los estándares son distintos porque las propiedades de las distribuciones también son distintas, no se puede comparar fácilmente.

Edito: de todas formas el problema conceptualmente es el mismo a cualquier nivel de confianza. Todavía es probabilístico y los falsos negativos existen.

Entiendo que en muchos casos es difícil hacerse con una muestra suficientemente grande, o suficientemente significativa, pero en un caso como este debería ser fácil evitar el falso positivo (siempre y cuando exista voluntad de evitarlo). Al menos los falsos positivos evidente. Está todo basado en un test bastante trivial y rápido de hacer. Solo es cuestión de poner a prueba los "candidatos a resultados positivos" antes de declararlos resultados positivos. Repetir, el test con los sujetos candidatos a positivos. Si fuese clarividencia, el positivo debería ser consistente al mantener al sujeto por muchos tests que se hagan. Además, evidentemente, de tratar de poner a prueba ese resultado bajo otras hipótesis (aparte del azar) que puedan explicarlo. 

Lurith, pero si resulta que ciertas personas aciertan 91, 97, 92, 96... siempre sobre 100. Y por mucho que te empeñes en hacerle pruebas, hoy, el mes que viene o el año que viene.

Eso no puede deberse al azar.

Encantado de seguir esta conversación con Geburah y AlexSM, pero creo que ya sí nos estamos desviando del caso de Midori. Especialmente lo de Geburah suena casi a debatir sí o no que es lo que Midori explícitamente pidió no hacer. Que me mande un MP quien quiera.

Si me pongo un poco pesado con el tema es porque parece que Midori quiere tener un blog divulgativo sobre ciencia. Y creo que el divulgar-enseñar viene con cierta responsabilidad sobre saber de lo que se habla. Por eso, con buen criterio, Midori pide consejo en su primer post.

Cierto, te mando un MP con una duda que me surge.