Transcripciones
1. Introducción: Hola. Bienvenido a esta clase sobre análisis de datos usando pandas Python en el cuaderno Júpiter. Mi nombre es Paul. Ahora siendo analista de datos desde hace unos 12 años. Esta es una clase de nivel principiante, así que no espero que la gente tenga ningún conocimiento previo ni que los pandas le ordenaran su cuaderno. Y en efecto, es posible que no tengas ningún conocimiento previo fuera de hacer ningún análisis de datos. El objetivo del vidrio es configurar un entorno de trabajo para que tengas
cuaderno de Júpiter en panders y podrás analizar tus propios datos. Establece tus propios datos. El poder de analizar datos para convertir datos en rollo en información es una habilidad muy valiosa para tener en estos días. Muchos empleadores valorarían a alguien con esas habilidades en su equipo, así que espero que puedas seguir durante la clase. En eso, podrás crear tu propio proyecto en tu propio análisis Did al final de la clase
2. Descripción de la clase: Está bien. Esta clase tiene cuatro partes masculinas después de la introducción. La primera parte es conseguir un conjunto de datos con el que trabajar. En ese video, te
mostraré diferentes lugares donde podrás descargar tu propio conjunto de datos para trabajar. Todos son de código abierto en su viejo libre para trabajar con el número dos, entonces es instalar Anaconda. El reparto Anaconda incluye muchos paquetes más de 100 paquetes en. Sí incluye los pandas en el cuaderno Júpiter, ambos necesitaremos para este curso. Entonces Número tres es solo abrir el viaje it o notebook y prepárate para hacer algunos datos El
análisis sobre el último es realmente empezar a hacer algo con. ¿ Analizar el objetivo al final de las clases para tener un entorno de trabajo, se
puede analizar conjuntos de datos utilizando pandas. Cuaderno Empresario. Entonces, ¿qué son los pandas? Se trata de una biblioteca de software escrita para el lenguaje de programación Python para manipulación
y análisis de datos En el cuaderno dribbler es una aplicación Web de código abierto como crear y compartir documentos que contienen visualizaciones de ecuaciones de código de vida en muchos otras cosas. Puedes usarlo para eso. Una transformación de limpieza, visualización de
datos, etcétera
3. Cómo hacer algunos datos para trabajar con: OK, ya que este es un curso muy práctico, práctico de la plaice. Te sugiero encarecidamente que sigas todo lo que puedas con la clase. Para hacer eso, vas a necesitar encontrar un conjunto de datos. ¿ Querías trabajar con él realmente No importa cuál sea el déficit, siempre y cuando sea algo que te interese. Son muchos los lugares que puedes encontrarlo a conjuntos en estos días. Gobiernos, por ejemplo, es un beso. Por lo que aquí te tenemos portal de datos abiertos. También tienes portales de datos del gobierno canadiense, portales U.
S. datos del gobierno de
U.
S. Elige un tema que te interese. Gwynn, Ejemplo, etcétera
Educación. Encuentra un conjunto de datos que te interesa descargado. Eso es todo lo que tienes que hacer para empezar. Una vez que tengas tu conjunto de datos y la siguiente sección, vamos a ver los activos cargados de Harvick Naxi en un entorno de trabajo y empezar a hacer algunos análisis de sí
4. instalar anaconda: De acuerdo, Así que una vez fueron elegidos un conjunto de datos con el que queremos trabajar. Lo siguiente que queremos descargar eso y luego encontrar algún lugar de nuestra computadora, que debilite almacenarlo. Por lo que guardo toda la mía en mi disco D. Um, esta es una máquina de ventanas. Um, creé una carpeta en directorio Frío. Hizo análisis dentro de eso tengo muchos directorios más. Dinero, más carpetas. Cada una es para un déficit específico. Entonces tenemos unos en la armadura. Si hizo un conjunto Brexit Bitcoin muchos otros. Te aconsejo hacer esto para que todo se mantenga separado en lugar de que todo esté en un solo directorio, cual podría ponerse muy desordenado una vez que empieces a tener muchos conjuntos de datos y muchos
cuadernos de Júpiter y otras cosas almacenadas allí. De acuerdo, así que la noche hemos configurado nuestro conjunto de datos. Lo siguiente que tenemos que hacer es crear un ambiente de trabajo para que realmente podamos hacer algo ¿Hizo análisis? Um, recomiendo sobre un condón, que es una colección de pitón. ¿ El análisis? ¿ Un paquete de ciencia? Um
, incluye análisis muertos en una red neuronal de aprendizaje automático. Ese tipo de cosas. En esta distribución anaconda hay alrededor de 100 paquetes incluidos. Um, y lo puedes conseguir en máquinas Windows. Mac en sistemas operativos UNIX. Además, es a lo que vas en un condo dot com. Um, dar click en descargar botón ordenar. Se da cuenta de que estoy en una máquina Windows, pero si estás en un Mac o el próximo año, funcionará igual de bien. Um, entonces
tienes que elegir qué versión fuera de Paice y quieres usar. Puedes usar Pace y tres o Peyton, a mi consejo sería usar la pitón. Tres. No sé qué es esta versión. El motivo es que paciente a bien, si vas al look de python dot org, ves que son pitón puesta de sol, también, que es otra forma de decir python twos esencialmente muertos. Se puede seguir usando place in si se quiere, pero ya no se apoya, al
menos no se apoya oficialmente. Entonces esto significa que si hay algún problema, hay algún problema de seguridad con ritmo a que no se arreglarán en el futuro. Uh, esto entró en vigor generalmente el 1er 2020 Así que como
digo, recomendaría comenzar con el python tres. Entonces una vez que descargues Python tres. Uh, deberías tener un ambiente de trabajo. Estás en una máquina Windows y ve al menú de inicio. Ya veremos. Ahí hay uno. Según tres. Ampliar eso. Ahí está el Navegador Anaconda, y este es un buen lugar para empezar. Cuando acabas de empezar, hacemos click en el navegador. Ábrela. Ya verás que hay varias aplicaciones diferentes disponibles. Las aplicaciones exactas que has conformado exactamente igual que éstas pueden estar dispuestas en un orden
diferente, pero la que realmente nos interesa es el cuaderno Júpiter. Por lo que cuando haga clic en lanzar para el trabajo cuaderno Júpiter, se abrirá en cualquiera que sea su navegador predeterminado. No sé de algo como esto, uh, el directorio de hombres que te dijo. Recuerda, tenía todos estos directorios diferentes para mis diferentes DigiCents. Entonces este chico va a empezar a mirar el conjunto de datos que elegí la armadura. Si dijera, Si entramos en eso por aquí, verás que hay nuevo con una podemos ampliar eso. Dice Notebook, Python tres. Si sí instalaste al paciente a
, dirá ritmo en dos años. Entonces hice clic en que vamos a conseguir un nuevo cuaderno de Júpiter, y así es como se ve. Entonces si tienes tan lejos,
tienes Ah, se abrió el
nuevo cuaderno de Júpiter. Bien hecho. Ese es el primer gran paso para poder analizar. ¿ A usando pandas en cuaderno de Júpiter?
5. Abrir un cuaderno de Jupyter: De acuerdo, Entonces si has estado siguiendo y no debiste haberlo hecho, estás listo el cuaderno de Júpiter. Um, un conjunto de datos? No. Deberían estar en el mismo directorio. Simplemente es más fácil trabajar con. Entonces, no, vamos a empezar. Lo primero que tenemos que hacer es importar pandas. Um, estamos trabajando y Python. Es lo mismo que cualquier otra clave de programa python. Lo que es la importación en la biblioteca que nos interesa es pandas Biblioteca. Vamos a tener que hacer referencia a esa biblioteca varias veces. Entonces en lugar de teclear pandas cada vez que podríamos estar en Lizzie, Sólo dale un nuevo nombre y él es su nombre. Lo vamos a llamar como p. D. Vale, podemos ejecutar esto. Por lo que tienes una estrella de look. Esperemos que eso pase a un número pronto. Sí. De acuerdo, así es pandas cargados con éxito. Uh, si hubo algún problema, recibirás algún tipo de mensaje de error. Entonces hay que tratar de averiguar qué va mal. Hay un montón y un montón de foros disponibles donde la gente podría tratar de responder a sus preguntas. O puedes buscar problemas similares que otras personas han tenido. Qué soluciones que soy Han llegado con. Pero ojalá todo funcione. Importar con éxito la biblioteca de pandas. No podemos importar nuestro lo hizo. Entonces vamos a importar los datos a una cosa llamada a sí Afrim lo hizo por él. Es sólo una estructura de datos dentro de pandas con los datos se almacena y se puede pensar en ello como
una hoja de cálculo bidimensional. Hoja de cálculo de Excel. Se ha levantado sobre columnas. Por lo que volveremos a llamar a nuestros datos para él Just DF. Se Caesar tipo DF y mecanografiando datos de cada vez. Pero puedes llamarlo como quieras esta idea de iguales. Ahora vamos a llamar a la Biblioteca Panis. Por lo que PD on dentro de la biblioteca pandas, hay una función de lectura en frío. Ver, SV, nuestro lo hizo está en un expediente CSE. Vamos a usar la función read see SV para obtener que datos sobre mí para llamar a la función usando notación de
puntos así p d punto leído subrayado CSTV de los corchetes. Tenemos que decirle el nombre del archivo que queríamos ir y buscar en el archivo que tengo se llama si dot CSP si te hiciste un archivo, tu conjunto de datos no está en el mismo directorio que tu cuaderno de Júpiter. Vas a tener que darle la ruta completa del directorio para que pueda ir y encontrarla. Si no
lo hace, simplemente volverá con un mensaje de error que dice No se pudo encontrar el archivo falta o algo así. Bien. De acuerdo, entonces volvemos a correr esto, ves, ya
ves,cambia a un número. Entonces Ron correctamente, sólo
podemos comprobar que yo estaba haciendo una impresión, así que imprimir corchetes abiertos DF. Ahora bien, si solo ejecutamos
esto, devolverá todas las filas. Andi, eso va a ocupar mucho de la pantalla porque hay miles de rosa, o al menos cientos de rosa de todos modos. Por lo que sólo podemos mirar la parte superior. Shiro usando otra función esta vez llamada cabeza. Abre los corchetes. Si ponemos un número ahí dentro, traerá de vuelta ese número de filas el valor predeterminado si solo lo dejas en blanco. El valor predeterminado es, creo, cinco filas. Por lo que tratamos de ejecutar esto. Sí. Por lo que trae de vuelta cinco filas. Esta columna de números no es en realidad parte de su sí aceptó. Este es un índice. El otro da los datos, amigo por lo que la primera regla cero segundo rosa 1234 Este índice podría ser utilizado entonces para agarrar un cierto papel o un grupo de rosa que quieres analizar más adelante. Entonces es algo útil tener. Tenemos siete columnas en este año deficitario. El mes temperatura máxima en ese mes, la temperatura mínima el número de días en ese mes que tuvieron en su helada el total reforzado ese mes en milímetros sobre el sol total medido en el nuestro para ese mes . Ya ves, el estado de se remonta a enero de 1940 It También puedes mirar la parte inferior del
conjunto de datos si quieres. Es básicamente el CME. Llámame eso en vez de cabeza. Um, la función se llama azulada y de nuevo puedes poner un número aquí. Si no lo haces, volverá a traer cinco filas. Entonces si corremos que lo veas, esto es hasta el año 2015 cm Idea meses temperaturas aceptadas. De acuerdo, así que no con importado exitosamente o hizo A Es en una cosa llamada hizo Afrim, que es esta estructura de datos bidimensionales dentro de pandas. No estamos en una posición. Podemos empezar a analizar los datos
6. Analiza los datos: Está bien. En el último apartado, importamos nuestros datos a nuestros datos, amigo. Simplemente comprobamos que todo se había cargado correctamente, usando la cabeza en las funciones de cola en él parecía que todo se había cargado correctamente. Entonces ahora estamos en condiciones de empezar realmente a hacer algún análisis de datos. Por lo que me he dado cuatro tareas o cuatro preguntas que voy a tratar de responder. Cuando estás haciendo tu propio proyecto, puedes elegir sus muchas tareas. Problema como así número uno. Voy a tratar de encontrar cuál fue lo perdido en la temperatura más alta registrada en este dato Set on ¿Cuándo hicieron acres o cuál fue el mes del año? Número dos. ¿ Cuál es la cantidad de luz solar? Muy durante el año. Presente análisis Como gráfica, vamos a tratar de hacer. Algunos hicieron una ización visual en lugar de simplemente agarrar números fuera del conjunto de datos. número tres tiene el número de heladas de aire por año cambiado de nuevo. Preséntanos es una gráfica un número cuatro. ¿ Existe alguna correlación entre los diferentes valores y el déficit en? Voy a tratar de presentar esto gráficamente también. De acuerdo, Entonces la primera tarea es conseguir las temperaturas más bajas en el déficit. Por lo que tengo dos variables. Lois. Temp más alta tentación. Y voy a tratar de conseguir valores y poner esos en esas variables. Entonces decimos Lewis temp igual a D F. O hizo un amigo original hizo de él y corchetes equipo encerró las canchas, ropa los corchetes del punto notación de nuevo en la función sus hombres. Por lo que esta función solo obtiene el valor mínimo en esta columna en particular. Entonces estamos usando los corchetes. Las cotizaciones en el nombre para especificar qué columna dentro del amigo de datos que nos
interesa . Recordarás que había siete columnas en esta diferente. Sólo nos interesa la temperatura mínima. Tenga cuidado con los corchetes en la carrera. ¿ Las funciones de corchetes suelen tomar una corrida de corchetes. Ponte lo mezclado, obtendrás mensajes de error locos. De acuerdo, así que ejecutamos este y luego podemos imprimir hija también. Valores. Por lo que se ve, menos 3.8 Celsius fue la temperatura más baja en este conjunto de datos en 23 punto. Fue la temperatura más alta en el déficit. No queremos saber también cuándo ocurrieron estos y podemos agarrar las dos reglas de los datos
señalados . Pero si la deuda de por él y eso nos dará el mes del año en que ocurrieron las temperaturas. Entonces para hacer eso recordarás dije que estos números del lado izquierdo eran índices. Así que come el hizo Un marco le da a cada fila su propio identificador único. Eso es lo que vamos a tratar de encontrar. No. Entonces otra vez, dos variables. Nosotros le estamos diciendo que mire la temperatura mínima en los datos de en la
temperatura máxima lo hizo por él. Esas dos columnas, voy a usar una función I d X hombres y I D X max. Por lo que este es el índice fuera del valor mínimo en el índice del valor máximo. Entonces una vez que ejecutemos estos, estas dos variables contenderán números como cuatro it 11 o cualquiera que sea el número que fuera la regla. Entonces corres estos ahora siendo imprimidos esos dos números, ¿de acuerdo? Por lo que podemos ver nuestra temperatura mínima es en rosa 754 en nuestras temperaturas máximas y fila 497. Entonces ahora todos para agarrar realmente esos dos euros estaban usando una función llamada look o location Cuando estás pasando el índice a la ubicación, el índice tiene que estar entre corchetes, y entonces eso tiene que estar entre corchetes. Entonces, por
supuesto, la función de impresión toma los soportes de Rhonda. Nosotros dirigimos este. De acuerdo, así se puede ver en diciembre de 2010 fue nuestra carrera de temperatura mínima la siguiente. Por lo que julio de 1989 fue nuestra temperatura más alta. De acuerdo, entonces la siguiente tarea fue Hodges, la cantidad de luz solar, muy durante el año. Entonces lo voy a mirar por mes, y voy a calcular el promedio o el número principal nuestro de sol para enero para febrero,
para marzo y así sucesivamente y luego trazar eso en una gráfica. Entonces para hacer eso, voy a crear un nuevo dato a partir del cual es un subconjunto de nuestros hombres lo hicieron por él. Voy a usar un grupo por función porque necesito agrupar todos los
resultados de enero . Todo el febrero es un poco de los resultados de marzo, y así sucesivamente. Estoy mirando esta columna en particular, las horas de sol y de nuevo, estoy llamando a función Ming. Entonces se va a emparejar. El promedio para este resfriado por cada mes. De acuerdo, así que corrió este siguiente un par de líneas. Es solo para establecer el tamaño del barco. Me permite imprimir arte. El gráfico dentro del cuaderno contribuyente en él también me yace para definir el tamaño. Los valores por defecto no son muy grandes dentro de cuaderno contribuyente en Es difícil leer los años. Otros números. Entonces esto sólo lo hace un poco más grande, un poco más fácil de leer. De acuerdo, entonces aplaudimos. 1er 1 que sería pero es un gráfico de barras. De acuerdo, así podemos ver Comienzo de aquí Enero Febrero. No mucho sol. Uh, cuando llegues a mayo y junio, hay más. Ananta comienza a seguir hacia finales de año de nuevo. Tan interesante en este es que la máxima cantidad de sol parece ser mayo, pero el día más largo es en junio. Entonces ahí está pasando algo interesante. Um, estás trabajando con los datos. Podría haber varias posibilidades. Los datos en sí podrían corromperse de alguna manera. Podría ser incorrecto. El código podría estar en correcto. No creo que esta cita sea esa otra posibilidad. Tendrías que revisar entonces otra posibilidad es solo que hay algo interesante pasando. Esperaríamos que la cantidad de luz diurna con ers de luz diurna sea mayor en junio. Pero esto es mirar al sol la cantidad de sol que no es exactamente así. Puede que sólo sea el junio una carga, los días o más largos. A lo mejor hay más Clyde en junio en general, tiempos de mayo tienden a ser algunos aquí, un oleaje como gráficos de barras. Tienes otras opciones. Nosotros comunes suciedad, esta línea y en comentario. Esta una corrida este assed produce solo la función de trama solo te da un gráfico de líneas sobre
puedes cambiar el color. Um, así que solo puedes poner la primera letra de algunos de los colores del hombre como el nuestro es rojo o es naranja G es verde. Entonces en este, también
cambié la transparencia. Woods hizo el rojo más de un color rosado salmón rosado. Por lo que de nuevo, se
puede variar eso de cero a uno. De acuerdo, así que esa es nuestra segunda pregunta respondida. El siguiente fue, Ha cambiado de nuevo el número de heladas de aire por año. Presente. Esta es una gráfica. Estamos haciendo algo muy parecido. Estamos usando un grupo por función. Esta vez estamos agrupando por año. Estamos viendo el número de días que tuvieron una helada de aire sobre dónde sumar
o resumir esos días. De acuerdo, si ejecutamos este y luego comprobamos que se imprime. Está bien. Tenemos un año en el número de aire para nosotros por año. Ejecuta esta otra vez. Es sólo asegurarse de que el tamaño de la gráfica sea legible. Nunca se completó. Yo estaría bien, así que puedes ver que hay bastante variación desde mayo ser 20 hasta más de 80 días con su para nosotros, no parece haber ningún patrón fuerte. Pero de nuevo, podrías ser mayor investigación más allá ¿Análisis para ver si hay o no alguna variación a lo largo del tiempo si hay alguna tendencia en tus datos. De acuerdo, así que eso es difícil. Tercera pregunta. La tercera vez es la última. Vamos a buscar cualquier correlación entre los diferentes valores, las diferentes columnas en el déficit. Entonces corres este código, ¿de acuerdo? Dice código produce este aspecto psicodélico hizo una visualización. Entonces esto son correlaciones. Entonces tenemos nuestras siete columnas, meses de
año, temperaturas y así sucesivamente a lo largo de arriba abajo por el lado, y cada uno de estos cuadrados es la correlación entre las columnas. Entonces desde la parte superior izquierda de la parte inferior derecha, vas a obtener la máxima correlación. Bueno, amarillos, porque el año, obviamente, Carly, es con el año, el mes con el mes y así sucesivamente. Son estas otras plazas las que nos interesan para que puedas ver que el año no es realmente fuertemente coral viviendo con nada. Pero si nos fijamos en meses, hay alguna correlación con temperatura máxima, temperatura
mínima, heladas de
aire y luego, si nos fijamos en las mismas temperaturas, hay positivo muy fuerte correlación entre T. Max en equipo en y también entre equipo y Team Max. También hay una fuerte correlación negativa entre T. Max en el número de días que no tienen aire primero. Entonces, en otras palabras, medida que la temperatura, el Team Max aumenta el número de días que tienen una fuerza aérea disminuye, que es lo que esperamos, y vicio versus Así como el número de días con un aire aumenta la helada, la temperatura máxima disminuirá. Por lo que este tipo de visualización es muy bueno para buscar correlaciones dentro de tus datos. Si tuviste negocios si por ejemplo, puede ser que,
um, um, algunos datos de tus clientes se correlacionan con algunos otros datos, que puede ser que nadie se hubiera dado cuenta dentro de tu empresa. Um, ¿quién podría ser una forma útil de descubrir estas cosas?
7. Hoja de cheatsheet ayuda función de la: por lo que recordarás que una de las primeras cosas que hicimos fue leer datos de un CSP
caen en, ah, datos para él usando esta función, lee CSP si conoces el nombre de la función, pero no estás seguro de lo que todos los los parámetros posibles son, hay una función útil que puedes usar en Júpiter Notebook. Es esta ayuda. Por lo que has ayudado a abrir los corchetes. P d dot reid CSP cerrar corchetes. En esta función, te daría mucha información propia, leer CSE o cualquier función que estés tratando de averiguar, incluyendo todos los parámetros que puedes pasar en algunas notas y lo que hace a esto leer CSC coma separó archivos en un did para él más información que todos los parámetros, incluyendo lo que se puede pasar en ejemplos, etcétera. Entonces es una función muy útil que el dedo
del pie tiene, Por supuesto, si no sabes el nombre de una función, um, ese es un problema diferente. Yo sugeriría conseguir una hoja de tramposos de pandas en sus montones de estos. Un ejemplo está aquí en este sitio web de carga. Entonces esta hoja de tramposos tiene, um, cosas como deshacerse de la rosa duplicada. Um, comprobando si faltan rosas o faltan datos dentro de rose y demás y demás. Por lo que este es un lugar útil para empezar. Y hay muchos no sólo un ganado sino muchos otros sitios web tienen thes pandas chuletas . Este sitio web toggle también es una buena fuente de conjuntos de datos, por lo que tienen competencias. Pero también tienen a Martin. Un montón de conjuntos de datos de nuevo. Estos son de código abierto y puedes descargarlos y trabajar con ellos para morir. Descárgalos aunque necesitas abrir una cuenta. Andi, hace mucho tiempo que abrí mi comodidad. Por lo que recuerdo,
necesitas una dirección de correo electrónico válida, pero también tienes que darles tu número de celular y te enviarán por
mensaje de texto , un número pin que tienes que poner. Creo que solo tienes que hacer esto por primera vez. Que abras tu cuenta es solo para verificar tu tipo. Pero si estás lo suficientemente contento para hacer eso, hay cientos y cientos de posibles conjuntos de datos sobre todo tipo de temas.
Paul O'Neill
