Fábrica de datos de Azure para principiantes

1. Bienvenido y prerrequisito: hola y bienvenidos a esta sesión en una fábrica de George Data. Mi nombre es el Shang Good. Y voy a ser un chico como el explorador, un George it una fábrica y algunos fuera de otros servicios que usaremos para construir solución de fábrica de datos . Estaremos discutiendo qué es lo que un judío hizo una fábrica, su componente clave servicios de etiquetado, actividades o por avión, cómo funciona, sus ventajas y cómo se debe hacer y monitorear el flujo de trabajo. También pasaremos por demo para usar data factory en la que moveremos y transformaremos datos de un almacén de George Data a data leg suave storage. Por lo que básicamente se desarrolló muy flujo de trabajo que me auto para tomar datos de determinada fuente , hacer algo de transformación, y luego vamos a almacenar la salida algunas otras historias, ubicación desde donde se puede recoger para el análisis. Para completar este curso, me aseguraré de que te pongas algunas manos en las actividades. No sólo voy a sermonearte, sino que también tendrás la oportunidad de probar esto por ti mismo. Y para hacer eso, todo lo que necesitas es un Joseph Fiction. Y la suscripción de alegría podría ser una que ya tengas o podrías inscribirte para una prueba gratuita . Además, es bueno estar familiarizado con los conceptos de las personas. Al final de este curso, tendrás una base sólida sobre un árbol George que afecta. Entonces, empecemos de nuevo, general. 2. Ciclo de vida de datos: Vamos a esa nieve El pequeño ciclo de vida. En la vida de América, hay muchas siete etapas. Los datos pueden provenir de muchos internos y de acción y fuentes. Puede ser datos de convicción de aplicaciones o tal vez datos de registro del sistema para flujo casi continuo de datos de dispositivos como creo en el cuello Off Things y todas estas diferentes fuentes produjeron el mismo tipo de datos, pero en diferentes comentarios, porque pueden tener lo diferente basado en la comunicación. Entonces el punto está en buenos datos es decir, pero formarlo realmente diferente. El primero una forma. Necesitamos algún tipo de historias. Tirar la vida segundo fuera de los datos donde podemos almacenar datos en diferentes etapas fuera del ciclo de vida, luego muchos algo para conectar y agarrar los datos de diferentes fuentes. Es una colección de cuenca. Entonces podría necesitar preparar los datos. Si se necesita obtener datos de diferentes fuentes, todos los sistemas, podrían tener una forma ligeramente diferente. Es porque las fuentes fallan robaron los datos de manera diferente. Por ejemplo, misma columna puede tener permiso diferente en diferentes fuentes. Algunos de ellos pueden tener en el arroyo. Algunos de ellos tenemos el número algunos permitieron los valores de metal y algunos también pueden permitir que el blanco perderá. Entonces tenemos una limpia los datos antes de que realmente podamos empezar a ingerir en lo real porque historias tenemos que hacer la profesión o alguna transformación inicial después de la transformación inicial , convertir datos en consistentes ex hey realmente existió en el almacenamiento. Entonces piensa en el procesamiento cuando el proceso que realmente transformamos los datos y transformación puede significar cosas diferentes. Pero en última instancia pasamos, transformamos estos datos viales en una estructura y normalizamos en segundo lugar. Más grande de una manera que significa el requisito del primero off y system, porque estos y sistemas realmente van a hacer el análisis, toda interpretación. Por lo que hay muchas personas etapas por las que pasamos los datos y algunos de estos pueden incluso ciclos que me dejan ir al procesamiento y transformación varias veces. De hecho, en este mundo, muy a menudo aún no sabemos cuáles son las preguntas de negocios que vamos a hacer en el futuro y qué datos necesitamos para responder esas preguntas. Por lo que la idea es conservar todos los datos para que podamos volver más tarde y unidad como se adquirió. Constantemente estamos analizando cuanto más tarde estamos aprendiendo del vicario, el retune continuo de un modelo y seguir haciendo cambios en la transformación. Entonces esto es un proceso en general, pero realmente la parte clave Lo que estamos haciendo aquí es que estamos obteniendo datos de origen los que senior y finalmente lo hunden en el destino y todos esos bits en medio incapaces que suceden en un método y el momento que útil para eso mismo para que podamos ejecutar ese análisis de en forma para que podamos obtener la inteligencia que mi negocio realmente lidera. 3. Soluciones de Azure: en esta lección, quiero introducir el filo de soluciones que nuestras tecnologías familiares vivimos en su alrededor del flujo de control y el flujo de datos, ya sea control lento. Teníamos una fábrica de datos de trabajo. Esto proporciona esto, esa orquestación y ella haciendo. Entonces tenemos las soluciones de flujo de datos reales. Se trata de rupturas adjudicadoras sobre el borde de realmente dentro o de cualquiera de los servicios todas las funciones a poseer. El posterior al menos el flujo de control es la orquestación que ella haciendo actividades fuera. Un piso posterior es el flujo fuera del real posterior dentro de la actividad cuando se debe componer el flujo frío , al menos una actividad, por ejemplo. Digamos que si quieres tomar el interruptor de bloques y enviarlo a literalmente ahora, este es un flujo de datos. Ahora, dentro de esta actividad, van a ser pasos distintos potencialmente. Por ejemplo, tenemos que obtener datos del bloque. Este es el paso uno y luego un dato vital sólo que será un dedo del pie. Y en medio de este paso, probablemente van a estar mapeando para tomar ciertos valores del blob y los conocieron a ciertos archivos dentro literalmente. De igual manera, ahí, cerca de las otras actividades Tal vez haya un flujo de datos de transformación que tome los datos de los datos Lee. Y eso es una transformación, por ejemplo, tal vez articulaciones sociales para los datos pero mayores o se fusiona con otras cosas que puede hacer. Pero el punto clave es que está transformando los datos brutos en performer y la estructura que es aún más utilizable por la solución de análisis final. Y eso es un éxito, que está representado por una flecha verde. Entonces también son flujo de falla, que está representado por la Flecha Roja. Entonces si hay algún fracaso dentro de la actividad anterior, entonces la orquestación o el flujo de control ahora se moviría para llamarlo FBI de alto nivel. Entonces básicamente podemos. Estamos en esto para tener un flujo completo fuera de las diversas actividades que completarán el ciclo de vida final a fin fuera de los datos. No, la orquestación pobre flujo de control es responsable de llamar a esas bellezas que cada mano un flujo de datos dentro de ellas. Entonces hay diferentes tipos de flujo de datos. Por ejemplo, la representación de datos pose. Esto normalmente se integra con cosas como la equidad de poder, y todo esto se trata de profesión de datos, agregar columnas, dividir columnas o tal vez tomar un no nombre completo y cambiarlo será nombre y apellido , entonces son nada sí se oponen. Por ejemplo, las espadas se unen al inserto de Marge o al agregado Buscar todo esto y todas las transformaciones similares . Por lo que usamos la transformación diferente a base diferente fuera como, segundo, esos flujos de datos disputados cerca del inicio mientras preparaba los datos en la letra. Y luego pienso en los flujos de datos de mapeo que en realidad transforman al líder, lo meten en una forma que necesitamos para ese análisis. 4. Qué es la fábrica de datos en Azure: te convertirás en una fábrica es un servicio de indignación de datos gestionado que vive en la nube ágil . A George it affect tree es como una sociedad es todo agente trabajo implode Excepto que un árbol de Judit afecta Hay mucho almacenar cualquier dato por sí mismo o no tiene ninguna transformación por sí mismo. Si alguna vez has trabajado en S s ojos o en chica comité, todas las demás herramientas ideales. Tenían sus propias funciones de transformación, pero idea simplemente conectar con otras fuentes Servicios de destino y transmisión fuentes y conexión de destino podría estar en locales o en ropa y conectaba varios otros funciones de transformación componentes Todos los servicios fuera de la nube como ella hacen uso igual , alto o cerdo todos los demás servicios como ese y hacer el trabajo requerido. Entonces, ¿qué significa? Un trabajo proporciona mucho fuera de tecnologías para ayudarte a impulsar valor a partir de tus datos. Por ejemplo, hay un almacenamiento de blob de jurado que proporciona historias en la nube más baratas. Almacenas tus datos. En la sesión anterior, discutimos un análisis de fuga de datos, que utilizamos para masajear y transformar sus datos. Y hay una joya secreta de tu casa que proporciona almacenamiento de datos relacionales escalable que puedes usar toe, entender tu negocio y hay muchos otros servicios de ajuste disponibles para diferentes propósitos. Puede mezclar y emparejar estos servicios de Ajo según sea necesario para analizar tanto la estructura los datos no estructurados. Pero no hay aspecto importante fuera de Data Analytics que ninguno de ellos abordó, que es la integración de datos. Por lo que Indicación de Datos significa extraer datos de la fuente, después hacer algo de transformación y luego cargarlos en un almacén de datos para el análisis de datos . Y cuando cada una de estas tareas se pueden hacer significaba mentalmente, tiene más sentido automatizarlas y un servicio de fábrica de Judita te ayuda a automatizar esta tarea. Piensa en Data Factory. ¿ Se dirige en una orquesta en una orquesta? Conductor no toca la música, pero deja al grupo fuera de los músicos que producían música en diversos escenarios Off Symphony. El conductor tiene un cuadro grande fuera del todo simplemente, y es una manera de alejarse La música grande interpreta, pero la música real es interpretada por músicos indigentes. De igual manera, la fecha afectada no realizará el trabajo real requerido para transformar los datos, sino que instruirá a otros servicios como rupturas de datos o análisis de enlace de datos, para que preparen y transformen los datos para que sea analítica de Datalink o rupturas de datos que realiza el trabajo real, no la fábrica de datos de data factory, Middle E orquestate o ultramar la ejecución fuera del trabajo. Por lo que una fábrica de datos de jurado es un servicio en un trabajo que puedes usar para tomar tu flujo de trabajo de big data y cápsula que en algo llamado canalización. Y ese ducto incluye todas las diferentes actividades que se requieren , copiar y procesar los datos y meterlos en la ubicación donde lo necesites. Y se puede hacer esa actividad para que su por eventos planificados sobre si tratamiento, base recurrente cuando se tiene que hacer repetidamente la misma mejor transformación a sus datos en regular. Esto es la fábrica de datos no es lt o extraer herramientas de carga y transformación. Entonces, ¿en qué se diferencia de un trato? Es una talla. Se espera los datos transformados posteriormente con transformaciones de sociedades de construcción y cargar los datos en el objetivo Hay en la fábrica de datos. Acabas de extraer los datos de la fuente y cargarlos en el objetivo. Y la transformación se realiza en el data store Target 5. Componentes clave de la fábrica de datos: Justin, ¿Cómo han hecho los dos? Familiarizémonos con algunos de los componentes idiotas importantes. Estos componentes trabajan en conjunto para proporcionar la plataforma en la que se puede diseñar el trabajo cerca con pasos para mover y transformar los servicios de enlace de datos. Los servicios de perder no son más que un flujo de conexión, que definió una información de conexión que se necesita para que la fábrica de datos se conecte a fuentes externas. Esto puede incluir un nombre de base de datos por separado. Buscar credenciales de carpeta. UTC. Dependiendo de la naturaleza del trabajo, cada flujo de datos puede tener uno o más servicios de enlace, por ejemplo, historias cursivas soportadas. Encuestas de enlaces especificaron una cepa de conexión para conectarse a los datos antiguos. Lick estudiantes cuenta en el momento estaba grabando. Las ideas de la escuela pueden conectarse a más de 80 fuentes de datos diferentes. Básicamente, tiene una T Capital para conectar casi todas las fuentes de datos posibles. Permítanos que represente la estructura de los datos. Simplemente apuntó dedo del pie una diferencia. Esos datos que desea utilizar en sus actividades, como lo dicen todos los datos de salida, pueden contener un nombre de tabla. Por último, estructura de datos, un sector, actividades del presente y acción a realizar sobre sus datos. El paso de procesamiento en la tubería esto podría ser transformaciones de movimiento de datos o acciones de control de flujo configuraciones de actividad contenidas dichas cosas como consulta de base de datos, tienda, nombre de precisión. Hace localizaciones estatales. Se sector y actividad puede tomar Jiro o más datos de entrada dice, y producir uno o más o poner conjuntos de datos. podrían comparar actividades idiotas. Toa evaluar ojos flujo de datos tarea opulencia como componente de script agregado. Excepto, por ejemplo, podría usar una actividad de copia para copiar datos de un data store, otro data store. De igual manera, podría utilizar la alta actividad, que presenta la alta ya en el borde o bordes dentro del clúster que transformó todo analizador más profundo aún efecto. Supusimos tres tipos de actividades. Obtener una actividad de mujer, disuadir la actividad de sumisión de la ciudad y controlar las actividades. Mi plan es un Brooklyn lógico fuera de FDP realizando un conjunto de procesos como extraer datos, transformarlos y cargarlos en algún almacén de datos de base de datos o algún tipo de historias. Por ejemplo, si planeo puede contener un grupo de actividades en solo datos vienen increíble Astri y luego una chispa una consulta dentro de Azure Gate Oblates tostadora. Para particionar los datos. La fábrica de datos puede tener uno o más biplanos y cada uno por plan contendría una o más actividades. uso de ductos hace que sea mucho más fácil de hacer y monitorear a las personas actividades lógicamente relacionadas . El beneficio de esto es que el ducto y permite gestionar las actividades como conjunto aseguran off gestionando cada una de manera individual. El pueblo guisantes en un ducto se pueden cambiar juntos para abrirlo secuencialmente. Bueno, no pueden operar de forma independiente en paralelo. Por ejemplo, si mi plan pudiera contener un grupo de actividades que copiaran datos de local, esto podría literalmente y luego usar igual Kredi podría transformar esos datos y finalmente cargar los datos en un almacén de datos. Cifras representan la unidad fuera de procesamiento que pequeñas mentes cuando una exposición de tierra de pipa necesitaba ser arrancada porque representan a ella haciendo configuración para ductos. Contienen ajustes de configuración. Empecemos y terminemos. ¿ Esa situación, si puedes ver cifras no son parte militar fuera implementación de Abia, se requieren sólo si necesitas por planes que se ejecuten automáticamente o en es algo realmente debe hacer 6. Fde trabajo de tubería: 4 pasos: Creo que un Jordache de ese árbol típicamente realiza el llamado. Cuatro pasos la red y cobran. El paso más es conectar todas las diversas fuentes requeridas fuera de los datos y mover los datos según sea necesario a una ubicación centralizada fue un procesamiento tan secreto. Pero fábrica de datos. Se puede utilizar la actividad de copia en un dato reproduciendo los datos del dedo del pie de libro en las instalaciones y fuente de la nube más tarde almacenar con datos de centralización almacenados en la nube Corker que la señora, por ejemplo, puede recopilar datos en historias de Ajo Datalink y transformar los datos posteriormente mediante el uso de un servicio de George Vitelic Analytics completando. También puedes recolectar datos en un bloque de Jordan historias y transformarlo poco usando un ágil en realidad dentro de su pastor. 2do 5 es transformar y enriquecer. Una vez que los datos están presentes en un dato centralizado almacenado en la nube, se transforma utilizando servicios competentes como lo habitual dentro hacen análisis de iluminación de datos y aprendizaje automático. Recuerda, Data Factory es Justin Orchestra y no puede realizar ninguna actividad de transformación por sí misma. Publicar después de que el Señor los datos se han transformado en una reforma significativa. Cargar los datos en diferentes parcelas, historias como un George it de su casa. Opción Perkins por el FBI y herramientas de analítica y otra aplicación deseadoa. Después de desplegarse con éxito fuera de la canalización, puedes oneto a las capacidades y canalización Xun para el éxito y el fracaso. Podemos monitorear un trabajo en una fábrica ductos usando un monitor de trabajo AP Publico L como sus registros de monitor y otro panel de salud en el borde de portal. 7. Demostración de demostración: Bienvenido a este módulo. En este duelo más, haremos algunas manos sobre actividad. En primer lugar, vamos a crear en su cuenta de almacenamiento de datos suave y usaremos una George Storage Explorer fecha de acceso ngentle account. Entonces implementaremos el almacén de datos de secuela y la fábrica de datos, lo cual es bastante fácil y sencillo. Ahora, después de eso, pasaremos por la fábrica de datos. Tú yo y nosotros entenderemos diferentes opciones de menú. Y luego estaremos usando la actividad de copia fuera en su fábrica de datos. Por lo que vamos a ver formas de sacar datos de su casa será canalización para mover y almacenar la salida en algunas otras historias. Ubicación donde podemos recogerlo para el análisis, también echarán un vistazo a las opciones de monitoreo de fábrica de datos. Gracias. 8. Crea la cuenta de Azure Data Lake Stor: gen 2: en esta demostración, te voy a enseñar a crear una cuenta suave de almacenamiento de Data Lake celeste. Volvamos de nuevo a los antiguos servicios. A todo lo que puedes acceder directamente a la cuenta de almacenamiento desde aquí. Si miras en el portal celeste, hay una fuente por separado llamada Data Lake Storage. Gen Uno. Pero se crean historias cuenta gentil. Necesitábamos crear primero cuenta de historias porque esta es una propiedad fuera de la cuenta de almacenamiento de propósito general versión dos. Eso veremos en un minuto. Microsoft hoy en día se está centrando en el almacenamiento de Data Lake suave porque suave es difícil. El lugar fuera. Jen uno. Vamos a crear una cuenta de historias. Demos click en ese botón y déjame elegir mi suscripción y mi grupo fuente. Permítanme crear nuevo grupo de recursos. Dame historia de RG. Es Gentoo. Dar el nombre de la cuenta de almacenamiento. Solo estoy poniendo algún número para hacerlo globalmente. Único. Usa mi razón casera. Algunas de las novedades de las historias de enlace de datos suaves es que puedes aprovechar todas las historias, propiedades de cuenta y características como exceso de rendimiento, dos años y replicación. Voy a seleccionar rendimiento extendido versión dos de propósito general. A nivel local, los relatos Rendon y sostienen el exceso aquí. Siguiente etapa nos llevará a la materia de conectividad. Lo dejaré por defecto público y señalaremos en este punto, iremos junto a la página de avance. Dejémoslo antes de establecer por seguridad como enable block soft lead realmente podemos querer ignorar porque el punto aquí efectivamente está fuera de esta cuenta de historia usando el servicio de sangre tradicional , vamos a encender el nombre jerárquico propiedad espacial volteando los datos de al lado . Es gentil de desactivados para habilitar. Y como ves cuando habilitas Gentoo, deshabilitó automáticamente la opción de protección de datos Esto todo lo que tienes que hacer para hacer de una cuenta de historias una cuenta gentil de almacenamiento de data lake otra vez. No necesitaba hacer una cuenta de historias normales data lake storage, cuenta gentil. Todo lo que tienes que hacer es habilitar esta opción. Eso es todo. El vista en crear no significará que tome demasiado tiempo. Pero aún así puedo pausar el video hasta entonces. Muy bien, despliegue terminado. Y si ahora vamos a los recursos, quiero mostrarles una diferencia de lo que están acostumbrados dedo del pie, probablemente trabajando con las historias de propósito general. Podría haber notado que bajo servicio está en su lugar apagado solo un servicio blob. Ahora se llama datos como sistema de archivos gentil. Te muestras la defensa. Tengo otra cuenta de historias generales que ves en cuenta general. Se llama Blob Services aquí, pero debido a que los incapaces de relatos genitales se llama datos tarde, sistema de archivos suave. Por lo que a partir de ahora, el relato de esta historia va a ser datos como historias con cada sistema de incendios compatible con BFS . Entonces ponga ese punto. Si seleccionamos encuestas, podemos crear un sistema de archivos, que lo haré ahora. Yo lo llamaré Sistema de Archivos Gento. De acuerdo, Y recuerda lo que creas es gentil. El sistema de archivos no es un bloque y cena. Es una carpeta real de vez en cuando. Si entramos al sistema de archivos, conseguimos que se le pida que use un George Storage Explorer. Ajo Stories Explorer es una herramienta gratuita de Microsoft que está disponible en Windows Mac y Limits y, como la media sugiere proporciona un entorno gráfico en el que navegar y realizar acciones contra una cuentas de almacenamiento de George. Si no lo tienes ya, por favor don Lord e instalar es muy fácil y sencillo. Esta familia de herramientas utiliza una cuenta para autenticarse para conseguir un trabajo y luego muestra la suscripción Esa cuenta tiene. Después las historias cuentas en la suscripción seleccionada. Bajo mis cuentas de historias de suscripción, podemos pasar mi cuenta de historias gentiles, que actualmente se identifica como un BLS gentil. Yo presumiría que eventualmente lo del Explorador de Almacenamiento se está volviendo verde en este nodo que estamos viendo ahora desde contenedores de bloques, sistemas de archivos del dedo del pie, porque eso es lo que debería ser. Y cuando seleccionamos el sistema de archivos note ahora que podemos hacer subir directamente todo, podemos organizar un espacio de carpeta herética. Entonces voy a llamar a esto una nueva carpeta fuera más tarde y usaré esta carpeta como parte del flujo de trabajo . Tu vista puede estar desactualizada aquí. ¿ Quieres refrescar? Estamos listos para irnos aquí. 9. Implementación de datos SQL en Azure: s Crear y Joe Sequel Data Warehouse. Además de Buscar una secuela Data Warehouse en todo, también lo puedes encontrar en base de datos así como en analíticas. Demos click en secuela, Obtener otra casa y agregar New is Instruments y déjame mostrarte cómo funciona el flujo de trabajo de despliegue . Crearé Grupo Nuevo Recurso para el almacén de datos, y también daré el Munim a mi fecha de su casa. Soy cualquier cosa solo un número imaginario aleatorio al final, solo para que el nombre sea único a nivel mundial. Vamos a crear un nuevo servidor virtual va a ser un clúster. Vamos a llamarlo hacer el azul s 108 Es entonces fácil convencional con una contraseña fuerte. Llegamos a prepararnos dando este consejo sobre lo fuertes que sí necesitan ser los pastores. Déjame encontrar mi ubicación más cercana, el espectáculo Holy para el acceso a almacenes de datos fuera de nuestras escuelas. Pero esta caja grande aquí permitirá todos sus servicios. En otras palabras, las direcciones Microsoft I P que están asociadas a esos servicios es acceder al servidor. También es posible que necesite modificar el firewall de almacén de datos secuela, permita a su cliente. Pienso desde donde quiera que estés en el mundo. Además de otras direcciones públicas I p todas las direcciones de escritura rango. Te mostraré toda la confusión. Es la unidad de almacén de datos es la unidad de cómputos utilizada para una fecha de secuela Joe de tu casa. Seleccionemos nuestro nivel de rendimiento para cargas de trabajo de producción. Deberíamos estar en gentil y no jen uno. Y puedo destetar mi sistema aquí abajo 200 porque solo estoy trabajando en un entorno de demostración de prueba fuera de esto en vivo en el mundo real. Tu objetivo es Pune tu casa de tal manera que no estés pagando más de lo que necesitas. Pero también estás consiguiendo que tu cómplice satisfaga tus acuerdos de nivel de servicio. Entonces vamos a aplicar aquí y luego vamos a la siguiente. ¿ Qué? Tu fuente de datos. Podemos agarrar un respaldo o podemos hacer No, en realidad, lo que podemos hacer Simple. Lo cual nos dará la fecha de trabajo de aventura, cada casa, sencillo data warehouse. Escogeré eso, y recoge toda coalición, que seleccionaré. Vamos a ir a las etiquetas de los dedos y no vamos a usar impuestos aquí va a ir a la siguiente. Vemos nuestro costo estimado, pero estamos aquí. Ves los armónicos y entonces estamos realmente completos. Encuentro que generalmente toma los 10 minutos de descuento fiebre para Microsoft desplegó un almacén bien atrás. Después, una vez finalizadas las implementaciones, pueden acudir a los recursos que pueden pausar o reanudar el almacén de datos para pausar y reanudar el edificio. Todavía te cobran por las historias, pero al menos la computadora no está incurriendo en ningún costo. Buscamos en nuestro entorno la bola de fuego. Podemos bajar a bolas de fuego y redes virtuales, y aquí es donde mencioné que puedes permitir el acceso para ajustar servicios y tu auto detecta al público I p asociado a tu dispositivo cliente. Y luego se puede aplicar I p rangos de direcciones Pública I T rango de direcciones está aquí dedo del pie. Permitir conectividad en ese servidor. Volvamos a la página de resumen porque no vamos a estar en este hosting fuera del data warehouse. Déjame copiar esto a mi portapapeles y luego cómo te conectas a esa fecha cada casa. Por lo general, utilicé el Sequel Server Management Studio, que está disponible como un down lord separado. Hagamos una conexión al motor de base de datos del servidor secuela, y para el siete hombre que pescaré en el hombre completo calificado fuera de un servidor elegirá secuela. Varias autenticación y voy a suministrar las mismas credenciales, las cuales doy al crear la fecha de la casa. Eso va Oh, está mostrando un error que tu cliente I p dirección, no tiene acceso a ese servidor. Entonces volvamos a un poco de casa, disparando redes virtuales y agregamos nuestro cliente local AP dirigir y reintentar la conexión usando estudio de gestión tan pesado. Yo lo sé. ¿ Recuerdas esa secuela? Varios data warehouse es la plataforma alojada en el servicio. Entonces si haces clic derecho en el servidor virtual, no hay propiedades. Recuerdo cuando me sorprendió cuando vi por primera vez que no había propiedades, pero recuerda, pero recuerda, estás lidiando con negro de ¿Está el servicio aquí? Explicamos bases de datos y luego datos. Muy DW 108 que creamos. Tenemos una lista fuera de tablas que Microsoft ha incorporado en este sencillo almacén de datos. Eso es muy aliviado. Sabiduría ahora aquí. Gracias 10. Implementación de datos: Vamos a crear nuestra fábrica de datos Ahora. Para este momento debes estar familiarizado. Es bastante fácil y sencillo. Se puede buscar en fábrica de datos Oh, se seleccionan de base de datos y dar click adelante. Dale el nombre. Seleccionar suscripción y Grupo de recursos en suscripción. Vamos a darle simple. RG subrayado B A. De acuerdo, usaré ah versión dos off data factory para aprovechar las últimas características. La versión dos es una nueva fábrica de datos de lavado. Una de las mayores características off versión dos es la integración off S S S y control de flujo Funcionalidad. El monitoreo es también un puntera de inversión de mejora de edición haciéndola integrar con en tu monitor. De acuerdo, déjame elegir el partido más cercano de mi ubicación. Ahora aquí tenemos opción para integrar el control de puntaje fuente. Nos aseguran subidas. No voy a hacer eso en este caso. Y luego haremos clic, crearemos dedo, desplegaremos la fábrica 11. Getting con la UI de Azure Data Factory: Vamos a la fábrica de datos, y lo que tenemos aquí es sólo el plano de control para el servicio. Y si escondo el dolor esencial, vemos un enlace con el autor y monitoreamos la experiencia. Esto se realiza muy en realidad de trabajo en una fábrica de George Data. Hagamos click en esto, y si notas que tiene abierta una ventana separada y navegando dedo del pie punto ADF como tu punto com, el producto que le sucede de pie esto a lo largo de pocas páginas, que tiene muchos enlaces rápidos o atajos. Vamos a hacer los datos de copia Operación Toe copiar nuestra tabla fuera de tu secuela Almacén de datos . Posteriormente, entraremos en más detalle. Pero mientras tanto, esta página también ha ayudado a videos y un montón de tutoriales. Empecemos por familiarizarnos con la U. S. El menú principal contiene tres opciones Data Factory, que es ordenar la pantalla principal, que contiene algunos atajos interesantes. El panel de autor es donde creamos nuevos ductos y pasamos la mayor parte de nuestro tiempo, y finalmente, el panel de monitor ahí podemos monitorizar por ejecución planificada. Muy bien, en la pantalla principal, tenemos cinco opciones. Vamos a pasar por ellos uno por uno. Crear tubería es meramente una falda corta que nos lleva al panel de autor y crea automáticamente una tubería vacía. Para nosotros. Crear por plano a partir de una plantilla abre la galería de plantillas. Ahí adentro, podemos crear pipeline a partir de una colección fuera de bonitas plantillas que nos pueden ayudar a empezar con escenario distinto. Copiar rápidamente Data Tool proporciona una interfaz que optimiza el proceso fuera de los datos de ingestión en el data store. Aprendemos más sobre el copiado it una herramienta en próximas lecciones. Configurar SS Eyes Integración puede provisional como su SS iess integración alrededor del tiempo y finalmente tenemos el repositorio de corte configurado. Nos permite configurar un repositorio de llamadas para su fábrica de datos y tener una experiencia integrada y para finalizar el desarrollo sobre lanzamiento. Ahora pasemos algún tiempo aprendiendo sobre el panel de autor cuando estamos creando un nuevo ducto. Este es el panel en el que dedicamos la mayor parte de las horas extras en la sección de recursos de la fábrica. Pueden encontrar una lista fuera de ductos, conjuntos de datos y flujos de datos en una fábrica de datos. Al hacer click en los tres puntos en las encuestas de ducto, podemos acceder a nuevo significado me nuevo nuevo que nos permita o bien crear un nuevo ducto desde cero o desde una plantilla, encontramos similares muchas opciones tanto en que conjuntos de datos como servicios de flotadores de datos. Haremos clic en este pequeño signo más aquí, y esto creará un nuevo ducto. Observe que hay una opción para un ducto desde plantilla y por aquí a la derecha, puede importar plantillas de brazo. Esto puede hacer que esas tuberías sean más fáciles de usar y reutilizarlas con el paso de una y otra vez. A. Tu fábrica de datos es una herramienta de orquestación libre de frío. Entonces, por ejemplo, desde debajo mover y transformar, simplemente podemos arrastrar y soltar esta operación de copia de datos hacia la superficie de control, y luego seleccionas esta operación de copia abajo. Verás diferentes miedos relacionados dedo del pie actividad seleccionada en este caso para copiar datos. Ya que esto es cooperador, tenemos fuente en otras palabras, Bayas tus datos que vienen de y luego piensan que los datos de Verizon van a y tenemos otros ajustes y mentalmente las opciones. Si hace clic en la fuente de vista anotó todos sus datos Los ductos de fábrica están escritos en Jason. El concepto fuera de un ducto es que podemos vincular diferentes actividades. Podemos crear todo un cabello de flujo de trabajo usando estos enlace de conexión en verde, Por cierto, puedo hacer clic derecho en este enlace y elegir el lead. Se va a ir, y si hago clic en esto, puedo escuchar el botón de salida. Podemos agregar una actividad sobre dolorida propia éxito, fracaso, finalización o saltar para que podamos elegir la siguiente actividad. Si esa actividad se completa, elijamos la siguiente actividad. Si no estás exactamente seguro de dónde está, podemos hacer una búsqueda aquí. En este caso, vamos a añadir una su función de nuevo. Sólo gota de dragón. Se puede ver lo fácil que funciona y se puede validar el trabajo. Se puede ver todo el oleoducto frío entonces sólo debe Buell para incluso como una opresión desencadenada y así sucesivamente. Como se mencionó anteriormente, consideramos hasta el repositorio de registros toe, habilitar la integración y entrega continuas fuera de su fábrica de datos. Y aquí tenemos nuestra plantilla me nueva opción. Simplemente nos permite importar y exportar plantillas de brazo con definiciones de tubería. El panel Conexión hospeda una lista fuera de enlaces creados previamente, servicios y tiempos de ejecución de integración, y aquí está el predeterminado o para dar como resultado tiempo de ejecución de integración que vimos antes. Y por último, permítanme señalar su atención a la sección gatillo colocar fuera de canalización desencadenadores de ejecución. No tenemos ningún gatillo por el momento, por lo que esta lista está vacía. Voy a cerrar todos los grifos, descartando mis cambios e ir al siguiente ítem. Tomemos un minuto para revisar el panel del monitor y todas las características que ofrece. El panel del tablero contiene información relativa a la canalización y la actividad. Ejecución en el panel Subvenciones de Pipeline Podemos monitorear la ejecución de ductos, y es muy útil asegurarse de que el ducto esté funcionando correctamente. El panel Grants Disparador muestra una lista de ejecuciones fuera de canalización que se activaron automáticamente. El panel de tiempo de indicación corre mostrar la lista fuera de los tiempos de ejecución de integración disponibles para nosotros o el resultado es que el tiempo de ejecución de Ford Integration y finalmente, en el panel Alertas y Métrica, podemos crear reglas de alerta para monitorear su tubería de fábrica de forma proactiva. Ahora que estamos un poco más familiarizados con el efecto de fecha a la U. A. E. Creemos nuestro primer ducto 12. Operación ETL: en esta demostración, me gustaría enseñarles a utilizar su fábrica de datos para realizar una actividad de copia. En este caso, vamos a copiar tabla de ofertas de datos de base de datos de muestras de almacén de datos a nuestros datos extra . Es la cuenta gentil. Entonces, solo volvamos a la página de resumen y pinchemos en copiar datos y arranca esta copia de datos vagina. Demos esta tarea y nombremos ahora. Aquí podemos elegir a ellos tarea sólo una vez, o podemos crear una canalización reutilizable eligiendo esta opción y seleccionar un debe hacer. Incluso si optas por limitar sólo una vez, no se va a eliminar después de Willan y terminar. Podemos incluso manualmente tantas veces en el futuro que queramos o crear un gatillo y así sucesivamente y así sucesivamente. Pero si miras a la izquierda, tenemos seis pasos y nos camina una luz sin tener que entender nada sobre el AP A subyacente o Seguridad. Hay una enorme biblioteca fuera del pelo de conexión. Están organizados en grupos, cabello como tu archivo de base de datos y aceptan. Vamos a crear una nueva conexión en el nuevo servicio de link azotado en todo tipo data warehouse para filtrar , y lo seleccionaremos en su secuela Data Warehouse Link servicio Object. El servicio de enlace es justo lo que suena. Va a ser un objeto reutilizable que crea y autoriza la conexión a en un conjunto que un conjunto puede ser una fuente de jurado o conocido una fuente de jurado o tal vez premisas propias. Recurso. Déjenme darle algún nombre. El tiempo de ejecución de indicación es el equipo anterior. Vivámoslo antes de partir para dos resultados. Esto se vuelve más a menudo problema en un escenario híbrido donde es posible que tenga que desplegar el tiempo de renta en locales que se llama la operación auto alojada. Como autenticación faras, podemos hacer, usuario o dar viejo, pero antes de eso primero tenemos que elegir cómo vamos a entrar en este recurso. Seleccionemos el servidor de suscripciones y data warehouse recreado. El base de datos es la fecha sencilla de tu casa. Las opciones de tipo de autenticación son principio de servicio, identidad administrada o secuela. Voy a seguir adelante y simplemente elegir una autenticación de secuela usando la misma cuenta que creamos mientras creamos data warehouse. Hay montón off perímetro de conexión opcional que puede agregar, que no usaremos en este caso. Vamos a probar conexión de conexión. Final exitoso. Por lo que hemos creado nuestro almacén de datos fuente y de nuevo, este va a ser objeto reutilizable que podemos utilizar en otras tuberías. Entonces vamos a seguir, y hemos aprovechado el almacén de datos y aquí vemos pesada necesidad toe elegir una tabla, que queremos copiar para poder seleccionar una o más tablas. Cabello. Queremos elegir bim mesa de productos. Entonces hagamos una búsqueda de producto. Entonces seleccionaré el establo. Y si subimos la barra dividida, podemos ver una vista previa de los datos. Y en la pestaña de esquema, podemos ver las columnas y los tipos de datos. Vamos a dar click a continuación. Entonces una cosa más, déjame ir del pie anterior. Además de simplemente recoger tablas existentes, observe que también puede escribir una consulta juntos datos específicos que desee utilizar en el trabajo. Pero sólo vamos a agarrar todo de la mesa. Por lo que de nuevo vamos a dar click a continuación. El data store Destination que aún no hemos creado, Así que elijamos crear nueva conexión de nuevo, y esta vez hagamos una búsqueda de almacenamiento de lamer datos. Ahora recuerda, hay Gen uno y, Ah, Gentoo. No nos preocupa el cabello general. Ya hemos creado una cuenta de historias gentiles. Entonces vamos a seleccionar eso. Y una vez más, vamos a hacer una selección de nuestra suscripción para la materia de autenticación. Una vez más, vamos a elegir clave de cuenta. Hemos seleccionado nuestro nombre de cuenta de almacenamiento. Démosle algún nombre. También dedo del pie este servicio vinculado. De acuerdo, y ahora mejor conexión exitosa. Buen trato. Entonces, vamos a dar click. Terminar. Por el momento, tan bueno El click. A continuación, vamos a aprovechar nuestra cuenta de datos extra gin toe y navegar por el dedo del pie. Elige en qué carpeta estamos buscando. Entonces primero con la lista fuera de los sistemas de archivos, hagamos clic en él y luego seleccione la carpeta Datos de salida y haga clic en Elegir. Tenemos que especificar un nombre de archivo de salida. Simplemente lo llamo para ducto. No CSP para conexiones conquistadoras máximas. Pongámoslo también. Vamos a dar click a continuación. Aquí podemos personalizar el formato de archivo. Es ah, deportar dos valores separados por comas. Voy a dejar todo fuera esto fuera del valor predeterminado, pero la conclusión es que la fábrica de datos te da mucha flexibilidad aquí. Haga clic en el siguiente cuarto. Doren's Entonces, ¿qué quieres que suceda si hay un problema al mover datos que quieres sobre la actividad en cuanto haya una fila incompatible? ¿ O quieres saltarte la fila? ¿ O quieres escapar y los amó para que puedas rastrearlos más tarde? Voy a liderar las opciones por defecto aquí. También, viviré ajustes de performance al antes en este punto y pincharé siguiente. Aquí está nuestra pantalla de alguien, y cuando hacemos clic en siguiente, realidad se apaga y ejecuta el ducto. Como pueden ver, si hago click en Monitor Data Factory, nos lleva a la entrevista lunar y vamos a dar click Refrescar y podemos ver que la calle es que tuvo éxito. Bien. Volvamos al explorador de almacenamiento, entramos en la carpeta de datos de salida y lo suficientemente seguro, vemos nuestro producto dot CSP. Déjame hacer click derecho y descargar este dedo Mi backstop. Una cosa más si no has notado todo fuera de nuestras actividades en historias Explorer , sea que abajo en la parte inferior. De acuerdo, abramos excel solo para hacer un chequeo rápido de cordura. Ah, parece que me olvidé del dedo del pie levantar la columna. Encabezados. Ningún ovario comienza todavía en eso. Lo bueno de Data Factory es que podemos volver atrás y editar las propiedades del trabajo para incluir el encabezado de columna. Podemos cambiar sobre Pipeline y verde sobre él. Haré eso en un minuto. En tanto, echemos un vistazo rápido a los datos que podemos ver. datos hay un poco más de 500 rosa. Ahora volvamos a la interfaz de la fábrica de datos. Y si vuelves a la experiencia del autor, aquí está nuestro ducto. Es justo aquí para que podamos hacer los cambios requeridos. Vamos a las conexiones de destino y pesado ver opción. Primer papel como bateador en un tocho publicado cambios publicar significa venta. Y entonces de nuevo, podemos ir a monitorizar a Tab y no hicimos el trabajo. En caso de ser requerido, podemos refrescar y vemos que nuestro trabajo ha concluido de nuevo. Volvamos al Explorador de almacenamiento. De acuerdo, vemos ese tiempo atlético. Significa que nuevo archivo tiene sobre él en el archivo antiguo. Vamos a descargarlo. Y ahora ábrela. Ahora vemos que ahora tenemos las filas de encabezado. Gracias 13. Permisos: durante una última pequeña operación, pudimos autenticar digital extorsionada a la perfección. Pero si te encuentras con un problema con esa conectividad, posible que tengas que dar permisos explícitos a la fábrica de datos sobre ese repositorio de datos. Veamos a qué nos referimos con eso. Volvamos al pelo portal. El General Porter. Volvamos a nuestra fábrica de datos. Y si vas a las propiedades puedes ver aquí administrar objeto identidad. Estaría en palabras simples. La identidad administrada es utilizada por en sus servicios para autenticar otro borde o servicios que soporten que su autenticación Steve Director. El manejo de la identidad está registrado dedo del pie. Eres un directorio de belleza y representa esta fábrica de datos muy específica. Podemos utilizar directamente esta identidad gestionar para el almacenamiento de datos lago, autenticación suave. Permitirá esta fábrica designada toe xs y copiar datos hacia y desde su almacenamiento de lago de datos . Suave. Podemos agregar esto administrar identidad toe control de acceso basado en rol menos. Entonces voy a copiar esto en mi portapapeles y luego volver al Explorador de almacenamiento. Podemos dar permiso a la fábrica de datos a nivel del sistema de archivos así como el nivel de carpeta . Entonces para ello podemos hacer click derecho en el sistema de archivos e ir a gestionar el exceso en la lista de control de acceso . Abajo en la parte inferior, podemos pegar en ese objeto d fuera de la fábrica de datos y luego dar a la cuenta cualquier grado de exceso directamente en el sistema de archivos. Y a veces encontré que hay que hacerlo en dos lugares. Tienes que hacerlo a nivel de file system así como fuera del nivel de carpeta. Por lo que puedes hacer clic derecho en la carpeta y hacer exactamente lo mismo aquí. Podemos pegarlo en el objeto que d fuera del recurso Edgell. En este caso en particular, se hizo una fábrica y darle cualquier nivel de exceso que no darás. Esto te ayudará a conectar sin problemas la fábrica de datos a otras fuentes. En este caso historia intento. Gracias. 14. Monitorización de la fábrica de datos: en esta lección. He querido caminar por una demostración básica fuera de cómo realizaríamos el monitoreo con una fábrica de George Data. Entonces, ¿qué necesito exactamente para monitorear a la familia para el monitoreo? Pensamos en el príncipe gatillo. En la actividad se corre el ducto y luego esos interrogatorios. Durante los tiempos van a ser el foco de nuestra solución de monitoreo de fábrica de datos. Y hay dos formas de monitorear el monitoreo en la fábrica de datos y el monitoreo con un monitor de trabajo discutirán ambas. Entonces, primer lugar, en realidad tenemos monitoreo dentro de la interfaz de usuario de la fábrica de datos mientras desarrollamos estos ductos que cuanto más grande puede ser muy útil. Esto me permite ejecutar mi ducto. Puedo tener puntos de ruptura. Puedo ver exactamente lo que está pasando, pero eso no es realmente monitorear su experiencia de desarrollador aparte. Esta funcionalidad de instalación de debate es útil para ver exactamente lo que está sucediendo dentro, y eso puede ser muy útil como desarrollador. Pero el grueso sobre monitoreo vendrá a través de la interfaz de monitoreo. En realidad comienza con un tablero de instrumentos. Este panel mostrará por defecto las últimas 24 horas, pero puedo cambiar esa ventana de tiempo me va a mostrar las ejecuciones de canalización. Yo vería fracasos. Voy a ver esos porcentajes. También veré detalles sobre las actividades. También veré datos sobre los desencadenantes. Esto sólo me da una visión muy rápida de lo que está sucediendo en el medio ambiente. Puedo ver detalles sobre cualquier tirada de gatillo si tengo disparadores. En realidad veo que ese detalle sobre esas ejecuciones y ejecución puede estar basado en debería tratar o tal vez incluso basado. Pero lo que realmente me importa nuestro que por avión corre aquí puedo ver el nombre fuera de ducto. Si tengo diferentes ductos en mi entorno, concluyo este pequeño botón de filtro y luego puedo cambiar para solo ver canalizaciones particulares que tengo disponibles. Puedo buscar en base a ellos. Puedo ver las diversas acciones disponibles para el ducto. Puedo ver la actividad realizada. En realidad puedo leer sobre él. Puedo ver cuando se inició, puedo ver la duración que tomó. Cómo se activó, el estado si había algún medidor de terra o invitaciones, y una vez más, los que pude filtrar están bien, también verán que tengo un carguero general disponible aquí. Podría cambiar algunos de los detalles que me está mostrando si solo quiero ver la última fecha que puedo modificar. Entonces si hay uno que me importa en particular, puedo sumergirme en los detalles. Entonces si me gusta el pequeño ducto que puedo con la obra, puedo ver la actividad corrida. A ver, voy a seleccionar que ahora pueda ver más fuera del detalle. Puedo ver el nombre de la actividad, tipo de actividad. En este caso, era tipo de copia. Entonces este ducto en general es lo que estoy viendo. Ahora puedo ver todas las actividades que fueron parte de ella. En este caso, sólo fue una actividad dentro del ducto. Pero yo vería cada actividad que conformaba ese ducto, dependiendo de su tipo. Podría ver, por ejemplo, aquí las importaciones exactas. Puedo ver la salida exacta, la cantidad de plomo de datos, la cantidad de duraciones escritas de Gator otra vez, el inicio, el tiempo de duración apagado, esta actividad en particular dentro de la tubería. Entonces me ds donde estaba corriendo del ejemplo. El indicio una vez en este caso, es que el fuerte y yo también podría tener este par de anteojos Este. Muéstrame los detalles. Por lo que aquí puedo ver que venía de. ¿ Y tu secuela? Almacén de datos. Se iba de pie en tu tienda. Se Gentoo, y puedo ver los detalles exactos. El número sigue. Leer. Número apagado. Rose anotado. Puedo ver el rendimiento, la tradición de copias y los detalles. Asociarlo con él para que pueda ponerme genial dentro de lo especificado alrededor de esta actividad en particular . Hecho. Entonces este es un tipo clave off monitoreo que vamos a realizar. Puedo ver el estado fuera de mi integración cuando tiempos aquí solo estoy usando el automático en su tiempo de ejecución. Si tuviera tiempos de corrida adicionales, tal vez en locales, tal vez esos años SS I, los vería también. Y una vez más, puedo ver detalles sobre el momento equivocado, detalles sobre la actividad, pistolas que realmente están usando esa integración a tiempo. En mi caso , serán todas ellas las que tenga en mi entorno. Si vuelvo a subir, también puedo mirar los detalles. Puedo ver el estado. Es off tipo un jur y las razones van a resolverse automáticamente. Y una vez más, podría ir a sumergirme en actividades excepto Tre. Entonces estos son los tipos clave fuera del monitoreo que voy a hacer dentro de la fábrica de datos. Esto me está dando la perspicacia del dedo del pie mi ducto corre mi gatillo la actividad corre y luego la integración. En ocasiones ahora también hay métricas. Cuando me sumerjo en estos, si estaba dedo del pie click en este botón métrica, ahora sólo me va a saltar directamente de vuelta al portal azul. Ahí es donde las métricas suelen ser egoístas. Por lo que eso nos lleva a la segunda parte de la manifestación. Monitoreo con en su monitor. Aquí estoy mirando mi edad o fecha de fábrica. El autor y monitor es como llego realmente a la dentro el George te afecta, X. Si me desplaza hacia abajo, entonces veré mis métricas. Y desde aquí se pueden ver una serie de cosas clave que nos importan la actividad fallida. Phil Pipeline de Dunn ejecuta tiradas de gatillo fallidas, integración de una sola vez memoria disponible , posición superior, recuento máximo permitido de entidades. Y para todos estos diferentes críticos conocidos, ya ves, realidad puedo crear una alerta para ellos, lo que eso podría ser muy útil. Y si estoy viendo un número justo puedo poner en alerta sobre eso. Y en caso de falla, puedo ir a factor de datos ux y ver por los detalles e investigar para poder usar thes things toe, obtener las métricas. Podría usar eso para activar la alerta, que luego me llevará a ir y sumergirme en la interfaz y ver exactamente qué está pasando . Y entonces tenemos, ah, ah, nuestra configuración de diagnóstico para que pueda enviar todos estos datos, las métricas y los detalles sobre las diversas tierras de actividad por corridas planificadas o las corridas de gatillo . Puedo enviarles dedo del pie uno de esos tres destinos, historias, cuenta, incluso toe o look analytics. Y cuando lo envié a cerrar y militar, ahí es donde podía personalizar. Me gusta, ¿ Cuánto tiempo quiero guardar estos registros? A lo mejor quiero mantenerlos por cierto tiempo. Puedo hacerlo a través de la conflagración Log Analytics. Gracias.