Transcripciones
1. INTRODUCCIÓN: Capacitar a tu propio modelo es lento, costoso y excesivo
para la mayoría de los proyectos El verdadero problema radica en
saber por dónde empezar, cómo obtener resultados confiables sin quemar tiempo ni dinero. Hola, soy Alvin, científico
investigador de una gran empresa tecnológica He enseñado a más de 60.000
estudiantes en Skillshare, y obtuve mi doctorado en
IA de UC En esta clase, te daré un sencillo
libro de jugadas repetible para construir
un ChaChiPT personalizado para tu caso de Esto lo haremos en tres pasos. Paso número uno,
alcance tu proyecto. Detecte cómo usar la IA manera
más efectiva
para su caso de uso. Paso número dos,
evaluar modelos. Te mostraré cómo
navegar por las grandes franjas de modelos patentados y de código
abierto Paso número tres,
refinar la calidad. Asegúrese de que el modelo devuelva exactamente lo que necesita
cada vez. Al final de este
curso, tendrás un proceso de tres pasos para
usar en cualquier idea basada en IA. Este curso sí
asume que has tomado mi IA para principiantes, cómo funciona el curso de Chat Tippit Pero más allá de eso, no se requiere ningún
antecedente técnico. Todo lo que necesitas es una computadora portátil, Internet y una hora de
tiempo. Empecemos.
2. Proyecto de alcance: texto a texto: Bienvenido a AI para principiantes. Construye un Custom Chachi
BT en tres pasos. Antes de comenzar,
repasemos alguna terminología. Voy a simplificar enormemente
estas definiciones para
transmitir la idea principal LLM o modelo de lenguaje grande es un modelo que genera texto Le das Tex como entrada, y el LLM produce salida de
Texas IA o inteligencia artificial es generalmente un producto
que utiliza un LLM HHIBT es específicamente el producto de IA de
Open AI. Entonces la IA versus CIBT es como
tejidos versus Kleenex. Los tejidos son el producto general, y Kleenex es un nombre de producto de
marca específica Si lo encontraste
confuso, está bien. Repaso esto
con más detalle en IA para principiantes, cómo funciona HachBT, que
puedes encontrar en este enlace Como ya estás suscrito, obtendrás este curso sin
costo adicional También recomiendo encarecidamente llevar mi IA para principiantes herramientas
para aprender machine learning, donde discuto un framework
para recoger IA y ML. Puedes encontrar ese
curso en este enlace. No es necesario
escribir estos enlaces, ya que encontrarás todos los enlaces
de
esta lección en esta URL. Ahora construyamos tu
Chachi BT personalizado en tres pasos. Estos pasos son para que
todos tomen, aunque seas un profesional, aunque tengas
un presupuesto masivo. Cualquiera que construya una IA personalizada
necesita estos tres pasos. Paso uno, alcance su proyecto, determine qué hará su IA y cómo juzgará
sus capacidades. Paso dos, evaluar modelos. Existen pautas sobre
qué tipos de modelos usar cuando. Paso tres, refinar la calidad. No hay necesidad de entrenamiento, y te mostraremos dos
métodos para mejorar la calidad. Ahora comencemos con el paso
uno, alcance tu proyecto. El primer paso aquí es acotar tu enfoque a las tareas de texto
a texto. Lo que significa que le das
el AI Tex como entrada y obtienes texto como salida.
Déjame explicarte por qué. Primero, por experiencia,
sabemos que IA puede tomar mucho
más que texto. Podemos dar imágenes de IA, PDF, sitios web,
videos y más También puede generar
más que texto. La IA puede producir imágenes, códigos, gráficos, audio y
mucho, mucho más. Eso es un montón de medios diferentes. No obstante, recuerda
lo que dijimos antes. La IA es un producto
que utiliza un LLM, y un LLM es un
modelo que toma entrada de Texas y genera
texto como Así que volvamos a nuestro diagrama.
Vamos a acercarnos. El producto de IA y
mira el LLM subyacente. Observe que el LLM
sólo toma texto. Todas las demás entradas se
convierten primero en texto. Sabiendo esto, el caso
ideal es dar el texto de la IA directamente y omitir ese
proceso de conversión por completo. Esto se debe a que el texto transmite la mayor cantidad de
información por palabra Déjame explicarte con el ejemplo. Digamos que hay una página web con resultados de un partido de fútbol
reciente. ¿Cuántas palabras hay en esta página? IC uno, dos, tres, cuatro, cinco, seis, 789, diez, 11, 12. Entonces un total de 12 palabras. Podría darle a la IA
este texto directamente, solo 12 palabras, o podría tomar una captura de pantalla de esa página web y darle
esa imagen a la IA. La IA
traduciría entonces esa imagen en la friolera de 2030 palabras visuales Eso es más de 170 veces más palabras por la misma cantidad
de información. Entonces, en conclusión, Tex
es más eficiente en la comunicación de información
que las imágenes de texto. Como resultado de esto, por
simplicidad, para tu proyecto, quédate con las tareas de texto
y TextOut. Aquí hay otro ejemplo. Entonces quieres pedirle a HattBT
comentarios sobre tus diapositivas. Tienes varias opciones
para los formatos de descarga. , no descargues el
slide deck como PDF Sin embargo, no descargues el
slide deck como PDF y definitivamente
no descargues como imágenes. En su lugar, descargue las diapositivas
en formato de texto plano. Este formato de texto sin formato contiene
solo el texto sin procesar para todas mis diapositivas sin ningún formato adicional o información
innecesaria. Ahora puedo subir este archivo y pedirle a HattPT que proporcione
comentarios sobre mis diapositivas Por suerte, mis diapositivas
solo se proporcionan como texto sin procesar, lo
que hace que sea eficiente para que
Chat TPT procese En resumen, si desea
alimentar un archivo a HachBT, exporte ese archivo en formato de
texto sin formato cuando sea Hagamos un ejemplo más. Digamos que quiero preguntarle a HattBT sobre una entrada de blog que estoy leyendo No hagas capturas de pantalla de la página web. En su lugar, proporcione directamente a HattBT la URL de la página web, y encontrará que
HTHBT realmente
accederá a esa página web por nosotros,
resumiendo esa Podemos verificar que HTPT acceda a la URL correcta haciendo
clic en las fuentes Y en el
lado derecho, veremos la página web original
listada como cita. Esto significa que HatchBT
pudo acceder al texto sin procesar en
la
página web y como antes,
ingerir información de
manera eficiente, ingerir información de
manera eficiente En definitiva, dé direcciones URL de página web
directamente para que HaChPT pueda acceder a la página web y extraer su contenido como
texto sin procesar Para resumir esta
lección en una comida para llevar, concéntrese en las tareas de texto a texto Esto significa alimentar datos
de texto sin formato siempre que sea posible
para nuestro proyecto. Y esto concluye ahora el primer subpaso
del primer paso Hemos reducido nuestro proyecto
centrándonos en las tareas de texto a texto En la siguiente lección,
hablaremos sobre algunas tareas de texto a texto para las
que la IA es más adecuada. Y si quieres
obtener una copia de estas diapositivas y ver recursos
adicionales, puedes acceder a esta URL.
3. Proyecto del alcance: capacidades: En esta lección, continuaremos discutiendo cómo
enfocar tu proyecto. Ahora, para recapitular,
actualmente estamos en el paso uno de
un proceso de tres pasos Mi objetivo en este primer
paso es
ayudarte a reducir el alcance de tu
proyecto. En la
lección anterior, reducimos tu enfoque a las tareas de
texto a texto Y en esta lección, voy a reducir
aún más su enfoque a capacidades específicas de texto
a texto. Primero, nuestro enfoque es construir una IA
personalizada confiable y precisa para la producción. Entonces podríamos
preguntar, ¿qué puede
hacer la IA de manera confiable y precisa
para la producción? Hay muchas tareas de este tipo, pero me enfocaré sólo
en tres de ellas. Nuestra primera categoría
es el resumen. Por ejemplo, Amazon utiliza la IA para resumir las reseñas de productos
en una sección de clientes Slack usa IA para
resumir canales, y Noon usa IA para resumir reuniones de
Zoom por ti hay muchos ejemplos
comerciales Solo hay muchos ejemplos
comerciales
de resumen. Ahora, probemos esto nosotros mismos. Digamos que diriges una panadería
con cientos de reseñas. Te gustaría obtener información de esas reseñas para ayudar a que
tu panadería crezca. En tu navegador,
ve a chattbt.com. Verás una página como esta. Pegemos algunas
reseñas y pidamos a HatchiBT que resuma
esas Aquí está nuestro resumen. HattiBT dice que las opiniones sobre el
croissant de almendra son mixtas, lo que parece una Puedes ver las
reseñas tú mismo en esta URL para juzgar si estás de acuerdo
o no. Entonces, en definitiva, la IA es bastante
experta en el resumen. La IA también está lista
para la producción para estructurar datos. Estructurar datos es una
forma elegante de decir que la IA puede traducir globos de texto en tablas de datos
bien organizadas Y a nivel de superficie,
eso suena genial. Pero permítanme enfatizar, cool
es un eufemismo. Ser capaz de tomar datos
no estructurados y extraer datos estructurados
limpios es en realidad una superpotencia de IA extremadamente
útil Déjame explicarte con el ejemplo. Volvamos a nuestra panadería. De nuestras 671 opiniones, nos gustaría saber
qué
opinan nuestros clientes de nuestros productos horneados. Por ejemplo, ¿A los clientes
les gustó el croissant de almendra? De hecho, primero preguntemos, ¿qué clientes incluso probaron
el croissant de almendra Idealmente, tendríamos una tabla
de datos
bien organizada como esta, una lista de verdaderos para
los que les
gustó y falsos para
los que no, no
tenemos esa tabla. Tenemos globs y globs
de reseñas como esta. Ahora necesitamos repasar
y leer cada reseña, luego determinar qué críticas incluso mencionaron los croissants de
almendra Hay muchas maneras de
mencionar los croissants de almendra. En la revisión se podría decir croissant de
almendra
con almendra o pastelería de almendras Entonces podrías decir, solo
busquemos la palabra almendra. Pero eso incluiría
otros cruasanes, también,
porque la panadería también vende croissants porque la panadería también vende chocolate y
croissants de almendra de almendra de
chocolate y
croissants de almendra de arándanos. Entonces, en definitiva, detectar menciones de
croissant de almendra es difícil, y eso se debe a que el
texto desestructurado es realmente flexible Afortunadamente, sin embargo, la IA
es perfecta para esto. Déjame mostrarte ir
a chattbt.com. Vaya a esta URL para
copiar el prompt. Después pega el prompt aquí. El aviso le da a
ChachiBT una lista de reseñas de panadería y le pide que identifique a los amantes del Croissant de Alman Hit run, y obtienes una
buena tabla de resultados. En lugar de
leer las reseñas, podemos ver fácilmente qué clientes probaron el Croissant de
enmienda Hay tres de esos revisores, y de esos tres, a
dos les gustó. Como resultado, concluimos que 67% de los clientes que probaron
el Croissant Amén les gustó Y con eso, podemos
analizar fácilmente grandes cantidades
de texto de esta manera, todo porque la IA puede convertir texto
no estructurado en formatos
estructurados Y ahora deberías poder
ver lo valiosa que es
estructurar los datos. Es una superpotencia
para analizar datos. La tercera tarea para la que la
IA está
lista para la producción es la codificación
y los pequeños pasos. Hay muchos casos de
éxito en este espacio. Cursor mejora la productividad del
desarrollador al ofrecer un editor de código
basado en IA, que puede escribir y
ejecutar código por usted. Lovable permite
a cualquiera generar aplicaciones desde cero sin escribir
ningún código ellos mismos Sin embargo, para tu primer proyecto, no pidas a AI que construya bases de código
completas. Trata la IA como un ingeniero junior, tareas
simples y pasos
individuales. La IA es muy buena para generar
fragmentos de codificación de inicio, para encontrar y
corregir pequeños errores y agregar una característica
que involucra solo unos pocos archivos.
Veamos esto en acción. Ir a chattbt.com. Pidamos a HattBT para
trazar un gráfico circular de Alman Croissant overs Según lo solicitado, ChachiBT comienza a
escribir y escribir código, lo que ahora nos da un gráfico circular ChachiBT también nos da
el código para la trama, que podríamos ejecutar En definitiva, la IA es muy capaz de escribir
código en pequeños pasos. En resumen, la IA está
lista para la producción para resumir, estructurar datos y codificar El resumen está
integrado
en los productos de Amazon, Slack y Notion estructuración de
la información corporativa en un formato de búsqueda está dominada
por la recopilación y el Intercom La codificación está dominada por
el cursor y es amable. Por supuesto, la IA se puede aplicar de muchas otras formas
diferentes. Pero aquí, nos enfocamos en capacidades que ya han
encontrado éxito comercial. Ahora ha visto capacidades
que los
Tipts de chat personalizados pueden lograr con calidad de grado
de producción Ahora hemos discutido varias capacidades de
IA que ya
han sido probadas
comercialmente y repetidamente, lo que hace que estas
capacidades sean razonables para confiar en nuestro
primer proyecto. Puedes acceder a esta URL para
todas las indicaciones que utilicé, enlazadas a las conversaciones de ejemplo completas
y más recursos
4. Proyecto del alcance: tarea y métrica: En la última lección, vimos capacidades
generales en las
que la IA es mejor. Ahora, traduzcamos las capacidades
generales en un proyecto específico. Para la primera parte, hemos reducido su enfoque al texto
general de la tarea de texto En la última lección, limitamos
aún más
su enfoque a tres capacidades
específicas,
resumiendo, estructurando su enfoque a tres capacidades
específicas, datos y codificando En esta lección,
finalmente definiremos tu proyecto. Para tu proyecto, primero
necesitas definir la tarea. ¿Qué hará la IA por ti? Después defina lo que
tomará el LLM como entrada. Tomará reseñas, correos electrónicos,
ensayos, y finalmente, definirá qué texto
producirá el LLM como salida ¿Producirá resúmenes,
tablas, viñetas? Veamos un ejemplo. A
Busco un lugar para comer. Yummy cafe tiene una calificación baja, y quiero saber Mi primera reacción es que la
IA resuma mis comentarios. Llenemos la plantilla del
proyecto. Nuestra tarea es
resumir las revisiones. Nuestro aporte serán revisiones, y nuestro resultado
será un resumen. Esa no parece
una definición útil. Entonces, seamos más específicos. La
página web del restaurante, me desplazo por reseñas con calificaciones
muy bajas. Una persona confundió este lugar con su restaurante hermano. Alguien más
se quejó del
orden en el que
se sirvieron los platillos, y a la última revisión no le
gustó la actitud del
personal de espera Todas estas son preocupaciones válidas, pero personalmente solo me
importa la comida. Entonces quiero
filtrar las reseñas no alimentarias. Sabiendo que este es mi
objetivo, ahora
traduzcamos esto en
un proyecto concreto. A nuestra plantilla. Me gustaría detectar críticas no alimentarias La entrada es una revisión de
restaurante, y la salida es verdadera o falsa. Si la
revisión deduce o no estrellas por razones
no alimentarias. Ahora
estamos en el negocio. Así de específica debe ser la definición de tu
proyecto. Sin embargo, tenemos un
componente más, la métrica. En un nivel alto,
la métrica
te indica si las salidas de la IA son buenas. Para comenzar, su primera
métrica será, ¿encuentro
razonables las salidas de la IA ?
Evaluar primero a mano. Aquí hay una reseña que se
queja del orden en que
se sirvieron los platillos Preguntamos a la IA, ¿ esta opinión deduce estrellas
por razones no alimentarias La IA hace una predicción. Sí. Ahora, ¿me parece razonable? Yo sí. La revisión está deduciendo estrellas por
servicio, no comida La IA pasa esta primera comprobación. Aquí hay otra reseña
que se
queja de la frescura del pescado Preguntamos a la IA, ¿ esta opinión deduce estrellas
por razones no alimentarias La IA hace una predicción. No. ¿No encuentro razonable? Yo sí. Esta revisión dedujo estrellas precisamente
por razones alimentarias La IA pasa esta segunda comprobación. Aquí hay una reseña que muestra confusión sobre
el nombre del restaurante. Preguntamos a la IA, ¿Esta opinión deduce
estrellas por razones no alimentarias La IA hace una predicción. No. ¿No encuentro razonable? Esta vez, no lo sé. En la revisión se dedujeron estrellas por el
nombre del restaurante, no por la comida La IA falla esta tercera comprobación. Aquí está el cuadro de mando de IA. Encontramos las salidas razonables
dos de tres veces. Entonces, en conclusión, tu primera evaluación es que los resultados de la IA son
en su mayoría razonables. Sin embargo, las mejores métricas
cuantificarán la calidad. Entonces, seamos más específicos. Volviendo a nuestro cuadro de mando, encontramos que la IA era correcta dos
de cada tres veces Entonces, decimos que la IA
logró 67% de precisión. Ahora tu métrica es
el porcentaje de revisiones que la IA
clasifica correctamente Dicho de manera más sucinta,
Nuestra métrica es precisión del
modelo en las revisiones que hemos etiquetado
como verdaderas o falsas Cierto de la revisión
estrellas deductivas por razones no alimentarias. Ahora podemos tomar cualquier IA y calcular su
precisión en nuestra tarea. Aquí está ahora nuestra definición de
proyecto tonto. Hemos agregado la precisión
métrica de la precisión con
la que la IA
predice verdadero o falso, en comparación con sus propias etiquetas
en las reseñas de restaurantes Hagamos otro ejemplo. Digamos que estás organizando
un Hackathon, y después de que el
portal de envío en línea se cierre en la fecha límite, docenas de personas te envían por correo electrónico entradas
tardías Su objetivo general es
organizar las entradas tardías
enviadas por correo electrónico. Más concretamente, tu tarea es detectar si un correo electrónico
es una entrada de Hackathon La entrada es un correo electrónico. El resultado, sea o no el correo electrónico es en realidad un envío de
Hackathon La métrica también es la precisión, cuántos correos electrónicos se
clasifican correctamente como entradas o no. Ahora usando IA, podemos generar
una tabla de datos y Voila. Ahora es mucho
más fácil determinar
qué envíos tardíos aceptar
a escala sin tener que leer los 100 correos electrónicos para encontrar las entradas
del Hackathon En resumen, defina la
tarea, la entrada a tu IA, la salida de tu
IA y la métrica, que determina qué tan buenas son las salidas de
tu modelo. Con eso concluye esta lección. En esta lección, finalmente
definimos tu proyecto
después de
bajar el alcance y eso
concluye adicionalmente el primero
de tres pasos Ahora has explorado tu proyecto y estamos listos para
comenzar con él. Puede acceder a la CRL para obtener una copia de estas diapositivas
y recursos adicionales
5. Evalúa modelos: prueba los mejores: Bienvenido de nuevo. En lecciones
anteriores, redujimos nuestro enfoque
a las tareas de texto a texto Luego capacidades específicas,
luego defina la métrica de tarea. Esto completó nuestra primera
tarea, abarcando el proyecto. Para nuestro segundo paso, evaluaremos modelos, para elegir el mejor modelo
para nuestro caso de uso. Para elegir un modelo, evaluarás varios modelos en cuanto a su
capacidad para completar tu tarea. Empezaremos con las mejores opciones porque queremos saber. ¿Alguna IA puede incluso
completar nuestra tarea? Si la mejor IA no puede
resolver tu tarea, entonces las IA menos inteligentes
ciertamente tampoco lo harán. Entonces, comienza con la IA
más inteligente. Según el sitio web de Open EI, si estás en los planes
gratis o plus, GPD five thinking es tu modelo
más inteligente Si estás en el plan Pro, GPD five Pro es tu modelo
más inteligente Comencemos nuestras
pruebas a través de chatbots, una interfaz simple
para una prueba rápida Ir a chatbt.com. Verás una pantalla como esta. En la parte superior izquierda,
expande el menú desplegable. A partir de este menú desplegable, verás rápidamente el modelo más rápido pero relativamente
menos inteligente. Pensar, un modelo más
inteligente. Usa esto si estás en
los planes gratis o plus. Y por último, P, el modelo
más inteligente. Usa esto si estás
en el plan pro. Voy a usar GPT five thinking para que todos puedan
reproducir mis resultados Ahora hemos seleccionado un LLM. Entonces, ¿qué debemos preguntar a Chat GBT? Usemos nuestro proyecto
de la última lección. Recordemos, nuestro objetivo es
filtrar las críticas no alimentarias. Los insumos son reseñas de
restaurantes, y las salidas
son verdaderas o falsas, verdaderas si las estrellas se deducen
por razones no alimentarias Entonces para nuestro rápido, bien, dadas las
opiniones de restaurantes, la salida es verdadera si una reseña deduce estrellas
por razones no alimentarias Entonces incluyo tres reseñas. La primera reseña
se queja del servicio, segunda se queja del sabor, y a la tercera le gusta la comida, pero sintió que el servicio era lento Esperamos que la IA luego devuelva verdadera porque la primera revisión
deduce estrellas por servicio,
false, porque la segunda
reseña deduce star es precisamente para comida y La última revisión no
deduce estrellas en absoluto. Probemos ahora este prompt. Primero, ve a esta UOL
y copia el prompt. Después vuelve a chattbt.com. Pegar en el prompt. Golpeó a correr. ChattBTTS por unos segundos, luego le da respuesta,
que es correcta, verdadera, falsa, falsa Como resultado, concluimos que IA puede completar nuestra
tarea correctamente. Específicamente, GPT five
completa nuestra tarea. Probar el chatbot no es suficiente porque los chatbots no
son deterministas Esto significa que no devuelven
los mismos resultados cada vez. Por ejemplo, vamos a pedirle a
HathBT una broma de papá. Chat TBT hace una broma
sobre espantapájaros. Hagamos esto de nuevo, exactamente
el mismo prompt. HatchiBT hace una broma
sobre el alfabeto. Haz esto una vez más. Charla
TBT bromea sobre esqueletos Entonces, exactamente el mismo prompt arrojó diferentes
respuestas cada vez Esto demuestra nuestro punto anterior que los chatbots
no son deterministas Como resultado, necesitamos pasar de probar el chatbot
a probar la API La API por defecto tiene mucha
menos aleatoriedad inyectada. Entonces, si la IA completa
la tarea una vez, podemos estar seguros de que la IA
completará la tarea repetidamente. Ir a plataforma dotopen.com. Tu página web se
verá así. Asegúrate de hacer clic en Iniciar sesión en la parte superior derecha si aún no lo
has hecho. Luego haga clic en el tablero
en la parte superior derecha. Nuestra página ahora se
verá así. Haga clic en crear en el
centro de la página. Ahora tu pantalla debería verse así. En la parte inferior derecha,
haz clic en Borrar automático. Esto asegura que cada
vez que presionamos Enviar, imitamos el mismo comportamiento que
enviar llamadas API separadas Ahora pide un chiste de papá, pero antes de golpear Enter,
ten en cuenta que este ejemplo específico puede costar hasta dos
décimas de centavo Una vez que golpeas Run, JTBT hace
una broma sobre el alfabeto. Pidamos otra vez una broma de papá. Asegúrate de que la opción Borrar automático
en la parte inferior derecha esté seleccionada y envíala. JTBT hace exactamente la
misma broma sobre el alfabeto con un cambio de
puntuación menor Y lo intentamos de nuevo y obtenemos
exactamente el mismo chiste del alfabeto. Los resultados son
casi idénticos. Esto es mucho
mejor que el chatbot, que cada vez devuelven respuestas completamente
diferentes Por lo que podemos concluir que las llamadas
API son en su mayoría
deterministas, definitivamente mucho más
que el chatbot Así que volvamos a probar nuestro prompt de
proyecto de ejemplo a través de la API. Recuerda que este es nuestro
aviso de antes. Esperamos que la IA devuelva
verdadero, falso, falso. Vaya a esta URL para copiar de nuevo el prompt del proyecto de
ejemplo. Luego de vuelta en plataforma hacer openai.com, pega
ese prompt Antes de golpear Run, tenga en cuenta este ejemplo costará
cuatro décimas de centavo La API GPD five primero devuelve
tokens pensantes durante unos segundos. Entonces finalmente devuelve la respuesta definitiva, correcta,
verdadera, falsa, falsa. Probemos una vez más. Y nuevamente, GPD five devuelve la respuesta correcta,
verdadera, falsa, falsa Y una vez más. Y nuevamente, la respuesta correcta,
verdadera, falsa, falsa. Entonces, como antes, GPD five completa
correctamente nuestra tarea. Aún más importante, GPT
five lo hace repetidamente. Esta es una gran victoria. Significa que nuestro proyecto ahora
puede
completar repetidamente nuestra tarea
usando la API de GPD five En resumen, prueba primero la mejor, la IA más inteligente. Primero a través de los bots de chat
para simplificar, luego a través de la API para la
reproducibilidad, y eso concluye nuestras
pruebas a través de la API Generalmente, en realidad hemos
terminado de probar la mejor IA. Y la siguiente lección,
optimizaremos los costos probando modelos más rápidos y
económicos. En caso de que te estés preguntando
cómo calculé el costo de una llamada API, explicaré e incluiré más recursos en el sitio web del
curso en esta URL.
6. Evalúa modelos: optimiza costos: Bienvenida de nuevo. Como resumen, estás en el paso dos de tres Pero hasta ahora, solo has
probado la mejor IA. Probamos la mejor IA vía chat, luego probamos vía API. Ahora es el momento de
optimizar el costo y encontrar el modelo más barato
que aún pueda completar nuestra tarea repetidamente. Recordemos de antes que
GPD five completó nuestra tarea de proyecto de ejemplo
exitosa y repetidamente, y costó alrededor de
cuatro décimas de Incluiré todos los cálculos de
costos en nuestro sitio web del curso
si te interesa. Aquí está el
costo de GPD five para nuestro ejemplo, junto con sus costos por token, según la página de precios de
API de OpenAI Probemos el siguiente modelo
más barato de nuestra lista, GPT five Mini su selector de modelo, seleccione GPD five Mini Tu pantalla
ahora debería parecerse a la mía. Pega en el prompt
del proyecto de ejemplo, y GPD five Mini responde
true false false, completando
correctamente la tarea Veamos el
costo. Este ejemplo costó 700 de un centavo Y una vez
que
añadimos eso a nuestra mesa, podemos ver que hemos
reducido cinco veces el costo de completar nuestra
tarea. Probemos ahora nuestro
modelo más barato, GPT five Nano. Desde el selector de modelos, elija GPT five Nano Tu pantalla
ahora debería parecerse a la mía. Pegar en el
prompt del proyecto de ejemplo, y una vez más, obtenemos true false false, la respuesta correcta.
Mira el costo otra vez. El costo de nuestro ejemplo es ahora tres centésimas de centésimas Y en nuestra mesa, podemos
ver que ahora hemos reducido el costo de completar nuestra
tarea otras dos veces. Pero vamos a reducir aún más los
costos. Hasta el momento, hemos seguido razonando
en el nivel medio predeterminado. Ahora queremos establecer el razonamiento
en mínimo en su lugar. Déjame mostrarte cómo hacer eso. De vuelta en esta página web,
junto al nombre del modelo, haga clic en el icono de configuración. En el menú, seleccione esfuerzo de
razonamiento. Esto te dará
otro desplegable. Seleccione mínimo, que luego se
verá así. Haga clic fuera de la ventana emergente. Luego pega en tu prompt de proyecto de
ejemplo. Y lo suficientemente loco, GPT
cinco Nana sin razonamiento todavía responde
verdadero falso falso, completando la tarea a la perfección.
Mira el costo ahora. El costo de nuestro ejemplo
es ahora de 4000th de centavo, dándonos esta
tabla final de resultados Reducimos aún más
el costo en otras siete veces. Esa es una descabellada reducción de costos. Dados estos resultados, declaramos GPT five Nano sin
razonar nuestro ganador Ahora que completa las
tres partes en el paso dos, prueba vía chatbot,
prueba vía API, y finalmente, encuentra el
modelo más barato que aún funciona Esto produjo el modelo
Open EI más barato que pudo resolver
con éxito nuestra
tarea GPT cinco Nano En resumen, prueba primero la mejor, la IA más inteligente. Primero a través de los bots de chat
para simplificar, luego a través de la API para la
reproducibilidad, luego pruebe la IA iterativamente
más barata y más rápida Ahora hemos optimizado los
costos con éxito, reduciendo los costos en más de 88 veces, y eso es todo para
evaluar modelos. Esto concluye el paso dos en su mayoría. Hemos terminado con los modelos
propietarios, pero ahora necesitamos
repetir este proceso para otra amplia categoría de modelos de código abierto de
opciones. Como de costumbre, puedes encontrar
todos los cálculos, indicaciones y más
recursos en esta URL
7. Evalúa modelos: de código abierto: Exploremos una categoría más de modelos, los modelos de código abierto. Actualmente estamos en el
segundo de tres pasos donde estamos evaluando modelos para
determinar cuál usar. Afortunadamente, hay un centro
estandarizado para todos los modelos de código abierto
en huggingface.co Visita esta URL y verás un montón de
opciones. Es abrumador. Aquí hay algunas
heurísticas, sin embargo, para navegar por este gran
repositorio de modelos Regla número uno, usa modelos sintonizados con
instrucciones. Por lo general, los modelos
sintonizados por instrucción han instruido en
el nombre en alguna parte La razón de esta regla es que los LLM se entrenan
en tres etapas En la primera etapa
llamada pre entrenamiento, LLM simplemente predicen
la siguiente palabra En la segunda etapa llamada SFT
o afinación fina supervisada, los modelos aprenden a
responder preguntas En la última etapa llamada Refuerzo Aprendizaje con retroalimentación
humana o RLHF, los modelos aprenden a alinear las respuestas
con las preferencias humanas,
siendo útiles, honestos e Técnicamente hablando,
solo el segundo paso se llama sintonía de instrucción, pero prácticamente hablando, los modelos de código
abierto sintonizados por
instrucción han
pasado tanto por SFT como por RLHF En cualquier caso, no quieres un modelo que solo haya
pasado por pre-entrenamiento porque esos modelos auto completan preguntas,
no responden preguntas. Entonces, en resumen, regla número uno, usa modelos sintonizados con instrucciones. Para la regla número dos,
use modelos pequeños. Obviamente esta no es
una regla dura y rápida, pero la recomiendo encarecidamente. Ahora, digamos que me ignoras. ¿Y si quieres usar modelos
masivos de código abierto, los más grandes y los mejores? Bueno, veamos qué modelo de
código abierto es el mejor. Aquí está la arena del chatbot. Los modelos Gemini Open AI y Grock
four son todos propietarios. Por lo que el modelo de
código abierto de mayor rango es Kimik. Vayamos al sitio web de Kimi K. Según esta página web, Kimi K es de 1 billón tan realista, necesitaríamos 16 H 100 GPU para ejecutar este modelo Primero, eso es caro. 16 H 100 GPU cuestan $64
por solo 1 hora de uso. Segundo, es complicado hacer inferencia para
un modelo así de grande Todo esto para decir, si quieres
usar modelos de código
abierto de última generación, debes usar API que
sirven modelos de código abierto porque sus precios se
benefician de economías de escala. Es más barato para ti llamar a una API que para ti ejecutar
estos modelos masivos tú mismo. Para más detalles, puedes
ver esta entrada de blog, que voy a enlazar en
nuestro sitio web del curso. Para usar modelos de código
abierto de última generación, sigamos los
mismos tres subpasos Prueba a través de chatbot, prueba vía
API y optimiza costos. A partir del primer subpaso, probemos vía chatbot Ir a gpthss.com. Recuerda, este fue nuestro
aviso de antes. Esperamos que la IA devuelva
verdadero, falso, falso. Primero, vaya a esta URL
y copie el prompt. Entonces verás una página
web como esta. Elegí continuar
con razonamiento visible, pero puedes elegir cualquiera de las dos opciones. Ninguna opción cambia la
calidad de las respuestas de la IA. Pegar su mensaje y presionar Ejecutar. Entonces verás verdadero falso
falso, la respuesta correcta. En la barra lateral izquierda, ahora haga clic en GBTOSS 20 mil millones, el más pequeño de los dos modelos de
código abierto de Open AI Después en la parte superior derecha, haz clic en Nuevo chat. Tu pantalla
entonces se verá así, pega en el prompt
una vez más y pulsa Ejecutar. Entonces una vez más, verás verdadero falso falso, la respuesta correcta. Hemos visto que lo mejor
de la
IA de código abierto puede completar nuestra tarea. Ahora volvamos a probar vía API. En huggingface.co, muchos modelos de código abierto
tienen una sección en la parte inferior derecha donde
puede enviar mensajes uno fuera al LLM para probarlo Esto tampoco es
gratuito técnicamente, pero puedes enviar solicitudes sin agregar información
de facturación. Pegue en su prompt, y
Deep Seek R one pass. Da como resultado verdadero falso falso. Eso significa que la IA de código abierto, como Deepsk también puede
resolver nuestra tarea Deepsek R one habría costado
un tercio de centavo para
ejecutar este ejemplo Como antes,
encontremos ahora el modelo más barato
que pueda completar nuestra tarea. Probemos el siguiente modelo
más barato. Deep Seek R un Lama 7 mil millones. Este modelo también obtiene la respuesta correcta, verdadera falsa falsa. Deep Seek Lama
le costó un sexto de centavo, así que ahora hemos bajado
nuestro costo a la mitad Ahora probemos el próximo Deep Seek V tres
más barato. Técnicamente, Deep Seek V tres respondió verdadero
falso falso correctamente. Simplemente lo hizo con
mucho texto extra. Desafortunadamente, si Deep Seek genera diferentes
formatos cada vez, nuestro código de proyecto no
podría analizar la salida LLM de manera confiable Por suerte, tenemos una
manera de arreglar esto, que te mostraré más adelante. Pero por ahora, Deep Seek
V tres no pasa. Tiene la inteligencia
pero no el formato. Probemos el siguiente más barato de nuestra lista, Lama 370 mil millones Abrazando a la Cara lamentablemente me
sigue dando errores. Así que encontré
otro sitio web al azar. No necesariamente avalo,
pero cualquier sitio web servirá. Y parece que
Lama 370 mil millones responde correctamente con
verdaderas caídas falsas Entonces pasa Lama 370 mil millones. Probemos el siguiente modelo
más barato de nuestra lista. Profundo Busca Quin. modelo
destilado más pequeño de Deep Seek RO simplemente escupe una cadena infinitamente
larga Entonces este es un duro fracaso. Quin fracasó
catastróficamente, como vimos. Y con eso dicho, ya hemos completado nuestra tabla de resultados. Podemos volver a enumerar todos
los precios y centavos, luego comparar los precios de Open
AI con precios de código
abierto para comparar
inteligencia por dólar. Aquí están los ganadores
de cada categoría. Observe la diferencia de costo. De acuerdo, podría haber probado modelos de código abierto
más pequeños que son más
baratos que 70 mil millones pero
más capaces que Quinn, pero más pequeños, y pueden estar ejecutando tu propia
máquina de forma gratuita, así que no tiene sentido
probar sus API La API Open EI es
15 veces más barata para esta tarea específica para detectar correctamente críticas
no alimentarias en
base a nuestros resultados anteriores Generalmente, para la vanguardia
de la
clase de modelos de vanguardia, los modelos patentados superan a los modelos de código
abierto en inteligencia por dólar Entonces, si estamos considerando el código
abierto, alejémonos de la vanguardia y apegémonos a pequeños modelos de código
abierto. Estos modelos en realidad pueden ser realmente económicos
para funcionar por su cuenta. Entonces, en resumen, recomiendo usar pequeños modelos de código abierto. Al menos por ahora, para los grandes modelos de código abierto de
última generación, hemos completado nuestros
tres subpasos Esto completa la evaluación para
grandes modelos de código abierto. En la siguiente lección,
veremos pequeños modelos de
código abierto, lo suficientemente
pequeños como para funcionar gratis. Como de costumbre, puedes
encontrar todos los enlaces, cuadernos y otros recursos
en el sitio web del curso.
8. Demostración: ejecutar un modelo de código abierto: Ahora ejecutemos modelos de
código abierto de forma gratuita. Actualmente estamos en el
segundo de tres pasos. Ahora estamos probando pequeños modelos de código
abierto. Por ahora, tratemos a Lama
3.28 mil millones como nuestro default. Este es un modelo de lenguaje diminuto que debería caber en su computadora portátil. Por supuesto, hay muchos
otros modelos de código abierto. Pero antes de
discutirlos, las próximas diapositivas se referirán
a algunos términos como GPU, nodo, RAM y precisión. Si no estás familiarizado
con esos términos, puedes ignorar con seguridad mi explicación y solo
enfocarte en la comida para llevar También incluiré definiciones en el
sitio web del curso en esta URL. Ahora bien, volviendo a la regla número dos, ya
hemos dicho anteriormente
que usemos modelos pequeños. Pero seamos más precisos
sobre lo que significa pequeño. Por pequeño, me refiero a modelos de GPU
individuales, que es mucho más simple que GPU
múltiple y especialmente los
múltiples nodos para la inferencia. Ahora que nos hemos reducido a código abierto de GPU
única,
¿qué modelos de código abierto
caben en una sola GPU? Bueno, eso
depende de dos factores, la RAM que tenga tu GPU y la
precisión de tu modelo. Pondré la explicación completa
en la página web del curso. Pero por ahora,
diremos que las LLM con 16 mil millones o menos de parámetros
pueden caber en una sola GPU Usemos esto para encontrar un modelo de código
abierto para usar. De vuelta en el sitio web de Hugging face, en el lado izquierdo,
filtrar por talla de modelo Queremos 16 mil millones de parámetros
o menos, pero 12 mil millones es el valor
más cercano que podamos usar. Después la parte superior derecha,
ordena los modelos por me gusta. Después de ambas modificaciones,
verás una página como esta. Mirando el
número de descargas, clicamente vemos a un ganador
Lama 3.18 mil millones Instruct, que tuvo más de 9
millones de descargas en clicamente vemos a un ganador
Lama 3.18 mil millones Instruct,
que tuvo más de 9
millones de descargas en
el último mes. Vamos a
usar este modelo. Para nuestros experimentos de código abierto, utilizaremos un modelo de 8
mil millones de parámetros de la familia Lama de LLM Este es uno de los modelos
más descargados durante el último mes
de Hugging Face Y lo que es más importante, hemos determinado que este modelo
se ajusta a las GPU que estamos usando Ve a esta URL para abrir el código de inicio que
he escrito para ti. Deberías ver un
cuaderno como éste. Ahora en la parte superior del archivo, haz clic en Ejecutar todo.
Es posible que veas un error. Si ves un error como este, entonces tendrás que ejecutar
cada paso manualmente. Para ejecutar manualmente, mueve el
cursor para que se
sitúe sobre el paso uno Aparecerá un botón Ejecutar. Haga clic en ese botón Ejecutar. Después de esto, aunque el
paso uno todavía se esté ejecutando, inmediatamente
puede pasar el
cursor sobre el paso dos y hacer clic en su botón Ejecutar Entonces deberías
ver líneas punteadas como esta que indican que el paso
dos está en cola. Ya sea que presione ejecutar todo o
ejecutó los primeros pasos manualmente, su computadora portátil ahora está instalando requisitos previos y
descargando pesos Esto tomará de cinco
a 10 minutos. Entonces durante ese tiempo, continúe viendo este video
recorriendo. Después de unos minutos,
el paso uno terminará. Si ve una marca de verificación verde, significa
que el paso uno
se completó correctamente Después de unos minutos más, paso dos debería terminar también. Nuevamente, deberías ver una marca de verificación verde
que indica éxito Ahora,
ya sea que hayas corrido o no el paso tres, al
lado del paso tres, haz clic en Ejecutar. Después de unos segundos, veremos las salidas de Lama
discutiendo el sentido de la vida. Ahora deberías ver el prompt. Ahora deberías
cambiar el prompt a lo que desees y presionar
el botón Ejecutar una vez más. Trata esto como un bot de chat
personal. Puedes preguntar o decir lo que normalmente
dirías a Chat GBT Por ejemplo, podemos hacer que
Lama nos explique algunas matemáticas o que Lama
nos cuente sobre nuestra plataforma de
aprendizaje en línea favorita Esta es efectivamente tu
propia IA ejecutándose en la Nube. Nadie más que usted está usando
este LLM dedicado. Ahora es el momento de probar Lama
en nuestro proyecto de ejemplo. Corre atropellado en la última
celda de aquí para probar la capacidad de
Lama para identificar
críticas no alimentarias Pero desafortunadamente,
Lama se equivoca, diciendo que tanto la primera
como la tercera críticas son ciertas que ambas son críticas
no alimentarias En otras palabras,
Lama predice verdadero
falso verdadero en lugar
de verdadero falso falso Arreglaremos esto en
la siguiente lección sin entrenar al
modelo. Eso es. Ahora ejecutamos nuestro
primer LLM de código abierto, y ahora finalmente hemos terminado
el segundo de tres pasos Como mencioné
antes, nuestro siguiente paso es refinar la calidad. En particular,
mejoraremos esta capacidad de
LLM de código abierto para completar
nuestro proyecto de ejemplo
9. Perfecciona la calidad: entradas de ingeniería: En esta lección,
vamos a mejorar nuestras capacidades de LLM
cambiando nuestras entradas Generalmente, esto se llama ingeniería
rápida. Ahora estamos en el
tercero de tres pasos, y ahora estamos refinando la calidad. Aquí hay dos subpasos. El primero de los cuales es
diseñar nuestros insumos. Si aún no lo has hecho, ve a esta URL para abrir el código de inicio que te
he escrito. Si aún tienes tu
libreta de la última lección abierta, usa la misma libreta. Si está abriendo este
cuaderno por primera vez, en la parte superior del
archivo, haga clic en Ejecutar todo. Los dos primeros pasos tomarán
alrededor de cinco a 10 minutos, así podrás seguir viendo este paseo
mientras tanto. Recordemos de nuestra lección anterior, Lama 8 mil millones no lograron
completar nuestra tarea El formato de las salidas y
la precisión fueron ambos apagados. Nuestro primer enfoque para solucionar
esto es ser específicos. Suena como un consejo tonto, pero basta con especificar el
formato. Por ejemplo, proporcione tres
líneas de salida para cada línea, denote verdadero o falso, sin texto extra, sin formato He agregado esto a su libreta ya bajo una celda
titulada tip one. En su cuaderno, desplácese hacia abajo hasta la
sección de demostración de entradas de estructura, como se muestra aquí. cursor sobre la celda
que dice tip uno, luego haga clic en el
botón Ejecutar que aparece Después de unos segundos,
deberías ver la siguiente salida,
true, false, true. Las salidas siguen siendo incorrectas. Esperamos verdadero, falso, falso, pero arreglamos el formato con solo agregar algunas instrucciones
al prompt. Nuestro siguiente enfoque es
dar ejemplos. Vamos a agregar algunos. Ahora agreguemos
tres ejemplos de reseñas. Cinco de cinco, el
pollo estaba salado, pero bueno, tres de cinco, el marinero estaba demasiado agrio, tres de cinco, el
servidor no fue paciente Y por último, agreguemos
las salidas deseadas. Las dos primeras revisiones
involucran críticas alimentarias, y la última revisión involucra
una crítica no alimentaria Entonces esperamos falso falso verdadero. He agregado esto a su libreta ya en una celda
titulada tip two. Desplázate hacia abajo y coloca el mouse sobre esta celda titulada Consejo dos Da clic en el
botón Ejecutar a los pares, y después de unos segundos, verás verdadero, falso, verdadero. Desafortunadamente, las
salidas siguen equivocadas, pero tenemos un truco más. Para el tercer enfoque, pediremos una
cadena de pensamiento. En definitiva, pídele
a Lama que muestre su obra. En nuestro prompt al modelo, simplemente le
preguntaremos la primera
razón paso a paso. Después especificamos el
formato de salida con mucha precisión. Como de costumbre, ya he agregado esto
a su libreta. Desplázate hacia abajo, coloca el cursor sobre
este título de celda Consejo tres y haz clic en el
botón Ejecutar que aparece Después de unos segundos, Lama
finalmente predice correctamente. Vemos un bloque de
pensamientos que pedimos y las salidas correctas
true false false. Entonces ahora podemos decir que Lama 3.18 mil millones pueden completar
nuestra tarea Resumen, aplicamos tres consejos. Sea específico, brinde ejemplos y pida una cadena de pensamiento. Estos tres juntos
permitieron que nuestro modelo Lama identificara exitosamente críticas
no alimentarias Ahora bien, ¿y si usamos este nuevo y mejorado prompt en nuestros
modelos desde antes? Parece que Deep Seek V three ahora responde
con éxito la
pregunta con verdadero falso falso, pero Quin 1.5 mil millones todavía
produce basura sin sentido Como resultado, nuestros resultados de código
abierto ahora se ven así en un nivel alto al comparar IA
abierta con los precios de código
abierto, Pei sigue ofreciendo una
inteligencia mucho mayor por dólar, aunque ahora tenemos un
Lama en funcionamiento de 8 mil millones que puede producir
respuestas correctas de
manera confiable en hardware de nivel gratuito, incluso más barato que
todos los anteriores En resumen, sé específico, da ejemplos y
pide una cadena de pensamiento. Eso es todo para el primer subpaso ingeniería de nuestras entradas de modelos Entonces, en resumen,
hemos
mejorado con éxito la capacidad de Lama para
completar nuestra tarea de ejemplo En la siguiente lección, haremos un conjunto final de
mejoras para que nuestro modelo de código abierto funcione manera robusta en grandes
cantidades de datos Como de costumbre, puedes
encontrar todas las indicaciones y el código de inicio que
utilicé en esta URL
10. Perfecciona la calidad: restringe las salidas: En esta lección,
vamos a mejorar nuestras capacidades de LLM
estructurando nuestros resultados Una palabra de advertencia. Esta lección
cuenta con mucho código. Si te sientes incómodo
con el código, solo concéntrate en las
conclusiones que
discuto en lugar
del código en sí Este es nuestro tercero
de tres pasos. En la última lección,
diseñamos nuestros insumos para mejorar la calidad de las respuestas del
modelo. En esta lección,
mejoraremos la
calidad limitando
nuestros resultados Si aún no lo has hecho, ve a esta L para abrir el código de
inicio que te
he escrito. Si aún tienes tu libreta de la última lección abierta, usa la misma libreta. Si está abriendo este
cuaderno por primera vez
en la parte superior del
archivo, haga clic en Ejecutar todo. Los dos primeros pasos tomarán
alrededor de cinco a 10 minutos, así podrás seguir viendo este paseo
mientras tanto. Recordemos de nuestra demostración de código
abierto, Lama 8 mil millones no
lograron completar nuestra tarea El formato de las salidas y
la precisión fueron ambos apagados. Reproduzcamos de nuevo
este resultado. En su notebook, desplácese hacia abajo
hasta la demostración de salidas de estructura. Pase el cursor sobre el ejemplo
A y haga clic en Ejecutar. Obtendrás este blob de texto. Es a la vez incorrecto e
incorrectamente formateado. Queremos una lista de verdaderos o falsos. Arreglar esto, en la lección
anterior, aplicamos tres consejos. Sea específico, brinde ejemplos y pida una cadena de pensamiento. Después de aplicar estos consejos, Lama produjo las
salidas correctas true false false No obstante, la corrección
llegó a un costo. El prompt original
tomó 288 caracteres. Sin embargo, el nuevo prompt
toma 1,312 caracteres. Esa es la friolera de entrada 4.5
veces más larga. Eso es un montón de insumos. Entonces, ¿podemos mejorar el formato de
salida y la corrección sin aumentar el número
de tokens de entrada? Y la respuesta es, claro, sí, déjame explicarte.
Aquí está el LLM Toma texto como entrada y
produce texto como salida. En este caso, nuestro insumo
son nuestras frutas de banano. Y desgraciadamente,
las salidas LLM. Esa ni siquiera es una
respuesta válida a la pregunta. Para solucionar esto, forzamos al LLM
a generar solo sí o no. De esa manera, aunque
la salida sea incorrecta, al
menos la salida es válida. Para ello, necesitamos
modificar este paso al final,
cómo los LLM traducen los
resultados en palabras Vamos a acercarnos. El LLM en realidad primero genera
una lista de números Estos números son
en realidad probabilidades que corresponden
a ciertas palabras En nuestro ejemplo, la
primera probabilidad es la probabilidad de sí. El segundo, la
probabilidad de no, el tercero a R, y el último a es. La probabilidad más alta es 60%, y la
palabra correspondiente es R. Así que finalmente
sacamos R. Así es como el
LLM predice normalmente, pero nuestro objetivo es
generar solo sí o Entonces hagamos algunos cambios. Primero, hacer caso omiso de
todas las demás palabras. Considera solo sí o no. Y ahora tomamos la probabilidad
mayor,
10%, lo que corresponde a sí. Por último, sacamos sí. Y con eso, hemos
logrado
constreñir nuestro LLM para generar
solo sí o no, tomando la palabra válida de mayor
probabilidad En este ejemplo,
solo queríamos sí o no. Entonces usamos las probabilidades de estas dos palabras y simplemente elegimos la más
probable de las dos Ahora nuestro LLM se ve obligado
a generar sí o no, y lo que es más importante,
lo hicimos sin cambiar el
número de tokens de entrada Vuelva a
su computadora portátil y desplácese hacia abajo hasta la configuración del paso cero. Pase el mouse sobre la celda
y haga clic en Ejecutar. No verás ninguna salida para
el paso. Ya estás listo. Para nuestro primer ejemplo, vamos a forzar verdadero o falso. Equivalentemente, podemos decir
que vamos a forzar un booleano. Un booleano es un verdadero o falso. Por ejemplo, uno,
pedimos a los M son frutos de
banano y
salida forzada a ser verdadera o falsa. Ahora, pase el cursor sobre el ejemplo
uno y haga clic en Ejecutar. Esto generará un
único verdadero booleano. Esto es correcto.
Los plátanos son frutas. Para nuestro siguiente ejemplo, forzaremos a tres booleanos
en lugar de solo uno Ahora, comprobamos si los plátanos, las almendras y
las papas son frutas. Mueve el mouse sobre el
ejemplo dos y presiona Ejecutar. Ahora verás las salidas
true, false false. Esto es correcto. Ahora
veamos si podemos usar esto para restringir el formato de salida
para nuestras críticas no alimentarias Pase el cursor sobre el ejemplo
B y, a continuación, haga clic en Ejecutar. Y esta salida son
tres booleanos. El formato de salida es válido. Desafortunadamente, la salida
sigue siendo incorrecta, sin embargo. Debe ser verdadero, falso,
falso, no verdadero, falso, verdadero. Así que sigamos adelante.
Para nuestro tercer ejemplo, obligaremos al modelo
a razonar paso a paso. Para este paso, le pediremos
al modelo que razone primero. Después fuerce al modelo a generar
texto entre las etiquetas de pensamiento. Puedes elegir el
formato que quieras para pensar. Este es solo el formato que elegí. Como antes, el aviso es
verificar si los plátanos, las almendras y
las papas son frutas. Mueva el mouse sobre el ejemplo
tres y, a continuación, haga clic en Ejecutar. Esto tardará algún tiempo en
correr unos 45 segundos más o menos. Entonces verás la salida final con el razonamiento correcto y aún mejor las
salidas correctas true, false, false. Ahora, apliquemos las
mismas salidas estructuradas a nuestro proyecto de ejemplo
para críticas no alimentarias Pase el cursor sobre el ejemplo
C y haga clic en Ejecutar. Verás el razonamiento así
como la
respuesta correcta al final. Ahora estructurando nuestras salidas, hemos mejorado la calidad
de nuestro modelo y hemos forzado las salidas a coincidir con un
formato específico. Eso es un triunfo. También hemos
acortado drásticamente la longitud del prompt. El prompt original
fue de 288 caracteres. De la última lección,
necesitábamos 1,312 caracteres. De esta lección, solo
necesitábamos 386 caracteres, junto con salidas estructuradas para lograr la respuesta correcta. Con una ingeniería rápida,
necesitábamos un aviso
4.5 veces más largo para
producir las salidas correctas. Con salidas estructuradas,
tenemos un prompt mucho más corto, solo 1.3 veces más largo. Y estamos garantizados que la
salida siempre será válida. Esto no quiere decir que uno
sea mejor que el otro, pero quiero enfatizar que ingeniería
rápida y las salidas
limitantes en realidad se
usarán juntas mayor frecuencia para maximizar la calidad del
modelo Ahora, intentemos restringir las salidas para un modelo propietario,
es decir, los modelos de IA abierta también Ir a platform.openi.com. Tu página web se
verá así. Asegúrate de hacer clic en Iniciar sesión en la parte superior derecha si
aún no lo has hecho. Luego haga clic en el tablero
en la parte superior derecha. Haz clic en Crear en el
centro de la página, y deberías ver
una página como esta. Haga clic en el modelo Picker. En el menú desplegable,
selecciona GPT five Nano y tu pantalla
ahora debería verse así En la parte inferior derecha,
asegúrate de seleccionar Borrar automático. Después, junto al nombre del modelo, da clic en el icono de Configuración. Esto abrirá
un menú de configuración. Haga clic en el
menú desplegable de formato de texto y, en el menú desplegable, puede hacer clic en
Seleccionar esquema JSON Para que pueda configurar salidas
restringidas. Asegúrate de que sea un esquema JSON
y no un objeto JSON. Esto abrirá un
diálogo como este. Pegue lo siguiente, que realmente
obtendrá de esta URL. Copie el esquema JSON
de salida restringido. Después pega aquí el esquema
JSON. Desplázate hasta la parte inferior del
cuadro de diálogo y haz clic en Guardar. Veremos el esquema JSON
reflejado en el menú aquí. A continuación, haga clic fuera del menú. Desde esta URL, copie el
prompt de ejemplo del proyecto de antes. Pegue el
mensaje del proyecto de ejemplo aquí y presione Ejecutar. Y ahora tenemos la
salida en formato JSON. Prueba los cambios aleatorios
que quieras al prompt, el EPI siempre devolverá
salidas en este formato Y con eso, ha restringido
con éxito
las salidas para hat GPT En resumen, la estructuración de salidas obliga a que la salida sea válida. Podemos forzar sí o no,
podemos forzar números,
podemos forzar cualquier
formato en particular que queramos
tanto para modelos de código abierto como
propietarios. Hemos discutido cómo funciona, un ejemplo sencillo para
identificar frutos y una mejora para nuestra detección
de críticas no frutales Ese es ahora el final
de nuestro tercer paso. Hemos visto dos formas de mejorar la calidad de
nuestro modelo sin
formación de ningún tipo, y esto concluye nuestra lección
sobre la estructuración de resultados. Y de hecho, con eso concluye
nuestro tercero de tres pasos. Y ahora
solo terminas el inicio de tu
viaje construyendo con IA. Estos son los primeros
pasos que todos deben dar para un
proyecto que involucre IA. Puede acceder a esta URL para obtener
una copia del código de inicio, otras indicaciones y
más recursos En la siguiente lección,
concluiremos la clase.
11. Conclusión: Has llegado hasta el
final del curso. Et cierra con un rápido
resumen de lo que has aprendido. Primero, alcance tu proyecto. Para ello, lo desglosamos en tres subpasos. Reduzca su enfoque a la tarea
general de texto a texto. Luego, reduce tu enfoque
al texto probado
comercialmente establecido a las capacidades de texto, resumen, estructuración de
datos y codificación Finalmente, defina sus entradas, salidas, su tarea
y su métrica. Como ejemplo, esta fue la descripción del proyecto para
detectar críticas no alimentarias Para nuestro segundo paso, evaluar modelos, para que
podamos elegir uno para usar. Para ello, nuevamente
tenemos tres subpasos. En un nivel alto, parte de la mejor y más inteligente IA. Pruebe modelos a través de chat bot, las interfaces más simples y
fáciles de usar, luego pruebe modelos
a través de una API para que sus resultados sean más
repetibles y reproducibles Finalmente, optimice
por costo probando modelos
más baratos y rápidos para ver si completan
su tarea con éxito. Una vez que hemos escogido un modelo, refinamos la calidad. Para ello, teníamos dos subpasos. Comience a mejorar la calidad
refinando sus insumos. A esto lo llamamos ingeniería rápida. Después, constreñir las salidas. Esto puede mejorar aún más la confiabilidad y la
calidad de su modelo. Y eso completa nuestro proceso de
tres pasos, que ahora puedes usar para construir
cualquier proyecto que involucre IA. Esto es solo el comienzo, pero
es una base sólida para comprender qué tan bien la IA
puede lograr su tarea. Ahora, usando el
proceso anterior como guía, aplique esto a su
propio proyecto y publique el resultado en la pestaña Proyecto de
cursos. Siéntete libre de usar uno de mis proyectos
ejemplificados o
crear uno propio Estoy muy emocionada de
ver lo que creas. Si quieres saber más
sobre las clases de seguimiento,
sígueme en Skillshare y
echa un vistazo a mis otros cursos Enhorabuena. Estoy llegando hasta el final del curso.
Alvin Wan, Research Scientist
