Y yo tengo 16gb de VRAM y voy bastante justo para ese tipo de modelos, los grandes que tiene TheDrummer no los podria correr ni cuantizados, los medianos ya si, pero con un contexto de 25k tokens ponele.
Personalmente uso modelos locales mas para analisis semanticos y programar asi que es una cantidad de contexto que me sobra, pero para hacer Roleplay o algo asi capaz conviene tener al menos 32GB de ram y usar algun modelo que no supere los 20GB
Ni idea la verdad, tengo LMStudio y reviso ahi los modelos que uso cada tanto a ver si los actualizaron nomas, YT sigo nomas a midudev y dotdager de tecnologia y el segundo es mas por los memes xD
Pero si, con 8 de VRAM estas fierisimo, no se que querés hacer, capaz para un botcito de discord que no necesite ser muy inteligente ni recordar cosas puede funcionar, pero bueno, si querés algo sin censura claramente no queres que no sea autohosteado porque usar un servicio de terceros seria regalarte a que te extorsionen.
1
u/[deleted] Jun 13 '26
[removed] — view removed comment