https://drupal.org.gr logo
Join Slack
Powered by
τρεχει καποιος AI models τοπικά; τα τρέχει με AMD?...
# chat
b
τρεχει καποιος AI models τοπικά; τα τρέχει με AMD? έχει σετάρει την NPU? είναι σε linux? να συνεχίσω τις ερωτήσεις ή να ανοίξουμε κανάλι; 🤔
e
ollama
👍🏼 1
Σε macbook pro M2 Max 96GB RAM
b
και το download των gguf ειναι πραγματικα απελπιστικα αργό;;;
και η επομενη ερωτηση τελικα ειναι: εχεις καποια models (απο τα αμέτρητα!!) που θα πρότεινες για starting? για κωδικα, ή text generation
e
Agentic coding με τοπικά μόνο μοντέλα δύσκολο, αν τρέξεις opencode μέσω ollama σού προτείνει κάποια cloud μοντέλα που είναι αξιοπρεπή
kimi, glm
αλλά θέλεις ollama pro, γιατί το free έχει ελάχιστα quota στο cloud του, ίσα για να σε δελεάσουν
b
οχι, προσπαθω να δω τι γινεται χωρις cloud, διαφορετικα έχω το claude το γραφείο παραμένει "μη συμφωνο" με τη χρηση cloud llms για τον κωδικα, long story
θα δω μηπως τρεξω kimi τοπικα, και μετα θα πρεπει να δω αν μπορω να το κανω μεσω cli (claude-code τύπου) αντι για μεσω browser
for the record, ετρεξε Qwen μεσω Lemonade. Στη θεωρια αυτο αξιοποιεί τη cpu/gpu/npu, αλλα στην πράξη δεν το λεω και πολύ γρήγορο
** me... μολις σεταρα το NPU και ειναι πραγματικα γρηγορο!
s
και τι κώδικα σου βγζει;
b
@@ βγαζει
αλλα σε text και απαντησεις ειναι γρηγορο
μολις τo τρεξω μεσω cli με goose και του πω κανε αυτο εκει τα χανει, δεν βρισκει αρχεια, δεν ξερει που ειναι κτλ κτλ
e
Έχω εγκαταλείψει την ιδέα να τρέχω μοντέλα για coding τοπικά
Δεν κατάφερα ποτέ κάτι παραπάνω από λίγες γραμμές λειτουργικού κώδικα, και μετά τη 2η-3η ερώτηση χάνονται
μόνο cloud μοντέλα
το ollama pro είναι 20$ το μήνα και αρκετά γενναιόδωρο
για μικροδουλειές όμως, τα τοπικά είναι μια χαρά
π.χ. να τους ζητήσω να διαβάσουν κώδικα και να μου πουν τι κάνει
αλλά το να γράψουν είναι άλλη ιστορία
👍🏼 1
2 Views
Open in Slack
PreviousNext
Powered by