Καλησπέρα. ΑΙ ερώτηση που μπορεί να απλώσει πολύ. ...
# chat
t
Καλησπέρα. ΑΙ ερώτηση που μπορεί να απλώσει πολύ. Σκέφτομαι να πληρώσω ένα LLM tool (κυρίως για ατομική χρήση, όχι dev και programming). Είμαι ανάμεσα στα πολύ εμπορικά (ChatGTP, Cloude, Cohere κτλ) αλλά βλέπω και μερικά All-In-One που κυκλοφορούν και το σκέφτομαι. Ιδανικά, θα ήθελα το εργαλείο AI να μπορεί να παράξει και Εικόνες/Ήχο/Βίντεο εκτός από κείμενο καθώς και να έχει API. Όταν λέμε ατομική χρήση εννοώ ανάλυση κειμένων, ερωτήσεις για διάφορα θέματα, οικονομικά, πολιτική, ιστορία κ.ά. Τι θα προτείνατε; 🤔
p
Καλησπέρα. Δεν έχω να σου προτείνω κάτι συγκεκριμένο καθώς χρησιμοποιώ περιστασιακά την Τεχνητή Νοημοσύνη προς το παρόν και όχι σε μόνιμη βάση. Όμως θέλω να σου πω πως με αφορμή την εμφάνιση του DeepSeek αναδύθηκε ιδιαίτερα το ζήτημα της λογοκρισίας, ιδιαίτερα στην πολιτική οπότε προς το παρόν δε σου προτείνω να κάνεις τέτοια χρήση της Τεχνητής Νοημοσύνης, πόσω μάλλον να πληρώσεις κιόλας. Αν πάλι το θες για πολυμέσα: εικόνες, ήχο, βίντεο κλπ, ίσως αλλάζει το θέμα, αλλά και πάλι δεν έχω ιδιαίτερη εμπειρία σε αυτά.
v
Εγώ αυτό που θα έκανα είνα να εκμεταλευτώ ότι μου προσφέρουν free στον τομέα "ερωτήσεις για διάφορα θέματα". Για εξειδικευμένη και τεκμηριωμένη και fully up to date γνώση δεν θα βασιζόμουν σε LLM, αλλά σε leading field authorities. Περί παραγωγής πολυμέσων, πάω πάσο. Αν οι αναγκες σου επιβάλουν να πληρώσεις, τότε οκ. Δεν έχω εμπειρία σε LLM για παραγωγή πολυμέσων, οπότε δεν έχω κάποια πρόταση.
s
εμείς με το ChatGPT είμαστε ικανοποιημένοι, έχει καλή ποιότητα απαντήσεων, πολλά plugins και API (που δεν το παίζουμε όμως σε κανένα production γιατί έχουμε τον legal βάλτο να λύσουμε). Επίσης παράγει και εικόνες μέσω Dall-E 3, που είναι καλούτσικες με καλό prompting, αν και απέχουν ποιοτικά από πχ το Midjourney.
n
Έχουμε πληρωμένα, claude, chatgpt (plus), grok, copilot. Τρέχω και local κάποια μοντέλα (μέχρι ~30Β parameters στο macbook μου): llama, deepseek r1, mistral (και τα uncensored versions τους) κλπ. AMA 🤓
🙌 1
p
@ngal Τι specs έχει το Macbook σου; Διάβασα ότι για να παίξει τοπικά το DeepSeek χρειάζεται κάρτα γραφικών αξίας τουλάχιστον 2400 €!
n
Είναι το Μ1max not too fancy. Τρέχω τα distilled models:
Copy code
deepseek-r1:14b parameters
deepseek-r1:32b parameters
το full είναι 671b parameters. Αυτό θέλει τρελά resources σε GPU - Memory Sidenote: αν ισχύει η φήμη και η επόμενη γενιά apple chips 2πλασιάσει τη ram τότε μιλάμε για 384gb ram που λόγω του chip design είναι accessible και από την gpu τότε θα υπάρχει η δυνατότητα για πολύ δυνατά μοντέλα να τρέξουν τοπικά με ένα mac studio
p
Ακριβό φαίνεται με μια πρόχειρη αναζήτηση. Αυτό που λες με τη RAM είναι όντως σημαντικό. Και ναι, από ό,τι κατάλαβα θέλει πολλά resources για να τρέξεις τοπικά LLMs.
v
Τα parameters τα περνάς με το χέρι ή έχεις script 😂
p
@skourak Εσείς πληρώνετε και χρησιμοποιείτε το OpenAI o1; Με ποιο μοντέλο της OpenAI είστε ικανοποιημένοι;
n
To Mac μου είναι το main workstation μου από τότε που βγήκε - τέλη 2021. Ναι τότε είχε ~4χίλιαρο αλλά: Είναι ακόμα σαν καινούριο από άποψη ταχύτητας, δεν χρειάζεται αλλαγή και τόσα χρόνια αργότερα είναι ακόμα super relevant από άποψη specs. Τρανό παράδειγμα ότι τρέχω ένα σωρό LLM μοντέλα σήμερα που το 2021 δεν υπήρχε κάτι τέτοιο στον ορίζοντα. Οπότε ναι, τρελό VFM τα συγκεκριμένα και έχει βγάλει τα λεφτά του για τη δική μου περίπτωση. @vagelis.prokopiou
ollama pull deepsek-r1:14b
και ξεκινάς τσατάρισμα μόλις κατέβει 😜
❤️ 1
s
@PantelicGR ναι, χρησιμοποιούμε και το o1 και είναι γενικά πιο αξιόλογο από το 4. Δυστυχώς όμως από κάποιο σημείο και πέρα όταν πας να εμβαθύνεις σε κάτι πέρα από την αρχική προσέγγιση φτάνει στο peak της εξυπνάδας και μετά αρχίζει να παίρνει την κάτω βόλτα, να ξεχνάει πράγματα που έχουν λυθεί παραπάνω, να hallucinate κλπ. Θέλει πολλή κριτική σκέψη και να ξέρεις το αντικείμενο αν είναι να το κατευθύνεις αποτελεσματικά. (disclaimer: I am not a coder, η δική μου χρήση είναι για ανάλυση, αρχιτεκτονική, διαδικασίες και γρήγορο prototyping - στο τελευταίο σκίζει).
p
Έγινε. Ευχαριστώ για τις πληροφορίες. 🙂
v
image.png