this post was submitted on 12 Jan 2025
8 points (100.0% liked)

Teknologi

233 readers
2 users here now

For debat og nyheder omkring teknologi af alle former.

founded 2 years ago
MODERATORS
 

Til maj lancerer NVIDIA "DIGITS": en kompakt computer beregnet til AI. Den har 128 GB hukommelse - nok til at køre de større sprogmodeller (op til 200 milliarder parametre eller 405 milliarder, hvis man kobler to DIGITS-systemer sammen). I modsætning til "traditionelle" GPU'er som f.eks. den kommende RTX 5090 med 32 GB VRAM (~2.000 USD) har DIGITS (~3.000 USD) en delt RAM pool aka CPU-GPU-hukommelsesdeling og diverse AI-værktøjer.

Ikke samme hastighed som VRAM, men 128 GB alligevel.

Det er nok ikke så interessant for den almene gamer. Men det er godt nyt for mindre virksomheder, der ønsker lokal LLM-inferens eller -træning, uden at skulle dele sine fortrolige data med techgiganter.

Jeg overvejer at installere én på arbejde, når de kommer. Og så bliver den vores lille interne orakel, der kan hjælpe mig med at huske på alle de forskellige fejlkoder og brugsvildledninger til vores produkter.

top 11 comments
sorted by: hot top controversial new old
[–] bobslaede 4 points 1 month ago (1 children)

3000$ alligevel. Lidt pebret. Skal nok ikke have en hjemme så.

[–] farsinuce 3 points 1 month ago* (last edited 1 month ago) (1 children)

3000$ alligevel

Ja, det er dog et komplet system - i forhold til 2.000 USD for RTX 5090, kun for grafikkortet.

Så relativt set er det jo billigt. /s

[–] EvilCartyen 4 points 1 month ago (1 children)

Meh, det er jo ikke engang løgn. Det er jo ikke dyrt, det er vel nogenlunde det samme som 1 kraftig udviklingsmaskine til et softwarefirma. Det er nok ikke målrettet hr. og fru feddit.dk

[–] farsinuce 3 points 1 month ago (1 children)

Jo da. Gratis idé: ai.feddit.dk

  • stedet hvor alle, du møder, er AI
  • garanteret likes på dine opslag
  • much wow
[–] EvilCartyen 5 points 1 month ago (1 children)

Prøliåhørher, du narrer ikke mig. Jeg er udemærket klar over at i allesammen allerede er AI.

[–] SorteKanin 3 points 1 month ago

Den eneste på Feddit.dk der ikke er en bot er dig.

[–] SorteKanin 3 points 1 month ago (1 children)

Jeg overvejer at installere én på arbejde, når de kommer. Og så bliver den vores lille interne orakel, der kan hjælpe mig med at huske på alle de forskellige fejlkoder og brugsvildledninger til vores produkter.

Men det her kan man da allerede opnå ved at bruge AI i skyen? Men du vil måske gerne holde det lokalt eller uden abonnement - hvorfor?

[–] farsinuce 2 points 1 month ago (1 children)

Men det her kan man da allerede opnå ved at bruge AI i skyen?

Tak for spørgsmålet. Det er ikke al vores interne kundedata eller produktdata, der vedkommer Microsoft, OpenAI, Amazon eller de andre techgiganter.

Kilder:

[–] SorteKanin 2 points 1 month ago (1 children)

Så i bruger ingen sky-tjenester? Altså intet fra AWS, Azure eller Google Cloud eller lign.? Bare interesseret for jeg har vitterligt aldrig været i et firma der ikke bruger bare lidt af det 😅

[–] farsinuce 3 points 1 month ago (1 children)

Det er en misforståelse. Du kan tro, vi bruger skytjenester. Vi er en lille virksomhed, og vi har bl.a. SharePoint.

Vi synes bare ikke, det er fedt, at al vores data og kommunikation partout skal forbi udenlandske servere. Men det er ligesom blevet standarden med al data.

Hvis vi selv kan køre vores AI offline, så vil vi helst det. Så er vi også sikre på, at dataen ikke bliver hovsa-trænet på eller på anden vis eksponeres for tredjeparter... Medmindre vi bliver hacket selvfølgelig.

[–] SorteKanin 3 points 1 month ago

Vi synes bare ikke, det er fedt, at al vores data og kommunikation partout skal forbi udenlandske servere

Udenlandske eller uden for EU? Så længe det er inden for EU er det vel okay tænker jeg - datareglerne er alligevel dybest set det samme. Og man kan jo godt sikre sig at det ikke fjerner sig fra EU når man bruger de tjenester.

Når alt det er sagt så er jeg helt med på at give færre penge til de store tech virksomheder.