Видео

Es ist super schade dass es von Apple selbst kein ServerOS mehr gibt. Ich frage mich wie die dass selbst in Ihren Rechencenter genau machen.

mein reserve proxi leitet immer egal welche domain zum port 2000, obwohl port 1811 2099 oder sonst was eingegeben wird. z.b. so sollte es aus sehen wenn port 1811 hinterlegt ist: uptime.lan:1811/?origin=host&app=uptime-kuma&path=%2F aber es kommt immer: uptime.lan:2000/?origin=host&app=uptime-kuma&path=%2F

Hallo Vielen Dank erst einmal für das Video Ich habe leider kein Export. Was mache ich falsch? Ich kann die CALDAV Adresse auch nicht in die Zwischenablage kopieren. Danke Euch

Besteht die Möglichkeit das man auch Webseiten einbindet sodass er wissen aus einer Webseite ziehen kann? Bzw. Anfragen speziell zu einer Webseite

Wieder ein Interessanter Beitrag . Bedeutet lokal das dieser ki Server nach der Installation nicht mehr auf das Internet „zugreifen“ muss? Warum muss man zur Anmeldung auf seinem privaten Server seine Mail angeben? Das wäre schon interessant wenn man zb. Anschreiben erzeugt wo personenbezogene Daten angegeben werden. Danke und Grüße

Irgendwie verstehe ich nicht, warum Tesla zehntausende Graphikkarten zu je 40000€ für KI benötigt, obwohl so eine Neural Engine im 700€ Mac mini ja auch schon brauchbar sein soll. Wenn mir das mal jemand erklären könnte...

Bitte mehr Videos zum Mac mini als Server klingt zumindest sehr interessant in Sachen Stromverbrauch

Was wäre LLama auf nen Raspberry pi?👀😂

Kommt noch irgendwann Part4? Der Part 3 ist schon 5 Monate her 😕

Die Frage löst hier vielleicht Gelächter aus aber wie fahre ich den Sever runter und wieder rauf wenn die Einrichtung erledigt, Mouse und Tastatur abgenommen habe und den Sever an seinen richtigen Platz stellen will?

Hallo zusammen, Danke für die gute Beschreibung. Vielleicht passte es hier ganz gut hin, daher mal eine mögliche Alternative: ich führe schon seit Jahren mein persönliches Telefonbuch über die Fritzbox. (mittlerweile die dritte) Dementsprechend groß ist das Telefonbuch, so das es so gut wie keine unbekannten Rufnummern gibt. Seit einiger Zeit erlaubt die Rufbehandlung der Fritzbox es, alle Anrufe die NICHT in meinem Telefonbuch stehen abzuweisen, oder wie ich es gemacht habe SOFORT zum Anrufbeantworter umzuleiten. Also nicht wie hier beschrieben eine "Blacklist" sondern umgekehrt eine "Wight List" mit meinem Telefonbuch. Das klappt natürlich nur wenn ein persönliches Telefonbuch geführt wurde . Ich benötige keinerlei (fremde) Updates, und die sich nicht im Telefonbuch befinden, können ggf.eine Nachricht hinterlassen. LG Holger

Hm, mich würde interessieren was du über folgendes Szenario denkst und ob ein MacMini dafür ausreicht. Ich arbeite gerade an einem Projekt für meine Behörde, wo es darum geht sichergestellte E-Mails, Nachrichten usw., mit Hilfe von KI nach verdächtigen Inhalten zu durchsuchen/analysieren. Bei mehreren 100.000en ist das manuell nicht mehr zu bewerkstelligen. Ich weiß, in der Cloud würde das kein Problem sein, allerdings ist es so das die Daten unser Haus nicht verlassen dürfen. Für einen performante Serverlandschaft fehlt hier leider auch das Budget. Was denkst du? Umsetzbar mit nem kleinen Mac?

Ich würd dafür keine 8GB Mac Mini nehmen. die LLM´s sind sehr RAM abhängig/Lastig. Standard LLM´s brauchen mal so rund 4-6GB im RAM, größere auch mal bis über 20GB. Deswegen sind auch manche kleinere Iphone/ipad Modelle nichtfür die lokale KI vorgesehen. die CPU/NPU würde reichen, aber sie haben zu wenig ram. Ich würd zumindest 16GB nehmen.

Und wie ist die Qualität der Anwworten, die hängt ja auch sehr von der Leistung ab

Der MacMini als M4 Pro wird meine Offline Lösung für die KI Geschichten 😍😍

Danke für das spannende Video. Kannst du die Leistung von OLLAMA einordnen im Vergleich zu Bildungsversion von Copilot (gratis für Studenten) und im Vergleich zu Copilot als Bezahlversion (privat). Wie siet es mit Copilot versionen aus? PS: Dein Voice-Sound bei Screenrecording ist top!

Sehr interessantes Video. Ich stand Ende letzten Jahres auch vor der Suche für einen lokalen AI Rechner, habe mich dann aber für ein Custom build PC mit ordentlicher Grafikkarte entschieden. Die NVIDIA Unterstützung ist bei den meisten Lösungen hier wirklich ideal. Habe auch gleich mal den "ApfelCast Benchmark" gemacht ;) MacBook M1: 58s (10.75 tokens/s) Windows mit RTX4070: 17s (54.73 tokens/s) Zeigt mir auf jeden Fall, dass es die richtige Entscheidung war, auch wenn ich lieber einen Mac genommen hätte. Der PC ist schneller als der MacMini und hat den Vorteil das viel viel größere Modelle geladen werden können. Das gleiche kann man scheinbar auch mit einem MacStudio erreichen, aber dann leider für den 3-4 fachen Preis. Das war es mit nicht wert.

Hallo Daniel, ich finde die Lösung sehr gut und würde es ebenfalls mal ausprobieren. Ich habe bereits einen Proxmox-Server (headless) laufen und würde gerne ein Linux „remote“ benutzen wollen. Da ich sehe, dass Du ebenfalls einen Mac benutzt, wäre meine Frage, ob es dafür ebenfalls eine Lösung gibt? Mir würde es viel besser gefallen, wenn ich meinen Mac dazu benutzen könnte. Ist dies überhaupt in vergleichbarer Weise möglich? Vielleicht hast Du schon ein solches Video erstellt, gefunden habe ich jedenfall auf YT nichts entsprechendes. VG

Hat irgendwer einen Mac Studio mit M2 Ultra? Mich würden da mal die Werte interessieren.

Ich habe den alten Macbook air M1 Laptop meiner Frau, bei dem das Display kaputt gegangen ist, für den gleichen Zweck im Wohnzimmer gestellt headless. Wenn ich doch Display brauche, wird er mit dem Fernseher verbunden durch eine Dockingstation. Ollama läuft und ist erreichbar im Heimnetzwerk. Allerdings sind die 8GB Arbeitsspeicher für KI Modelle gerade das unterste Limit. Hier laufen nur die kleinsten Modelle. Energieverbrauch ist sensationell bei den M Modellen. Ich bin jedoch kein Fan vom MacOS

Viel einfacher geht’s mit RAGNA Desktop. Das ist eine all in one App. Nix mit Terminal,oder so. Kann alles was ollama kann und kommt direkt mit einem UI und auch nem Server bzw api endpoint der dann im eigenen Netzwerk geteilt werden kann

kannst du mal ein Vergleich zu googles tpu machen?

Hallo Daniel, zunächst einmal - vielen Dank für das hoch kompetente Video. Ich habe eine Frage, die du hoffentlich beantworten kannst. Ich bin WERNER und hier ist sie: Bei 5:07 sprichst du über mehrere Monitore. Genau darum geht's. Ich möchte zu Hause das ankommende Signal über meine zwei Monitore strecken. Wie geht das oder geht das überhaupt? Bisher habe ich nur sehen können, dass ich oben zwischen Monitor 1 und 2 hin und herschalten kann. Wenn du mir helfen kannst, wäre ich dir sehr dankbar. Vielen Dank im Voraus, WERNER

Was meinst Du, wird das auch so gut mit einem Mac Mini mit M1 Chip funktionieren?

Das ist Super. Habe mir letztes Jahr für einen Test einen gekauft und seitdem hat er ein trauriges Dasein. Das wäre seine Rettung.

Ich würde mich sehr über mehr Content über den Mac Mini als Homeserver freuen. Genau so wie dieses Video finde ich es immer wieder schön wie du das zeigst und erklärst ohne jegliche Werbung. Wie immer sehr interessant und sehr gut gemacht!

Super! Interessant wäre aber auch, da preisgünstiger, eine Lösung von AMD, denn deren "U" CPUs bieten auch KI-Beschleunigung der 2. Generation, die laut Benchmarks die von Apple übertreffen soll (Die Ryzen 88xx Modelle)

Erst mal danke für das Video. :) Hab es mal auf meinem MacBook Air getestet, leider ist da die Performance so schlecht, dass man damit nicht arbeiten kann. Teilweise hängt dann auch der gesamte Rechner, so dass man nicht mal mehr parallel arbeiten kann um auf die Antwort zu warten. Aber das video geht ja auch darum, dass ein extra Rechner der nur das Machen soll bereit steht. :)

Danke für das Video! Wie viel RAM hat denn dein Mac mini? Ich dachte Lama 3 braucht mindestens 16 GB. Von daher wird es mit den 700 € Mac mini knapp, oder? Und warum muss man sich einen Account machen, wenn das ganze lokal läuft? Oder ist das ein lokaler Account?

Die Frage ist auch, was erst mit einem M4 geht. Bzw. den kommenden M5 usw., die noch deutlich performantere Neural Engines haben werden. Was natürlich ein echtes Killerargument ist, sind die max. 50W. Vermutlich wird es nicht mehr lange dauern, bis es Komplettsysteme auf ARM-Basis geben wird, die man sich zu Hause out of the box hinstellen wird können. Von Apple, HP, Amazon etc. etc. Bad News for Intel.

Mir haben hier noch Informationen zum Arbeitsspeicher gefehlt. Wie viel RAM sollte mein Mac Mini dafür haben? Ab wann bekomme ich Limitierungsprobleme bei meiner lokalen KI bei zu wenig RAM?

Auch wenn es RUclipsr gibt, die immer gern gegen dich schießen, ich finde deine Videos Inhaltlich gut. Danke dafür!

Danke für deinen guten Content

oha muss ich gleich testen

Ein EV Zertifikat ist das aber nicht.

Homelab 👍

Wenn mein Multimedia-Panel ein Plexiglas hat und an einer ungünstigen Stelle positioniert ist, macht es sinn, den UniFi Express durch einen Cloud Gateway Ultra zu eretzen un dann an entsprechender Stelle mit einem AP ein W-LAN zu erzeugen.

Na ja so richtig pralle ist anders. Hat zwar einige Funktionen jedoch ein einfaches bearbeiten (Editor Funktion) habe ich nicht gefunden. Viellleicht bin ich ja auch nur blind.

Kannst du Mal zeigen wie man einen ipsec Site to Site zwischen zwei Gateways macht? An sich ja einfach aber ich hab das Problem dass ich nur ipv6 habe und normaler vpn kein Problem, aber ipsec braucht ESP und das bekomme ich nicht mit einer Vps weitergeleitet

Hallo, ich habs bei Homeassistant hinzu gefügt, doch beim starten meiner Powerwalker 2200 lädt er und stoppt dann alles, im Protokoll nachzulesen. Er meint dann: [00:39:25] INFO: Starting the UPS drivers... Network UPS Tools - Generic HID driver 0.47 (2.8.0) USB communication driver (libusb 1.0) 0.43 libusb1: Could not open any HID devices: insufficient permissions on everything No matching HID UPS found Driver failed to start (exit status=1) Network UPS Tools - UPS driver controller 2.8.0 cont-init: info: /etc/cont-init.d/nut.sh exited 1 cont-init: info: running /etc/cont-init.d/nutclient.sh cont-init: info: /etc/cont-init.d/nutclient.sh exited 0 cont-init: warning: some scripts exited nonzero s6-rc: warning: unable to start service legacy-cont-init: command exited 1 /run/s6/basedir/scripts/rc.init: warning: s6-rc failed to properly bring all the services up! Check your logs (in /run/uncaught-logs/current if you have in-container logging) for more information. /run/s6/basedir/scripts/rc.init: fatal: stopping the container. s6-rc: info: service fix-attrs: stopping Jemand eine Idee?

was kann man tun wenn man das Loginpasswort nicht mehr weiß?

Não falou que para iniciar fora de casa tem de criar uma ligação segura SSL senão nem tem acesso às video chamadas.

Video ist nicht schlecht gemacht, nur leider sind viele Infos und damit auch das Video selbst obsolet. 3cx langt jetzt selbst bei der ehem. SelfHosted-Version, welche für den priv. Gebrauch perfekt war, richtig zu. Damit für eben diese komplett uninteressant, das wird die Marktanteile, mit denen 3cx bisher geworben hat, nicht unbedingt zuträglich sein…. -> FreePBX

Kann man per Home Assistent einen Linux PC per Befehl in Energiesparmodus schicken sowie wieder aufwecken lassen ? Ich suche eine Möglichkeit ein Unraid Server je nach Strompreis starten und runterzufahren zu lassen.

Die Hardware-Auswahl kann ich ehrlich gesagt nicht wirklich nachvollziehen. Es ist korrekt das die gewählte Hardware sehr viel Leistung hat, jedoch ist ein EPYC 7763 meiner Meinung nach weitaus mehr CPU Leistung als man benötigt. Gleichzeitig ist eine RTX 3090 zwar schnell vor allem im Bereich Gaming, aber auch nicht ideal wenn man vom Preis ausgeht, und gerade wenn man große LLMs betreiben möchte. Hier ist nämlich vor allem der Grafikspeicher ausschlaggebend. Zwar hat die 3090 24GB VRAM, allerdings reicht das nicht aus für z.B. llama3-70b. Besser wäre es z.B. 2-4 Nvidia Tesla P40 Grafikkarten zu nutzen, welche jeweils 24GB VRAM haben. Gebraucht bekommt man diese Karten für ca. 300€ das Stück bei Ebay. Ollama ist in der Lage ohne SLI mehrere Grafikkarten zu nutzen, sodass man einen kombinierten Grafikspeicher von 48 bzw. 96GB hätte. Eine Desktop CPU reicht auch vollkommen aus, abhängig davon wieviele gleichzeitige Nutzer man hat. Ein 64 Kerner ist aber meiner Meinung nach weit über das Ziel hinausgeschossen. Für ein Homelab reicht theoretisch sogar schon eine Tesla P4 mit 8GB VRAM, die gibt es bei Ebay für ~100€. Ich nutze einen Intel 12th Gen 6-Kerner mit einer Tesla P4 und bekomme ca. 30 Tokens/s mit llama3-8B, also ca. ein Drittel der Geschwindigkeit im Vergleich zu der 3090 im Video (vgl. 18:40). Solange man nur einen oder wenige Nutzer hat ist das völlig ausreichend für den Heimanwender, und auch weitaus stromsparender. Abschließend, wie bereits auch andere schon gesagt haben, würde ich persönlich eine virtualisierte Installation via Docker oder in einer VM bevorzugen, zumal das Setup nicht weitaus komplexer als bare-Metal ist.

Hallo, ich habe die Lösung umgesetzt. Nur leider bekomme ich über den NGM keine Verbindung durch den WG-Tunnel zu meiner lokalen Nextcloud. Wenn ich einen tcptump auf der wg0 des Client mache, sehe ich die Anfragen, bekomme jedoch keine Antworten der NC oder auch von anderen IPs. Der Ping von Dockercontainer NGM zur lokalen IP der NC funktioniert einwandfrei. Die NC kann ich auch von einem anderen Client aufrufen. Über den NGM kann ich Container auf den Server ohne Probleme aufrufen. Hat jemand ein solche Problem gelöst? Dank für Euere Hilfe!

Wenn du eine fritzbox hast checke die freigaben Ich hatte die option direkt in meiner fritzbox wireguard conf zu bekommen und das macht den server komplett unnötig So einfach das kriegt jeder hin. Andere routers haben das vlt auch heutzutage

Ein Mac als Server sollte noch erwähnt werden. Ein aktuelles MacBook M1/2/3 mit 32+ GB RAM ist dank unified Memory ggfls sogar günstiger und bei vielen Entwicklern eh schon vorhanden. Mein M2 max mit 64GB lutscht alle genannten Modell auf 'ne halben A*schbacke durch und fungiert gleichzeitig als Entwicklermaschine. Ich denke der Stromverbrauch ist auch deutlich geringer.

Ich möchte mit zwei Benutzern an einem Chat teilnehmen. Im Grunde also die Funktion für den Admin einen Chat eines Mitarbeiter zu joinen und gemeinsam mit der KI zu schreiben.

Kann mir jemand vielleicht sagen was eure idle powerconsumption so ist? :) würde mich extrem interessieren :)