Enhance PhoneBlock-AB with Local AI for Intelligent Scam Call Conversations

[SchulteDev]

Summary

Replace AB pre-recorded responses with real-time AI conversations engage spam callers for a longer period.

Inspired by (O2) AI Scam Adviser – Meet dAIsy, the scam-fighting AI bot

Current Limitations

• Voice Activity Detection (silence/speech detection)
• Fixed pre-recorded WAV responses
• No conversation understanding or context awareness
• Predictable patterns easily recognized by experienced telemarketers

Proposed Java-Native Solution

I think that a purely local implementation makes sense from a cost perspective and for data protection reasons.

1. Speech-to-Text: whisper-jni
2. Dialog AI: llama.cpp Java bindings
3. Text-to-Speech: Piper TTS via JNI or existing Java TTS

[SchulteDev]

After writing this feature request, I thought to myself "show, don't tell..." and tried implementing a Proof Of Concept. Tada: https://github.com/SchulteDev/ConversationalAI4J

ConversationalAI4J is supposed to serve as a demo showcasing how "PhoneBlok-dAIsy" could actually be implemented.

• speech-to-text via https://github.com/ggml-org/whisper.cpp
• LLM usage via https://github.com/langchain4j/langchain4j -> Ollama -> Llama (the latter is interchangeable)
• text-to-speech via https://github.com/rhasspy/piper

Restrictions/comments to ConversationalAI4J with a view to this issue:

• Vibe coded, don't take too serious
• Obviously not behaving like a gradma
• English for time being
• No real time conversation when using CPU
• Details for running the demo etc. in the ConversationalAI4J repo

But:

• Everything runs locally
• I assume performance would become okish when running on GPU
• Switching to German with Grandma-style shouldn't be a big deal

So, I think ConversationalAI4J could be a starting point for implementing "PhoneBlock-dAIsy", maybe the library-module could even be an essential part of it.
Feel free getting in touch if you want to follow this road!

[haumacher]

Hi @SchulteDev this really sounds great - I was offline for the last weeks therefore I could not respond directly.

I tried out your repo - fascinating - it really works - at least sometimes - sometimes it runs into timeout issues (have no GPU available).

ollama_1        | [GIN] 2025/09/16 - 16:50:55 | 500 |  4.998626862s |      172.18.0.3 | POST     "/api/chat"
demo_1          | 2025-09-16 16:50:55 - Error in audio processing pipeline: request timed out
demo_1          | dev.langchain4j.exception.TimeoutException: request timed out
demo_1          | 	at dev.langchain4j.http.client.jdk.JdkHttpClient.execute(JdkHttpClient.java:58)
demo_1          | 	at dev.langchain4j.model.ollama.OllamaClient.chat(OllamaClient.java:102)
demo_1          | 	at dev.langchain4j.model.ollama.OllamaChatModel.lambda$doChat$0(OllamaChatModel.java:41)
demo_1          | 	at dev.langchain4j.internal.ExceptionMapper.withExceptionMapper(ExceptionMapper.java:29)
demo_1          | 	at dev.langchain4j.internal.RetryUtils.lambda$withRetryMappingExceptions$2(RetryUtils.java:322)
demo_1          | 	at dev.langchain4j.internal.RetryUtils$RetryPolicy.withRetry(RetryUtils.java:204)
demo_1          | 	at dev.langchain4j.internal.RetryUtils.withRetry(RetryUtils.java:259)
demo_1          | 	at dev.langchain4j.internal.RetryUtils.withRetryMappingExceptions(RetryUtils.java:322)
demo_1          | 	at dev.langchain4j.internal.RetryUtils.withRetryMappingExceptions(RetryUtils.java:305)
demo_1          | 	at dev.langchain4j.model.ollama.OllamaChatModel.doChat(OllamaChatModel.java:41)
demo_1          | 	at dev.langchain4j.model.chat.ChatModel.chat(ChatModel.java:46)
demo_1          | 	at dev.langchain4j.guardrail.SynchronousChatExecutor.execute(SynchronousChatExecutor.java:32)
demo_1          | 	at dev.langchain4j.guardrail.AbstractChatExecutor.execute(AbstractChatExecutor.java:45)
demo_1          | 	at dev.langchain4j.service.DefaultAiServices$1.invoke(DefaultAiServices.java:300)
demo_1          | 	at schultedev.conversationalai4j.$Proxy74.chat(Unknown Source)
demo_1          | 	at schultedev.conversationalai4j.ConversationalAI.chat(ConversationalAI.java:98)
demo_1          | 	at schultedev.conversationalai4j.AudioChunkProcessor.processAudioChunksSync(AudioChunkProcessor.java:108)
demo_1          | 	at schultedev.conversationalai4j.AudioChunkProcessor.lambda$processAudioChunks$0(AudioChunkProcessor.java:34)
demo_1          | 	at java.base/java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1768)
demo_1          | 	at java.base/java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1144)
demo_1          | 	at java.base/java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:642)
demo_1          | 	at java.base/java.lang.Thread.run(Thread.java:1583)
demo_1          | Caused by: java.net.http.HttpTimeoutException: request timed out
demo_1          | 	at java.net.http/jdk.internal.net.http.HttpClientImpl.send(HttpClientImpl.java:949)
demo_1          | 	at java.net.http/jdk.internal.net.http.HttpClientFacade.send(HttpClientFacade.java:133)
demo_1          | 	at dev.langchain4j.http.client.jdk.JdkHttpClient.execute(JdkHttpClient.java:50)
demo_1          | 	... 21 common frames omitted

To make this demo work like a real phone registered to e.g. a Fritz!Box - at least in a local installation - the audio communication must be replaced from file playback somewhere here

phoneblock/phoneblock-ab/src/main/java/de/haumacher/phoneblock/answerbot/AnswerBot.java

Line 347 in e3cf5c1

StreamerFactory streamerFactory = new DialogueFactory(_botConfig, _audioFragmentsByType, recordingFile);

to communication with the models...

The project https://github.com/haumacher/phoneblock/tree/master/phoneblock-ab can be started locally simulating a single phone that can register to a single Fritz!Box.

[SchulteDev]

(Ich denke wir können hier in Deutsche wechseln)

Ich hoffe, du hattest einen schönen Urlaub(?)!

Freut mich, dass du dir mein ConversationalAI4J angeschaut hast. Es ist wirklich nur als PoC gedacht. Effektiv mit dem eigenen PC "reden" zu können hat schon was von Star-Trek, wir leben in verrückten Zeiten.
Ich habe in ConversationalAI4J die Timeouts erhöht (und konfigurierbar gemacht), 5s war vermutlich doch etwas optimistisch, jetzt 30s. Wobei ich lokal auch nur im CPU-only modus unterwegs bin.

Ich kann gerne mit anpacken, PhoneBlock um dAIsy-ähnliches Verhalten zu erweitern, aber ich denke, es wäre erst Zeit für die großen Linien:

Ist der Ansatz von ConversationalAI4J deiner Meinung nach der richtige, also das komplett lokale Ausführen der Funktionalität? Es stünden alternativ auch SaaS Anbieter bereit, um dies auszulagern, wobei SaaS und der Datenschutz spannend werden dürfte. So oder so wäre es wohl nötig, mehr Geld für den Betrieb auszugeben, entweder für eine verfügbare GPU, oder für den SaaS Anbieter.

[haumacher]

Hallo Markus, das mit der Rechenleistung für das KI-Zeugs ist ein Problem. Es ist ein ziemlich cooler Showcase, ja - aber für den Masseneinsatz... - und die Mission von PhoneBlock ist es Schutz vor Telefonterror massentauglich und am besten für umsonst anzubieten.

Der Service ist so geschrieben, dass er ohne Probleme 10000 Nutzer auf einem RaspberryPI bedienen kann. Aktuell läuft's bei einem Cloud-Anbieter auf einem kleinen ARM-Server. Wenn man so eine KI lokal hosten will, dann macht das richtig warm, mieten von so einer Infrastruktur ist richtig teuer - auch so ein SaaS-Angebot geht ins Geld, wenn Traffic ankommt...

Letzentlich ist es ja nur, um Spam-Anrufer zu beschäftigen und deren Geld zu verbrennen - am besten natürlich ohne selbst nennenswert viel davon selbst auszugeben....

[SchulteDev]

Ich kann dich total verstehen, Bernhard - du steckst hier offensichtlich viel Arbeit rein, und möchtest jetzt nicht auch noch hunderte Euro monatlich für den Betrieb hinblättern.

Ich hab mir mal ein wenig Gedanken zum finanziellen Aspekt gemacht, in der Hoffnung, dich noch umzustimmen (PhoneBlock-Daisy wäre einfach zu witzig), ich versuch mal mein Glück.

Förderung?

Hast du schon über eine Förderung nachgedacht? Nach kurzer Recherche scheint https://www.prototypefund.de ganz passend, Bewerbung aktuell möglich https://www.prototypefund.de/bewerbung. Hinter Prototype Fund steckt die Open Knowledge Foundation (OKF), gefördert durchs Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR).

Unabhängig von PhoneBlock-Daisy könntest du dir deine PhoneBlock-Arbeit so zumindest auch mal entlohnen lassen.

Möglichen Alternativen zu Prototype Fund könnte https://www.deutsche-stiftung-engagement-und-ehrenamt.de/foerderung/transformd sein.

KI as a Service?

Meine Recherche ergibt, dass Server mit GPU schnell bei einigen Hundertern im Monat landen, dies würde finanziell raus sein (außer gefördert?).

Aber sagen wir, PhoneBlock-Daisy wird auf einem klassischen Server betrieben.
Speech-to-text (Whisper) und text-to-speech (Piper) sollten hier gut laufen.
Bleibt noch das benötigte LLM - und die gibt es "as a service", beispielsweise der französische Anbieter https://www.scaleway.com/en/generative-apis (Scaleway wäre direkt GDPR-compliant).

Dieses Setup (VM + LLM-as-a-Service) dürfte monatlich mit 20€-30€ zu Buche schlagen, je nach Traffic auf PhoneBlock.