Unlock the full potential of database interactions with our guide on Natural Language to SQL using LangChain and LLM.
— 到這裡瞭解： blog.futuresmart.ai/mastering-natural-language-to-sql-with-langchain-nl2sql
Category: Tech
IT Technology, 3C, AI
-
Mastering Natural Language to SQL with LangChain | NL2SQL
-
鼎新數位A I助理初體驗心得
鼎新公司近期有推出針對ERP數據資料的一個數位輔助A I服務，以下是初步體驗的心得：
- 目前是初測階段，可以回應的資料非常有限
- 使用上比較像是語音問答加B I的功能，感覺是鼎新已經事先訂好多多個對應雅皮數據庫的報表資料，再藉由大語言模型達到語音查詢和口語化回應的效果
- 可進行的查詢同常見的報表：當月、過去一個月、過去一季、環比、同比、排名…等等，並可以圖表的呈現方式
- 應該也是因為尚處於初步測試階段的關係，大部分感覺應該要有回應的對話都沒有回應…
不同於資料的定期分析或是戰情室，自己覺得未來可能的使用情境，應該是個案性的資料快速分析需求。
-
使用 AR 技術的安全帽
1. 非透光式AR方案（已商用） – https://www.jarvish.com/zh-TW/pages/x-ar-product
2. 透光式AR方案 – 機車版的Vision Pro？YAMAHA 展示「機車 AR 安全帽」新科技專利曝光！ | SUPERMOTO8
— 到這裡瞭解： www.supermoto8.com/articles/13101 -
AnythingLLM | The ultimate AI business intelligence tool
AnythingLLM is the ultimate enterprise-ready business intelligence tool made for your organization. With unlimited control for your LLM, multi-user support, internal and external facing tooling, and 100% privacy-focused.
— 到這裡瞭解： useanything.com/個人用最簡單方便的 RAG LLM 環境。
-
Python mouse bot 滑鼠機器人小程式
讓透過使用者預先定義的動作，操作滑鼠。
program.py (使用 pyautogui)
import pyautogui
import time
# 讀取設定檔案
with open("settings.txt", "r") as settings_file:
lines = settings_file.readlines()
# 解析每一行指令
for line in lines:
# 移動到指定位置
if line.startswith("moveTo"):
_, x, y = line.split()
pyautogui.moveTo(int(x), int(y), 0.5)
# 點擊
elif line.startswith("click"):
if "right" in line:
pyautogui.click(button="right")
elif "left" in line:
pyautogui.click()
time.sleep(0.1) # 等待100毫秒
# 執行完畢
print("指令已執行完畢！")settings.txt 使用者自行定義的動作檔案
moveTo 300 200
click right
moveTo 230 140
click left
click left包成 .exe 執行檔(若目標執行環境為windows 7 請用 Python 3.8)
pip install pyinstaller
pyinstaller --onefile program.py -
RAG相關解決方案的網路資源
教學文章
- RAG實作教學，LangChain + Llama2 |創造你的個人LLM by ChiChieh Huang
https://medium.com/@cch.chichieh/rag實作教學-langchain-llama2-創造你的個人llm-d6838febf8c4 - RAG實作教學，Streamlit+LangChain+Llama2 | Demo 版本 by ChiChieh Huang
https://medium.com/@cch.chichieh/rag實作教學-streamlit-langchain-llama2-c7d1dac2494e - 一文搞懂模型展示工具Gradio的所有功能 by APlayBoy
https://zhuanlan.zhihu.com/p/679668818 - 中文版Llama3，在ollama上畅快玩转多模态 by wwwzhouhui
https://www.bilibili.com/read/cv34232250/ - Embedding 模型部署及效果评测 by xiaoxi666
https://www.cnblogs.com/xiaoxi666/p/18014457 - LLM + 最新RAG技術 | 快速建置本地知識庫查詢應用 | 解決生成式AI常見的幻覺問題 by 龍龍AI與程式實戰
https://www.youtube.com/watch?v=ntuuLCR8TkA - 高级RAG(一)：Embedding模型的选择 by 派神 –
https://zhuanlan.zhihu.com/p/673483110
大語言模型相關套件
- Hugging Face
https://huggingface.co/ - Ollama 官方 Github
https://github.com/ollama/ollama- 官網(下載對應各平台的安裝程式)：https://ollama.com/
- 模型設定：https://github.com/ollama/ollama/blob/main/docs/modelfile.md
- llama.cpp 官方 Github
https://github.com/ggerganov/llama.cpp - Gradio
https://www.gradio.app/
Embedding 模型
- Tao-8k (中文)
https://huggingface.co/Amu/tao-8k/tree/main - 阿里巴巴GTE (中文)
https://huggingface.co/thenlper/gte-large-zh - BAAI (中文)
https://github.com/FlagOpen/FlagEmbedding/tree/master?tab=readme-ov-file
LLM 模型
- RAG實作教學，LangChain + Llama2 |創造你的個人LLM by ChiChieh Huang
-
RAG Llama3 8B with RTX 3050
測試 Wsxqaza12 所分享的 RAG 方案，使用 lmstudio-community/Meta-Llama-3-8B-Instruct-GGUF 建構 RAG Llama3 8B 的系統。 (模型經Q4量化)
車輛裝載貨物需要注意些甚麼呢
還有甚麼需要避免違法呢Reference by: https://github.com/wsxqaza12/RAG_example
-
RAG Llama2 7B with RTX 3050
測試 Vardhanam 所分享的 RAG 方案，使用 mistralai/Mistral-7B-Instruct-v0.2 建構 RAG Llama2 7B 的系統。 (模型尚未量化)
車輛裝載貨物需要注意些甚麼呢
還有甚麼需要避免違法呢Reference by: https://github.com/vardhanam/enterprise_chatbot_qdrant/tree/main
-
什麼是RAG 生成式AI應用
RAG，全稱為檢索增強生成（Retrieval-Augmented Generation），是一種結合了資訊檢索和文本生成的技術。它允許大型語言模型（LLM）從外部資料源獲取並整合資訊，以提供更準確、更具權威性和可靠性的答案。
簡單來說，RAG技術在生成回答之前，會先從一個外部的資料庫中檢索相關資料，然後將這些資料與用戶的提示詞一起提供給LLM，作為生成回答的參考。這種方法類似於開書考試，模型不是僅依靠記憶（即模型微調的知識）來回答問題，而是可以查閱相關資料來提供答案。
RAG的優勢在於它可以解決大型語言模型在實際應用時可能出現的幻想（hallucination）問題，即生成的信息可能不準確或過時。通過檢索最新的資料，RAG能夠提高回答的正確性，並且因為它是在生成回答時才去搜尋資料，所以成本低、靈活度高、還有助於保護資料隱私和安全，因為資料庫本身具有權限管理功能，企業可以限制敏感資料的授權，從而避免大型語言模型意外泄露機密資料。
工作原理
假設使用一個問答系統來尋找關於「台灣的首都」的資訊。在這個例子中，RAG技術會這樣運作：
- 用戶輸入問題：你在問答系統中輸入問題「台灣的首都是哪裡？」。
- 檢索階段：系統首先會在一個外部資料庫中檢索相關資訊。這個資料庫可能包含了各種關於台灣的資料，包括地理、歷史和政治等方面的信息。
- 資料處理：從資料庫中檢索到的資料會被轉換成向量形式，這樣系統就可以更快地找到與問題最相關的資料。
- 生成階段：系統將檢索到的資料與用戶的問題結合起來，利用大型語言模型生成一個結構化的回答。在這個例子中，系統可能會生成這樣的回答：「台灣的首都是台北」。
通過這種方式，RAG技術能夠幫助系統利用最新的資料來生成更準確、更有用的回答。這種技術特別適合那些需要處理大量資料和需要即時更新資訊的應用場景。
這個例子展示了RAG如何結合檢索和生成兩個階段來提高問答系統的性能。它不僅提高了回答的準確性，還提供了一種靈活且成本效益高的方式來處理各種複雜的查詢。
Brassai Kao’s Tech Weave 