2024-12-18 11:47 湖北
RAG有这么一个说法:“垃圾进,垃圾出”,文档解析与处理以获取高质量数据至关重要。近期,微软开源了MarkItDown,一款将各种文件转换为 Markdown 的实用程序(用于索引、文本分析等)。
https://x.com/shao__meng/status/1867348058662744236
MarkItDown支持:
PPT
Word
Excel
图像(EXIF 元数据和 OCR)
音频(EXIF 元数据和语音转录)
HTML
基于文本的格式(CSV、JSON、XML)
ZIP 文件
MarkItDown使用
使用 pip: pip install markitdown。或者,从源代码安装它:pip install -e .
Python中的基本用法:
from markitdown import MarkItDown
md = MarkItDown() result = md.convert("test.xlsx")
print(result.text_content)
要使用大型语言模型进行图像描述,请提供llm_client和llm_model:
from markitdown import MarkItDown
from openai import OpenAI client = OpenAI()
md = MarkItDown(llm_client=client, llm_model="gpt-4o")
result = md.convert("example.jpg") print(result.text_content)
MarkItDown试用
https://www.html.zone/markitdown/
https://github.com/microsoft/markitdown
推荐阅读
• 对齐LLM偏好的直接偏好优化方法:DPO、IPO、KTO
• RAG全景图:从RAG启蒙到高级RAG之36技,再到终章Agentic RAG!
• Agent到多模态Agent再到多模态Multi-Agents系统的发展与案例讲解(1.2万字,20+文献,27张图)
欢迎关注我的公众号“PaperAgent”,每天一篇大模型(LLM)文章来锻炼我们的思维,简单的例子,不简单的方法,提升自己。