掘金 人工智能 2024年07月07日
「Github一周热点30期」十六进制编辑器、基于图的RAG等5个项目
index_new5.html
../../../zaker_core/zaker_tpl_static/wap/tpl_guoji1.html

 

本期 GitHub 热点汇总涵盖了十六进制编辑器、基于图的RAG、30天学Python、量化金融的Python包和用企业数据定制AI的平台等内容。其中ImHex是一款功能强大的十六进制编辑器,GraphRAG是微软开源的基于图的检索增强生成方法,30-Days-Of-Python是一套完整的Python学习课程,gs-quant是高盛开源的量化金融Python包,mindsdb是一个根据企业数据定制AI的平台。

🤔 **ImHex - 十六进制编辑器** ImHex是一款功能强大的十六进制编辑器,用于显示、解码和分析二进制数据,以对其格式进行逆向工程、提取信息或修补其中的值。它具有许多高级功能,例如完全自定义的二进制模板和模式语言、基于节点的图形数据处理器、反汇编器、差异支持、书签等等。ImHex在GPLv2许可下完全免费且开源,支持windows、mac和Linux的安装,也提供了web版访问。 ImHex 的主要功能包括: - 功能丰富的十六进制数据界面,可以进行字节修复、修复管理、字节拷贝、字符串和十六进制搜索。 - 自定义C++类模式语言,支持对文件内容进行解析和高亮显示。 - 数据导入:支持Base64文件、IPS和IPS32。 - 数据导出:IPS和IPS32。 - 数据检查器允许解释多种不同类型的数据(小端和大端)。 - 大文件支持和快速有效的加载。 - 文件哈希支持:CRC16、CRC32、MD4、MD5、SHA-1、SHA-224、SHA-256、SHA-384和SHA-512。 - 反汇编程序支持多种不同的体系结构:ARM32 (ARM, Thumb, Cortex-M, AArch32)、ARM64、MIPS (MIPS32, MIPS64, MIPS32R6, Micro)、x86 (16-bit, 32-bit, 64-bit)、PowerPC (32-bit, 64-bit)、SPARC、IBM SystemZ、xCORE、M68K、TMS320C64X、M680X和Ethereum。 - 支持书签、区域突出显示和注释。 - 数据分析:提供文件解析器和MIME类型数据库、字节分布图、熵图、最高平均熵、加密/压缩文件检测。 - 其他实用工具:ASCII表、正则表达式替换、数学表达式计算器、十六进制颜色选择器。 此外,ImHex 还支持插件开发,并且有一个专门的模板项目可以帮助你开始。你可以访问libimhex以及ImHex API和内容注册表,与ImHex进行交互或添加新内容。

🚀 **GraphRAG - 基于图的RAG** GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法,可以对私有或以前未见过的数据集进行问答。它利用大型语言模型 (LLMs) 从您的来源中提取知识图谱,将此图谱聚类成不同粒度级别的相关实体社区,并通过遍历所有社区以创建“社区答案”来进行RAG操作,最终生成答案。 GraphRAG 的优势在于它可以提高答案的全面性和多样性,在全面性、多样性、赋权性方面都优于朴素RAG。

🐍 **30-Days-Of-Python - 30天学Python** 本项目是一套完整的Python学习课程,旨在帮助您学习成为Python程序员所需的一切,并涵盖编程的概念。课程分为 30 天,每天会包含几个主题,并附有易于理解的解释、真实示例、许多动手练习和项目。 课程内容涵盖了Python的基础知识,包括数据类型、变量、运算符、控制流、函数、模块、类、异常处理、文件操作等等。此外,课程还包含了一些进阶主题,例如数据库操作、网络编程、GUI编程、Web开发等等。

💰 **gs-quant - 量化金融的Python包** GS Quant是一款用于量化金融的 Python 工具包,基于世界上最强大的风险转移平台之一而创建,旨在加速量化交易策略和风险管理解决方案的开发。它由高盛的量化开发人员 (quants) 创建和维护,用于开发交易策略和衍生产品分析。GS Quant 可用于促进衍生产品结构、交易和风险管理,或作为数据分析应用程序的一组统计软件包。 GS Quant的主要特点有: - 由量化分析师设计:由量化分析师创建,为量化分析师服务。工具每天都受到高盛一千多名量化分析师的信赖,用于管理全球交易业务。 - 综合、跨资产:业务涵盖所有资产类别。金融工具包从头开始设计,旨在成为所有市场的完整解决方案,并通过直观的界面提供。 - 市场验证:利用经过数十年全球衍生品市场经验测试和改进的模型和数据集。

🤖 **mindsdb - 用企业数据定制 AI的平台** MindsDB是一个根据企业数据定制 AI 的平台,您可以从数据库、向量存储和应用程序数据实时创建、提供和微调模型。使用 MindsDB,您可以实时部署、提供和微调模型,利用来自数据库、向量存储或应用程序的数据来构建 AI 驱动的应用程序。 MindsDB 集成了众多数据源,包括数据库、向量存储和应用程序,以及流行的AI/ML 框架,包括 AutoML 和 LLM。MindsDB 将数据源与 AI/ML 框架连接起来,并自动执行它们之间的常规工作流程。通过这样做,我们将数据和 AI 结合在一起,从而能够直观地实现定制的 AI 系统。 MindsDB带来的特性包括: - 模型管理:管理 AI 模型的各个方面——创建模型、精细调整、重新训练等等。 - 人工智能集成:MindsDB 让您可以访问企业数据环境中的各种 AI/ML 框架。 - 数据集成:将任何数据源连接到 MindsDB,包括数据库、向量存储和应用程序。 - 自动化:通过按照定义的频率安排执行来使用JOBS自动执行任务,或者通过定义触发事件来使用TRIGGERS自动执行任务。

GitHub 一周热点汇总第30期(2024/06/30-07/06) ,本期包括十六进制编辑器、基于图的RAG、30天学Python、量化金融的Python包和用企业数据定制 AI的平台,一起来看具体内容吧。

#1 ImHex

ImHex 是一款十六进制编辑器,用于显示、解码和分析二进制数据,以对其格式进行逆向工程、提取信息或修补其中的值。ImHex 的特别之处在于它具有许多高级功能,这些功能通常只能在付费应用程序中找到。这些功能包括完全自定义的二进制模板和模式语言,用于解码和突出显示数据中的结构,基于节点的图形数据处理器,用于在显示值之前对其进行预处理,反汇编器,差异支持,书签等等。同时,ImHex 在 GPLv2 许可下完全免费且开源。

ImHex的详细功能包括以下:

- 功能丰富的十六进制数据界面,可以进行字节修复、修复管理、字节拷贝、字符串和十六进制搜索。- 自定义C++类模式语言,支持对文件内容进行解析和高亮显示。- 数据导入:支持Base64文件、IPS和IPS32。- 数据导出:IPS和IPS32。- 数据检查器允许解释多种不同类型的数据(小端和大端)。- 大文件支持和快速有效的加载。- 文件哈希支持:CRC16、CRC32、MD4、MD5、SHA-1、SHA-224、SHA-256、SHA-384和SHA-512。- 反汇编程序支持多种不同的体系结构:ARM32 (ARM, Thumb, Cortex-M, AArch32)、ARM64、MIPS (MIPS32, MIPS64, MIPS32R6, Micro)、x86 (16-bit, 32-bit, 64-bit)、PowerPC (32-bit, 64-bit)、SPARC、IBM SystemZ、xCORE、M68K、TMS320C64X、M680X和Ethereum。- 支持书签、区域突出显示和注释。- 数据分析:提供文件解析器和MIME类型数据库、字节分布图、熵图、最高平均熵、加密/压缩文件检测。- 其他实用工具:ASCII表、正则表达式替换、数学表达式计算器、十六进制颜色选择器。

此外,ImHex还支持插件开发,并且有一个专门的模板项目可以帮助你开始。你可以访问libimhex以及ImHex API和内容注册表,与ImHex进行交互或添加新内容。

https://github.com/WerWolv/ImHex-Plugin-Template

ImHex支持windows、mac和Linux的安装,提供了方便的安装包,下载安装即可。另外ImHex 还支持web访问,你如果不想安装的话,那么可以通过web版来体验一下它的使用。

总的来说,ImHex是一个功能强大的十六进制编辑器,适合需要深入分析和编辑二进制数据的用户。它的功能丰富,界面炫酷,多彩高亮,而且项目更新积极。

#2 graphrag

GraphRAG是微软开源的一种基于图的检索增强生成 (RAG) 方法,可以对私有或以前未见过的数据集进行问答。

今天早先微软发表GraphRAG论文"From Local to Global: A Graph RAG Approach to Query-Focused Summarization"**,**论文讨论GraphRAG方法,用于对文本语料库进行问题回答,结合了检索增强生成和图形索引,以提高答案的全面性和多样性,现在对应的开源项目终于来了。

与传统的 RAG 不同,GraphRAG 方法可以归结为:利用大型语言模型 (LLMs) 从您的来源中提取知识图谱;将此图谱聚类成不同粒度级别的相关实体社区;对于 RAG 操作,遍历所有社区以创建“社区答案”,并进行缩减以创建最终答案。

根据微软目前放出的测试结果,在全面性、多样性、赋权性方面,结果显示 GraphRAG 都优于朴素 RAG(70~80% 获胜率)。

#3 30-Days-Of-Python

本项目是一套完整的Python学习课程,Python是目前非常流行的一门编程语言,它已被用于开发 Web 应用程序、桌面应用程序、系统管理和机器学习库,尤其是在近几年,随着AI的兴起,Python更是被开发者所重视。

通过这套课程,您将学习成为 Python 程序员所需的一切以及编程的整个概念。挑战结束时,您将获得30DaysOfPython编程挑战证书。课程分为 30 天,每天会包含几个主题,并附有易于理解的解释、真实示例、许多动手练习和项目。

另外项目的作者在youtube上有很多课程,在完成这个30天Python学习挑战的时候,可以参考他的youtube视频来学习。当然啦,还是老问题,课程的内容都是英语的,所以还是根据自己情况来选用吧。

#4 gs-quant

GS Quant是一款用于量化金融的 Python 工具包,基于世界上最强大的风险转移平台之一而创建。旨在加速量化交易策略和风险管理解决方案的开发,基于 25 年的全球市场经验而打造。

它由高盛的量化开发人员 (quants) 创建和维护,用于开发交易策略和衍生产品分析。GS Quant 可用于促进衍生产品结构、交易和风险管理,或作为数据分析应用程序的一组统计软件包。

GS Quant的主要特点有

想要安装GS Quant可以通过pip

pip install gs-quant

以下是一个简单的示例,绘制一个波动率曲面,以按期限和执行价格绘制隐含波动率

import matplotlib.pyplot as pltimport numpy as npfrom matplotlib import cmfrom gs_quant.data import Datasetfrom gs_quant.datetime import point_sort_orderfrom gs_quant.markets import PricingContext# Initialize the dataset for equity implied volatilityvol_dataset = Dataset(Dataset.GS.EDRVOL_PERCENT_STANDARD)market_date = PricingContext.current.market.datetenors_to_plot = ["2w", "1m", "2m", "3m", "4m", "5m", "6m", "9m", "1y"]fig = plt.figure(figsize=(16, 9))ax = fig.add_subplot(111, projection='3d')# Implied vol data for the current market data datevol_data = vol_dataset.get_data(market_date, market_date, ticker='SPX', strikeReference='forward')vol_data = vol_data[vol_data.tenor.isin(tenors_to_plot)]vol_data['tenorDays'] = vol_data.tenor.map(lambda t: point_sort_order(t))# Reformat the dataX = vol_data.relativeStrike.unique()Y = vol_data.tenorDays.unique()Z = np.array([vol_data[vol_data.tenorDays == y].impliedVolatility.values.tolist() for y in Y]) * 100X, Y = np.meshgrid(X, Y)# Plot the surfaceax.xaxis.set_label_text("Strike")ax.yaxis.set_label_text("Tenor")ax.zaxis.set_label_text("Implied Vol")ax.set_zlim(0, 75)ax.set_yticks(vol_data.tenorDays.unique())ax.set_yticklabels(vol_data.tenor.unique())surface = ax.plot_surface(X, Y, Z, cmap=cm.coolwarm, linewidth=0, antialiased=False)plt.show()

这东西我是不太懂了,也不知道有没有金融圈朋友用这工具,到底好不好用,我只能事看看给的例子感受一下。

#5 mindsdb

MindsDB是一个根据企业数据定制 AI 的平台。您可以从数据库、向量存储和应用程序数据实时创建、提供和微调模型。使用 MindsDB,您可以实时部署、提供和微调模型,利用来自数据库、向量存储或应用程序的数据来构建 AI 驱动的应用程序 - 使用开发人员已经知道的通用工具。

MindsDB 集成了众多数据源,包括数据库、向量存储和应用程序,以及流行的AI/ML 框架,包括 AutoML 和 LLM。MindsDB 将数据源与 AI/ML 框架连接起来,并自动执行它们之间的常规工作流程。通过这样做,我们将数据和 AI 结合在一起,从而能够直观地实现定制的 AI 系统。

MindsDB带来的特性包括:

你可以通过下面的步骤来探索mindsDB。

Fish AI Reader

Fish AI Reader

AI辅助创作,多种专业模板,深度分析,高质量内容生成。从观点提取到深度思考,FishAI为您提供全方位的创作支持。新版本引入自定义参数,让您的创作更加个性化和精准。

FishAI

FishAI

鱼阅,AI 时代的下一个智能信息助手,助你摆脱信息焦虑

联系邮箱 441953276@qq.com

相关标签

GitHub 开源 热点 十六进制编辑器 RAG Python 量化金融 AI
相关文章