OpenRefine3.9.5

OpenRefine是一款非常使用的数据清理工具，软件功能强大，操作简单易用，提供丰富的数据清洗工具，如删除重复项、修复错误、标准化格式等，帮助用户提高数据质量，支持CSV、Excel、JSON等多种数据格式的导入和导出，满足用户的使用需求，大大的提高工作效率，有需要的用户千万不要错过了！

OpenRefine软件功能

1、跨平台：OpenRefine 支持 Windows、macOS 以及 Linux 操作系统部署，用户通过浏览器进行访问。

2、数据源：支持各种数据格式，包括 CSV、TSV、JSON、XML、ODS、Excel、数据库(MySQL、MariaDB、PostgreSQL、SQLite 等)、URL、RDF、Google Sheets、Wikibase 等;也可以通过扩展插件支持更多数据格式。

3、数据转换：提供各种数据清洗与标准化功能，例如大小写转换、移除空白字符、字符串处理(替换、截取、拼接)、拆分列、合并列等。软件内置了功能强大且易于学习的表达式语言(GREL)，可以通过它实现非常复杂的数据逻辑。

4、数据筛选：通过数据分面和筛选器，根据某一列的值来快速查看、筛选数据子集。例如，可以筛选出所有“状态”为“未知”或“空值”的记录。

5、数据分组：通过聚类自动识别出在拼写上相似但略有不同的值，例如“Microsoft”和“Microsft”，同时提供一键合并的选项。

6、数据校正：将数据集与外部源的数据集进行匹配和链接，为数据添加上下文和唯一标识符。

7、版本历史：软件可以记录用户每一步操作，支持随时查看完整的操作历史，并且可以撤消或重做任何操作;同时还可以导出整个处理过程，以便在其他项目上重复使用。

8、导出数据：可以将处理之后的数据集导出为文件，包括 CSV、TSV、HTML、ODS、Excel、SQL 语句、Wikibase 等。

9、扩展插件：通过安装扩展插件支持更多功能，例如 AI 大语言模型、Javascript 表达式等。

OpenRefine软件安装步骤

1、在本站下载软件安装包，按照提示进行安装；

2、自定义选择安装位置，点击next；

3、选择开始菜单文件夹，点击next；

4、勾选附加任务，点击next；

5、点击install，等待软件安装完成即可使用。

OpenRefine软件更新日志

3.7版本

漏洞

从3.7.8版本起，上述漏洞已得到修复。该漏洞并未有效阻止利用特定URL语法对JDBC服务器进行攻击的行为。该漏洞的标识号为CVE-2024-23833。我们感谢@l0n3rs向我们披露了这一漏洞。

自3.7.5版本起，数据库扩展模块中的一个安全漏洞已得到修复。连接到恶意MySQL服务器时，攻击者可能读取相关文件或在运行OpenRefine的机器上执行任意代码。这些漏洞分别被赋予CVE-2023-41886和CVE-2023-41887编号，该漏洞由@nbxiglk0发现并报告。

自3.7.4版本起，项目导入功能中存在的一个安全漏洞已得到修复。如果导入经过恶意制作的项目，可能会在运行OpenRefine的机器上执行任意代码。该漏洞的编号为CVE-2023-37476，由SonarSource的Stefan Schiller发现了这一问题并进行了报告。

新功能

现在，OpenRefine用户界面中显示的大部分文本均可进行翻译。不过有些字符串(由服务器端生成)目前还无法被翻译。为帮助译员处理这些未翻译的内容，请随时与我们联系。加入我们的Weblate吧。. (#5030)

新媒体文件可以上传到维基媒体共享资源等Wikibase实例中。得益于新增的字段，现有文件的维基文本也可进行编辑。#4682

在列出已注册的Wikibase实例的对话框中，新增了一个名为“发现Wikibase实例…”的按钮。#5007其设计经过改进。#5009)

在Wikibase模式编辑器中，现在支持使用非标准数据类型的记录——只要这些类型以字符串形式进行存储即可(#3263)。例如EDTF格式的日期或音乐符号等。

Wikibase的“问题”标签页现在允许通过相关筛选条件来查找导致特定问题的具体记录(#5033)。

“通过获取URL添加列”操作的默认延迟时间已缩短至500毫秒，同时该操作的错误报告功能也得到了优化。#5188

Wikibase模板(即不完整的Wikibase数据结构)可以被保存并共享。这样做有助于所有贡献者在使用Wikibase时采用统一的数据组织方式。#5043, #5303)

基于行的导入器现在支持自定义分隔符，而不再仅使用换行符作为分隔符(#4103)。

Excel导入器可被设置为将所有单元格内容作为文本导入，同时禁用OpenRefine所支持的其他数据类型的功能。#4838

现在可以通过OpenRefine上传“具有一定价值”以及“毫无价值”这两种Wikibase值类型。#5360

Excel导入器也不会强制将单元格中的数据转换为与其实不符的OpenRefine数据类型;例如，它不会将日期强制转换为包含时间信息的日期格式。#5389, #5390).

GREL发生了变化

GREL toString函数在数字格式化方面的错误处理机制得到了改进(#816)

由于jsoup库中的相关变更(jsoup的#1636问题)，GREL函数wholeText()在处理换行符时的行为发生了细微变化。

新增了一个名为parent的GREL函数，该函数可用于获取XML元素的父元素。(#5176)

漏洞修复

用于选择对账匹配项的对话框布局已得到优化，现在自动完成功能不会遮挡其他选项(#4821)。

关于散点图功能如何识别数值列的详细文档更加完善了(#4890)

已修复在单元格值中检测URL的问题(#4546)

在尝试添加版本过旧或过新的Wikibase清单时出现的错误信息已得到改进(#4847)。

Jython表达式返回的错误信息更易于理解。#3012

ODS导出器在生成的文档中不再创建默认的工作表“Sheet1”(#4864)。

自动完成功能中的长描述不再被截断了(#4988)

用于编辑单元格值的界面经过了改进，现在能更清晰地说明如何输入日期(#3082)。

Windows系统的脚本已被修改，使其与Unix系统的脚本更加一致(#4949，#5404)。

“查找匹配项”对话框的布局进行了调整，使得下拉列表不会覆盖按钮(#4945)。

散点图功能中的错误处理机制得到了改进(#4893)

“删除连续空格”功能现在能正确处理Unicode格式的空格字符了(#4898)

(#4991)

在导入流程中，对于未带有.gz扩展名的GZIP压缩文件的处理方式得到了优化。#547

(#5153)

通过在相应列字段中按下“Enter”键，即可提交“根据此列添加新列”的请求(#5143)。

已修复被重定向的Wikibase条目的编辑问题(#5162)

在Wikibase模式不完整的情况下，用户体验得到了改善(#5131)

内存使用情况的显示方式得到了改进：现在显示的是已使用内存而非总内存量，并且数据更加精确。#5222

标签与输入内容的关联方式得到了优化，从而提升了界面的易用性。#5239, #5242, #5249, #5284)

已修复对账对话框中的溢出问题(#5285)

Wikibase现在已能正确支持本地运行的协调处理端点(#5035)。

Wikibase标志的宽高比现在得到了正确保留(#5306)

SQL导出接口得到了改进(#5224)

单元格编辑弹窗及包含文本框输入框的对话框现在可以调整大小了(#5330)

在未对账的列中将一组单元格标记为“新建”时，系统会要求用户指定用于对账的服务(#4985)。

Wikibase扩展程序中增加了更多质量检测机制，例如会检查新创建的Wikibase条目中的标签及描述是否完全相同(#4980)。

Wikibase扩展功能中自动完成结果的缓存问题已得到修复(#5190)

Wikidata扩展程序已正式更名为“Wikibase扩展程序”(#4525)。

在聚类过程中，集群控制选项及编辑对话框会变为灰色状态(#5369)。

整个应用程序中对Unicode空白字符的处理方式得到了优化(#5105)

我们的MacOS安装包(.DMG格式)现已经过合法签名及公证处理，因此其安装过程应会更加简便。#4586此外，通过添加通往“应用程序”文件夹的链接，DMG图像的显示方式变得更加用户友好。#5509)

GREL中对一元负号的处理方式已得到修复(#5465)

从3.7-beta3版本起，在选择包含空格的选项时，聚类对话框不再自动添加不间断空格(#5581)。

从3.7.1版本起，项目导入过程中内存使用情况的显示问题已得到解决。#5665

从3.7.2版本起，德语版本的本地化问题已得到解决(#5750)

从3.7.3版本起，在Windows系统中使用Java 17运行openrefine.exe时出现的问题已得到解决(#5583)。

从3.7.3版本起，对已删除条目的Wikibase编辑操作将被跳过，因此不会导致整个批处理操作延迟。#5385

从3.7.3版本起，HTML文档语言与界面所使用的语言保持一致(#5925)。

从3.7.3版本起，默认的对账类型会同时显示其名称和ID(#5907)。

从3.7.3版本起，列与行之间的数据转置功能得到了优化：空白单元格被视为空值(#5229)。

从3.7.6版本起，#6071文本格式中的排版中补充了缺失的空格。

从3.7.6版本起，对于采用Snap包装技术的OpenRefine应用程序，系统在启动时自动打开浏览器的问题已得到解决。#6065

从3.7.6版本起，Wikibase中用于合并语句的策略选择被固定了下来(#6066)。

从3.7.6版本起，当使用了Wikibase扩展及相关功能时出现的尺寸调整问题已得到修复(#6070)。

从3.7.7版本起，Wikibase模式编辑器中的渲染问题已得到修复(#6165)

从3.7.7版本起，在“通过获取URL添加列”操作中，如果尝试访问无效的URL，系统会向用户发出相应提示(#6141)。

从3.7.7版本起，“从对账结果中添加列”操作中“删除”按钮与“配置”按钮之间原本缺失的空格已被补充(#6151)。

适用于开发者

一些从未在用户界面中显示的列元数据字段已被删除(#5276)。

一个新的用于自定义单元格渲染的扩展点被引入了)#5154)