com.aliyun.odps.tunnel.io

Class ProtobufRecordPack

java.lang.Object

com.aliyun.odps.data.RecordPack

com.aliyun.odps.tunnel.io.ProtobufRecordPack

public class ProtobufRecordPack
extends RecordPack

用 Protobuf 序列化存储的 RecordPack 和 TableTunnel 共同使用 比直接使用 List 更加节省内存

Constructor Summary

Constructors

Constructor and Description
ProtobufRecordPack(TableSchema schema) 新建一个ProtobufRecordPack
ProtobufRecordPack(TableSchema schema, Checksum checkSum) 新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化
ProtobufRecordPack(TableSchema schema, Checksum checksum, CompressOption option) 新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化, 数据压缩方式 option
ProtobufRecordPack(TableSchema schema, Checksum checkSum, int capacity) 新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化, 并且预设流 buffer 大小为 capacity
ProtobufRecordPack(TableSchema schema, Checksum checksum, int capacity, CompressOption option) 新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化, 数据压缩方式 option, 并且预设流 buffer 大小为 capacity

Method Summary

Modifier and Type	Method and Description
void	append(Record a) 插入一条记录
void	checkTransConsistency(boolean expect)
void	complete()
Checksum	getCheckSum() 获取 Record 的 CheckSum
CompressOption	getCompressOption()
ByteArrayOutputStream	getProtobufStream()
RecordReader	getRecordReader() 获取 RecordReader 对象 ProtobufRecordPack 不支持改方法
long	getSize() 返回 pack 内的 record 数量
long	getTotalBytes() 获取当前 pack 在内存缓冲区中的大小 注意：由于在写到内存缓冲区前，数据会经过两个缓冲区（protobuf 和 defalter） 因此这个值的变化并不是连续的
boolean	isComplete()
void	reset() 清空 RecordPack
void	reset(Checksum checksum) 清空 RecordPack
void	setTransform(boolean shouldTransform)

Methods inherited from class java.lang.Object

equals, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

Constructor Detail

ProtobufRecordPack

public ProtobufRecordPack(TableSchema schema)
                   throws IOException

新建一个ProtobufRecordPack

Parameters:

schema -

Throws:

IOException

ProtobufRecordPack

public ProtobufRecordPack(TableSchema schema,
                          Checksum checkSum)
                   throws IOException

新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化

Parameters:

schema -

checkSum -

Throws:

IOException

ProtobufRecordPack

public ProtobufRecordPack(TableSchema schema,
                          Checksum checkSum,
                          int capacity)
                   throws IOException

新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化, 并且预设流 buffer 大小为 capacity

Parameters:

schema -

checkSum -

capacity -

Throws:

IOException

ProtobufRecordPack

public ProtobufRecordPack(TableSchema schema,
                          Checksum checksum,
                          CompressOption option)
                   throws IOException

新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化, 数据压缩方式 option

Parameters:

schema -

checksum -

option -

Throws:

IOException

ProtobufRecordPack

public ProtobufRecordPack(TableSchema schema,
                          Checksum checksum,
                          int capacity,
                          CompressOption option)
                   throws IOException

新建一个 ProtobufRecordPack，用对应的 CheckSum 初始化, 数据压缩方式 option, 并且预设流 buffer 大小为 capacity

Parameters:

schema -

checksum -

capacity -

option -

Throws:

IOException

Method Detail

checkTransConsistency

public void checkTransConsistency(boolean expect)
                           throws IOException

Throws:

IOException

setTransform

public void setTransform(boolean shouldTransform)

append

public void append(Record a)
            throws IOException

Description copied from class: RecordPack

插入一条记录

Specified by:

append in class RecordPack

Throws:

IOException

getRecordReader

public RecordReader getRecordReader()
                             throws IOException

获取 RecordReader 对象 ProtobufRecordPack 不支持改方法

Specified by:

getRecordReader in class RecordPack

Returns:

Throws:

UnsupportedOperationException

IOException

getProtobufStream

public ByteArrayOutputStream getProtobufStream()
                                        throws IOException

Throws:

IOException

complete

public void complete()
              throws IOException

Throws:

IOException

getCompressOption

public CompressOption getCompressOption()

getTotalBytes

public long getTotalBytes()
                   throws IOException

获取当前 pack 在内存缓冲区中的大小 注意：由于在写到内存缓冲区前，数据会经过两个缓冲区（protobuf 和 defalter） 因此这个值的变化并不是连续的

Returns:

Throws:

IOException

getCheckSum

public Checksum getCheckSum()

获取 Record 的 CheckSum

reset

public void reset()
           throws IOException

清空 RecordPack

Throws:

IOException

isComplete

public boolean isComplete()

reset

public void reset(Checksum checksum)
           throws IOException

清空 RecordPack

Parameters:

checksum - 初始化 checksum

Throws:

IOException

getSize

public long getSize()

返回 pack 内的 record 数量

Returns: